这套方案核心就是把分散的指标、日志、链路、告警、工单、部署记录统一用一套标准化本体做约束,把海量原始事件转换成带实体、关系的三元组知识图谱,再交给智能体做自动故障研判、根因定位,复刻 Netflix 每秒 3800 万事件、数十亿级事件流下的可观测能力,解决传统监控里各类观测数据孤岛、人工排查要到处拼凑上下文、告警规则跟不上微服务拓扑变化的痛点。传统可观测性里 MELT 四类数据分别存在不同系统,格式不统一,机器只能检索,没法做推理;本体驱动模式先定义清楚领域词汇,规定应用、实例、告警、故障、部署、团队这些实体类型和彼此之间的关系,所有接入数据都遵守这套规范,智能体就可以沿着图谱关系遍历、关联信号,自动生成故障假设,而不是单纯靠关键词检索日志。整套落地流程分成本体设计、事件接入归一、三元组抽取、关联打分存储、智能体推理应用这几个环节,每一步都要控制好数据质量和性能门槛,不然在数十亿事件规模下很容易出现查询超时、虚假关联过多、本体随意膨胀的问题。
一、本体设计:统一可观测领域词汇表
本体是整套 Agentic 知识图谱的底层规则,相当于机器和人都认可的一份数据协议,基于 RDF、OWL、SHACL 标准编写,支持 SPARQL 查询。
- 实体类型清单
- 关系谓词示例
| 实体类型 | 说明 | 示例 |
|---|---|---|
| Application | 业务应用,必须经过软件目录校验 | api-gateway |
| Deployment | 发布变更记录 | 版本 v123 发布到 us-east-1 |
| Incident | 故障工单 | INC-5377,二级故障 |
| Alert | 告警事件 | 延迟 P95 超标告警 |
| ServiceDependency | 服务依赖关系 | 网关依赖支付库 |
| Team | 负责团队 | Bedrock 团队 |
- rdf:type:标记实体类型
- ops:ownedBy:归属团队
- ops:deployedIn:部署区域
- ops:affects:故障影响应用
- ops:dependsOn:服务依赖
- 本体约束要点
- 不定义模糊宽泛的 Service 类型,所有应用必须和软件目录校验;
- 划分多个命名空间隔离不同领域,避免概念冲突;
- 增加 SHACL 校验规则,抽取出来的三元组不符合规范直接丢弃,防止 LLM 乱生成错误关系。
二、数十亿事件流接入与归一处理
数据源覆盖指标、日志、链路追踪、告警、发布系统、事故沟通记录(如 Slack 消息),实时吞吐目标对标 Netflix 每秒 3800 万事件。
- 接入层:多源采集,保留原始时序信息,统一时间窗口;
- 清洗层:过滤无效噪声事件,补全缺失基础标签;
- 映射层:把原始结构化、非结构化文本映射成本体里定义的实体和谓词;
重点:事故讨论消息这类非结构化文本,也会交给抽取器转换成三元组,把人的排查思路沉淀进图谱。
三、LLM 抽取器:生成合规三元组
使用多个串行 Enricher 抽取器,而不是一个大模型一次性输出,用来降低幻觉风险。
- 输入:清洗后的观测事件、文本消息;
- 约束:本体 schema 强约束,模型输出只能在定义好的实体、关系集合里选择;
- 输出:标准 RDF 三元组;
- 过滤:抽取结果进入关联引擎,一共综合 13 种信号,在 10 分钟时序窗口内计算关联置信度,置信度低于 0.6 直接丢弃,减少误关联。
四、图谱存储选型
Netflix 自研 QuipuDB,基于 Rust redb KV 存储搭建分布式 Quad Store,支持 Turtle 序列化导出,方便版本对比、diff 变更。
复刻选型参考:
- 追求极致性能自研:Rust 底层分布式四元组存储;
- 工程快速落地:支持 RDF/SPARQL 的图数据库,做好分片、时序分区;
- 存储设计:时序分区 + 实体分片,避免单点扛不住数十亿事件写入和查询压力。
五、Agent 智能体应用层(AutoSRE/AutoRCA)
智能体不是直接读原始日志,而是查询知识图谱做推理,完整工作流:
- 检测到告警信号,触发 Agent;
- Agent 通过 SPARQL 查询图谱,遍历依赖链、关联同期发布、其他告警;
- 生成多条带证据的根因假设;
- 输出排查建议,严重故障保留人工审核环节,常规故障支持自动自愈动作;
- 排查结论、人工复盘内容回流进图谱,持续丰富知识。
六、复刻落地风险和优化要点
- 本体不要一次性做太复杂,优先核心实体,后续迭代新增概念;
- 控制 LLM 调用量,抽取环节轻量化,不要全量事件都走大模型;
- 置信度阈值根据业务调整,阈值太低会大量假阳性关联;
- 做好权限审计,图谱集中了全链路故障敏感信息;
- 性能上单独隔离查询流量和写入流量,故障排查查询不能打写入链路。
七、最终落地效果总结
复刻这套本体驱动 Agentic 知识图谱之后,可观测系统从 “被动看告警看板” 升级为 “机器自主推理”,面对数十亿级事件流,不用工程师手动在多个系统来回切换拼凑上下文;智能体优先完成故障初筛、关联分析,缩短故障定位时长,历史故障和复盘经验持续沉淀到图谱,系统的关联判断能力会持续迭代提升。
【相关 FAQ】
问题 1:复刻 Netflix 本体驱动可观测性,搭建 Agentic 知识图谱,核心难点是什么?
回答 1:核心难点主要三点,第一是本体设计,要兼顾通用性和业务适配,不能太笼统也不能过度定制化;第二是海量事件下三元组抽取的幻觉控制,LLM 很容易生成不存在的实体关系,必须靠本体约束和置信度打分过滤;第三是存储引擎扛住每秒数千万事件写入,同时保证故障排查时 SPARQL 查询响应速度。
问题 2:Agentic 知识图谱做本体驱动可观测性,和传统图拓扑监控有什么区别?
回答 2:传统拓扑图大多只是静态或者半静态服务依赖关系,只有连接关系,不带故障、告警、发布、人工复盘这些知识;Agentic 知识图谱依托本体定义完整语义,日志、工单、聊天记录都能转为知识,Agent 可以基于语义做推理,不只是展示一张依赖图。
问题 3:搭建数十亿事件规模的 Agentic 知识图谱,是不是必须使用 Netflix 自研的 QuipuDB?
回答 3:不是必须,QuipuDB 是 Netflix 适配自身场景自研的四元组存储,复刻的时候可以选用支持 RDF 和 SPARQL 的商用或者开源图数据库,重点要做好时序分区、分片,保证高吞吐写入和关联查询性能,只是 QuipuDB 在 RDF 四元组场景下针对性更强。
问题 4:本体驱动可观测性里的 Agent 智能体,能不能直接自动处理所有线上故障?
回答 4:不能,Agentic 知识图谱里的 AutoRCA 智能体主要负责初筛、找关联证据、给出根因假设,Netflix 方案里重大故障仍然保留人工确认流程,防止智能体误判带来二次风险,只有低风险常规故障才配置自动自愈。
【参考资料】
[2026-10-29](TF 锐评 | Agent 的知识工程:从记忆到行动)中国计算机学会
[2026-10-20](Netflix Builds an Ontology-Driven Knowledge Graph to Let AI Agents Reason, Not Just Search)Proudfrog
[2026-10-19](Ontology-Driven Observability: Building an End-to-End Knowledge Graph at Netflix)Themata.AI
[2026-10-16](Ontology-Driven Observability: Building an End-to-End Knowledge Graph at Netflix Scale)Noise
[2026-10-09](Ontology‐Driven Observability: Building the E2E Knowledge Graph at Netflix Scale)InfoQ
[2026-10-09](Netflix Builds AI Knowledge Graph to Tame 38 Million Events Per Second)VintuxAI
【免责声明】
本文内容基于公开技术分享资料整理,仅作为技术学习参考,不构成生产环境落地保证;复刻 Netflix 本体驱动可观测性与 Agentic 知识图谱方案存在架构、性能、成本、业务适配等多重风险,生产环境上线前请自行完成充分验证、压力测试与安全评估;文中提及的 Netflix 相关技术为 Netflix 自有技术方案,本文和 Netflix 不存在任何合作关系。
