您的位置首页 >人工智能 >

非结构化数据 AI 智能体架构设计实现多模态文档自动解析与业务流转

非结构化数据 AI 智能体架构设计:多模态文档自动解析到业务流转的分层方案

先给结论:企业里合同、发票、采购单、报表、扫描件这些非结构化文档,要变成能直接进 ERP/OA/ 财务系统流转的数据,不能靠一个大模型一把梭,而要搭一套五层智能体架构:接入预处理→多模态解析抽取→规则与幻觉校验→多智能体编排路由→业务系统对接与自改进反馈。设计目标就三句话:解析准(文字、表格、图表、签章都抽到结构化字段)、兜得住(schema + 业务规则 + 人工复核三重校验)、越用越准(新类型走训练流沉淀提示词,老类型走自动化流直接复用)。参考 AWS AgentCore 的八智能体工作流、IDP Accelerator 四组件和 RAG+LangGraph 编排实践,下面按分层架构、每层职责、编排工作流、落地步骤、指标五块讲。

一、整体分层架构总览

层名称核心职责关键组件
L1接入与预处理多格式入口、队列任务、OCR 与版面恢复S3 / 邮件入口、EventBridge、Textract/OCR、DynamoDB 任务追踪
L2多模态解析抽取文档分割、版面理解、字段 / 表格 / 图表抽取为结构化 JSONDocSplit 分割、多模态 LLM、Schema 抽取、few-shot 提示
L3校验与纠错schema 校验、业务规则校验、幻觉复核、自动修复、人工兜底Validator、Troubleshooter、Reviewer、Human Review
L4智能体编排类型识别、相似度匹配、意图路由、RAG 检索、工作流图Analyzer/Matcher/Extractor、LangGraph/Strands 图、RRF 混合检索
L5业务流转与反馈MCP 对接业务系统、结果回写、提示词沉淀、自改进闭环MCP Server、企业数据库、知识库、训练工作流

二、L1 接入与预处理:先把文档收进来、管起来

输入通道清单

  • 邮件附件(SES / 邮箱自动收件)、网页上传、FTP / 共享目录、扫描仪直传、IM/API 推送。
  • 每种来源落对象存储(如 S3),生成唯一任务 ID 写入任务表(DynamoDB),状态机记录:待处理→解析中→校验中→待复核→已流转→已归档。

预处理动作

  1. 格式归一:PDF / 图片 / Word/Excel/ 邮件统一转成可 OCR 的页面图像 + 原生文本双轨。
  2. OCR 与版面恢复:提取正文、版面块、表格线、图章、手写批注,区分正文区 / 页眉页脚 / 附件。
  3. 去噪:去水印、去重复页、倾斜校正、加密件识别转人工。
  4. 任务幂等:同文件哈希去重,避免重复解析。

三、L2 多模态文档自动解析:把版面变成结构化字段

分割(DocSplit)

  • 复杂文档包先按 BIO 标注切段:封面、表头、明细行、合计、签章页、附件分开,避免上下文串味。
  • 长文档先生成树形大纲(DocAgent 思路),让抽取智能体只定位相关章节,不把全文塞进上下文。

抽取(多模态 LLM)

文档元素抽取目标
正文段落主题、日期、当事方、金额、条款要点
表格行项 SKU、数量、单价、行小计、合计,输出 JSON 数组
图表图类型、坐标轴、关键数值、趋势结论
签章 / 发票要素发票号、税号、开票方、税率、校验码
手写 / 批注标注人、批注内容、位置
  • 输出固定 Schema(如采购单:po_number、retailer_name、order_date、line_items []、order_total),配 few-shot 示例和可定制提示策略。
  • 成本 / 时延权衡:简单字段用小模型批量抽,复杂条款用大模型精抽。

四、L3 校验与纠错:三道关卡防止错数据进业务

关卡检查什么失败动作
Schema 校验字段类型、必填、正则格式(如 SKU 必须 AB-XX-000)不通过进修复流程
业务规则校验合计 = 行项之和、税价匹配、金额在合理区间、主体白名单标记异常,附规则命中说明
幻觉复核Reviewer 智能体对照原文交叉核验,RAG 接地,防止模型编造字段低置信度转人工复核

自动修复闭环(AWS 案例实测):新供应商 SKU 格式SB-004不匹配内部AB-SB-004规则,Validator 报错后 Instructions Fixer 在提示词里加 "供应商 SKU 前缀补 AB-" 的转换规则,二次通过并把修正后的提示词存入向量库复用;首跑 3 分 49 秒,同类第二单 1 分 30 秒跑完。

五、L4 智能体编排:三条工作流图分流

以 AgentCore 八智能体为例,按 "认不认识这份文档" 分三条图:

1. 识别工作流(Identification)

  • Analyzer:OCR 提文,判断文档类型与发件方。
  • Matcher:向量相似度在历史样本库找同类,算置信分(阈值如 3.7)。

2. 训练工作流(新类型,无匹配)

  • Blueprint Creator 生成抽取提示→Extractor 抽取→Validator 按 schema / 规则校验→失败由 Troubleshooter 改提示重试→成功后 Save Instructions 把提示词沉淀进向量库,Knowledge Manager 归档。

3. 自动化工作流(老类型,有匹配)

  • Extractor 直接复用已存提示词→Validator 校验→失败由 Troubleshooter 就地修数据(不改提示词)→通过则 Data Entry 写业务系统→必要时 Human Review。

检索与记忆

  • RRF 混合检索:Lucene 关键词(精确术语)+ 向量语义(近似表达)按排名融合,避免单一检索漏术语或跑题。
  • Memory 模块:跨任务共享已验证抽取经验,Reviewer 复核结果入库。
  • 意图路由:用户查询 / 单据类型进入对应智能体管线(检索 / 分析 / 图表 / 报告 / 校验)。

六、L5 业务流转与反馈学习:接系统、能沉淀

对接方式

  • 通过 MCP Server 把企业 ERP、OA、财务、合同系统封装成工具,智能体调用即完成入账、审批、归档。
  • 结果回写任务表,附置信度、校验结果、人工修改记录。

自改进闭环

  1. 人工复核修改的字段回灌为新 few-shot 样本。
  2. 高频失败规则自动补充进 Validator 规则库。
  3. 新沉淀提示词按文档类型归类,下次同类型自动命中。
  4. 指标看板监控准确率、返工率、平均时延,持续优化模型与提示。

七、落地步骤与关键指标

分阶段落地清单

  1. 先选 1-2 个高频单据(发票 / 采购单)做试点,定 Schema 与规则。
  2. 打通 L1 接入 + L2 抽取 + L3 校验,人工复核兜底跑 2-4 周。
  3. 上线 L4 识别 / 训练流,沉淀首批提示词库。
  4. 接 L5 业务系统,放开自动化流,逐步压缩人工比例。
  5. 扩文档类型,建知识库与 RAG 检索,迭代 Reviewer。

核心指标(参考公开基准)

指标参考水平说明
检索准确率93.7%(RAG 多智能体论文)命中正确文档片段
幻觉率4.2%编造字段 / 数值占比
报告生成时延<8 秒(同论文)单单据端到端另算
首跑 / 复用耗时3 分 49 秒→1 分 30 秒(AWS 案例)训练流到自动化流提速
校验通过率按业务基线设目标失败必须可追溯

八、一句话总结

非结构化数据 AI 智能体架构的本质,是把 "看懂文档" 拆成预处理、抽取、校验、编排、流转五层,用工作流图让新文档学习沉淀、老文档自动复用,再靠人工复核和规则校验守住业务数据底线。

【相关 FAQ】

问题 1:非结构化数据 AI 智能体架构为什么不能用一个大模型直接解析文档并业务流转?

回答 1:因为非结构化文档包含表格、图表、签章、手写批注,单次大模型调用容易漏字段、编数值;分层架构把多模态文档自动解析、schema 与业务规则校验、多智能体编排和业务流转拆开,配合人工复核与提示词沉淀,才能保证进系统的数据准确可追溯。

问题 2:这套架构里多模态文档自动解析具体做什么,输出什么格式?

回答 2:先做文档分割与版面恢复,再用多模态 LLM 把正文、表格行项、图表关键值、发票要素抽到固定 Schema 的结构化 JSON(如采购单 PO 号、行项 SKU / 数量 / 单价、合计),新类型配 few-shot 提示,为后续校验与业务流转提供干净字段。

问题 3:AI 智能体架构如何实现业务流转,新老文档处理路径有什么区别?

回答 3:通过 MCP Server 对接 ERP/OA/ 财务系统完成入账审批;新文档走训练工作流(生成提示→抽取→校验→沉淀提示词),老文档走自动化工作流(复用已存提示→校验→直接写业务系统),匹配由 Analyzer 识别 + Matcher 向量相似度完成。

问题 4:非结构化数据解析进业务流转后,系统怎么越用越准?

回答 4:靠自改进闭环:人工复核修改回灌为样本、高频失败规则补进 Validator 库、成功提示词按类型沉淀进向量库供复用,配合准确率 / 返工率 / 时延看板持续迭代,形成解析能力的长期积累。

【参考资料】

[2026-11-18](ooderAgent 知识库 ——AI Agent 不再只是 "调用工具" 而是 "理解组织")腾讯云开发者社区

[2026-10-14](Build self-improving document processing using Amazon Bedrock AgentCore)AWS Machine Learning Blog

[2026-06-12](From PDFs to insights: Architecting an intelligent document processing pipeline with AWS generative AI services)AWS Machine Learning Blog

[2026-02](IDP Accelerator: Agentic Document Intelligence from Extraction to Compliance Validation)arXiv

[2025](DocAgent: An Agentic Framework for Multi-Modal Long-Context Document Understanding)ACL EMNLP

【免责声明】

本文为公开技术资料整理,架构方案与指标来自论文、云厂商博客的公开案例,不同行业单据复杂度差异大;落地需结合自身系统接口、合规要求与数据安全评估,文中不构成具体产品选型建议。