这篇综述文章是对大语言模型驱动数据可视化生成、评估整套方向的系统性梳理,核心就是把自然语言转图表(NL2VIS)这条技术路线里的现有方案、评测手段、现存坑点一次性整理清楚,方便研究人员和开发者快速摸清这个赛道全貌。现在大家用 LLM 做可视化,主要是靠大模型读懂用户自然语言需求,输出 Vega-Lite 配置、Matplotlib 代码或者直接生成可交互图表,降低做图门槛,但它一直有两个老大难问题,一个是生成的图表代码容易出错、数据映射出错,另一个是没有统一靠谱的评估标准,到底一张 AI 生成图表好不好,以前大多靠人工肉眼打分,成本高、结果不稳定,这也是这篇综述重点聚焦评估模块的原因。文章梳理的时候会先归类 LLM 生成可视化的主流技术路径,再拆解当前主流评估指标、评测数据集、评测框架,接着对比不同方案各自的优缺点,最后汇总当前行业和学术界公认的待解决难点,给出后续研究方向。读完这篇综述,你可以快速区分不同 NL2VIS 方案的差异,知道 VisEval、nvBench 这些评测基准怎么用,同时明白 hallucination、提示词波动、评估结果和人主观感受不一致这些问题为什么很难解决。
一、LLM 驱动数据可视化生成主流方案分类
- 代码生成路线:LLM 输出 Python 绘图代码(Matplotlib、Seaborn),执行代码渲染图表,上手最简单,也是现在 BI 工具 Copilot 最常用的方案;缺点是代码容易报错、数据类型匹配出错。
- 可视化语法规范路线:LLM 输出 Vega-Lite 这类声明式可视化 JSON 配置,不依赖编程语言,结构可控,适合标准化评测;很多学术基准数据集优先采用这种输出格式。
- 多模态直出路线:多模态大模型直接输出图表图片,不需要中间代码 / 配置;缺点是很难校验底层数据准确性,修改调整不方便。
- Agent 多步骤协同路线:LLM 代理分工,先解析用户需求、校验数据、选合适图表类型、生成规范、自检修正,适合复杂业务分析场景。
二、LLM 驱动数据可视化评估维度清单
| 评估维度 | 评估内容 | 常用指标 |
|---|---|---|
| 合法性 | 代码 / 配置能不能正常运行、成功出图 | 有效率、合法率 |
| 数据准确性 | 图表有没有正确还原原始数据、编码不扭曲数据 | 数据匹配精度 |
| 可用性 | 图表类型选择合理、视觉编码符合可视化设计规范 | 可读性、设计合规分 |
| 对齐度 | 输出内容和用户原始自然语言需求匹配程度 | 提示词符合度 |
| 人工主观分 | 可读性、美观度、信息传递效率 | 人工打分、和人评的相关性 |
三、现有公开评测基准介绍
- nvBench:早期 NL2VIS 评测数据集,搭配 Vega-Lite 规范,用来测试不同提示策略、不同模型的差异。
- VisEval:规模更大的基准,包含两千多条查询、上百个数据库,配套自动化校验工具。
- ChartQA / PlotQA:基于图表问答的评测数据集,偏向用 VQA 模型自动化评估图表信息能不能被看懂。
- ChartLLM、NLV Corpus:用来测试图表推荐、自然语言转可视化的匹配效果。
四、当前核心挑战
- 幻觉问题:LLM 编造不存在的数据、错误映射字段,图表看起来正常但是数据是错的。
- 评估不一致:自动化指标高分的图表,人看了觉得不好;人工评估成本高,很难大规模对比模型。
- 提示词敏感性:同样需求换一句提示词,输出图表差异巨大,稳定性差。
- 复杂场景短板:多图表联动、交互式可视化、叙事类可视化生成能力偏弱。
- 隐私风险:原始业务数据喂给 LLM 生成图表,存在数据泄露隐患。
五、未来研究方向
- 构建同时兼顾自动化校验 + 对齐人类感知的统一评估标准。
- 可视化专用微调模型、ChartLLM 这类垂直大模型,减少通用 LLM 的不稳定问题。
- 多模态评估方案,用 VQA 模型自动检验图表信息传递效果。
- 带自检、纠错能力的可视化 Agent,自动排查数据错误、设计错误。
- 面向企业 BI 的轻量化、可追溯的 LLM 可视化方案。
【相关 FAQ】
问题 1:LLM 驱动数据可视化生成是什么意思?
回答 1:LLM 驱动数据可视化生成就是用大语言模型接收用户自然语言描述,自动产出图表代码或者可视化配置,完成从文字需求到数据图表的转化,也是 LLM 驱动数据可视化生成与评估综述重点覆盖的核心任务。
问题 2:LLM 驱动数据可视化评估一般要评估哪些内容?
回答 2:LLM 驱动数据可视化评估不只是看能不能跑出图,还要校验数据准不准、图表类型选得对不对、视觉表达好不好,LLM 驱动数据可视化生成与评估综述里面把评估拆成合法性、数据准确性、可读性、需求对齐度多个维度,同时对比自动评测和人工评测两种方式。
问题 3:LLM 驱动数据可视化生成最常见的技术短板是什么?
回答 3:LLM 驱动数据可视化生成最突出短板是幻觉和输出不稳定,容易写错字段、编造数据,同样提示词结果波动大,这也是 LLM 驱动数据可视化生成与评估综述重点讨论、希望靠新评测基准去改善的痛点。
问题 4:做 LLM 驱动数据可视化评估,有哪些现成数据集可以直接用?
回答 4:做 LLM 驱动数据可视化评估,学术界常用 nvBench、VisEval、ChartQA 等数据集,LLM 驱动数据可视化生成与评估综述会汇总这些基准的适用场景,nvBench 适合测 Vega-Lite 规范生成,VisEval 是更大规模的综合评测集。
【参考资料】
[2026-06-07](V-RECS: a NL2Vis Recommender for Chart Generation with Explanations, Captioning, and Suggestions)ACM Digital Library
[2026-01-21](VegaChat: A Robust Framework for LLM-Based Chart Generation and Assessment)arXiv
[2025-07-22](Evaluating LLMs for Visualization Generation and Understanding)arXiv
[2025-03-20](A Review on Large Language Models for Visual Analytics)arXiv
[2024-07-01](VisEval: A Benchmark for Data Visualization in the Era of Large Language Models)IEEE Transactions on Visualization and Computer Graphics
[2024-01-16](Visualization Generation with Large Language Models: An Evaluation)arXiv
【免责声明】
本文内容基于公开学术论文、预印本资料整理,仅用于技术科普和信息参考,不构成项目落地、模型选型的直接依据;LLM 驱动数据可视化生成与评估领域技术迭代速度快,部分研究结论存在场景局限性,实际使用请自行验证效果,相关技术落地请遵守数据安全与隐私合规法规。
