https://wdongz.github.io/blog/tags/visualization/Recent content in Visualization on Zhao Weidong Home PageHugo -- 0.154.4en-usSun, 28 Dec 2025 00:00:00 +0000https://wdongz.github.io/blog/projects/evl-llms/Sun, 28 Dec 2025 00:00:00 +0000https://wdongz.github.io/blog/projects/evl-llms/<p>随着多模态大语言模型（MLLMs）的飞速发展，模型不仅需要理解文本，更需要具备处理图形化数据的能力。然而，如何量化评估 LLM 在可视化领域的“素养”——即生成准确数据、构建合规图表以及从视觉表示中提取深度信息的能力——成为了一个关键的科研命题。</p> <p><strong>EVL-LLMs</strong> 项目建立了一套自动化的端到端流水线，通过合成数据生成、视觉渲染与自动化提问，对 LLM 的可视化素养进行闭环评估。</p> <hr> <h2 id="一-可视化素养visualization-literacy的定义与挑战">一、 可视化素养（Visualization Literacy）的定义与挑战</h2> <p>可视化素养通常指个体从图形中读取、解释和呈现数据的能力。对于大语言模型而言，这一能力被拆解为两个核心维度：</p> <ol> <li><strong>构造能力（Construction）</strong>：根据特定语境（Context）生成结构化数据并转化为代码渲染图表。</li> <li><strong>解读能力（Interpretation）</strong>：针对生成的图表，识别极值、趋势、异常值或进行数据比较。</li> </ol> <p>在实际评估中，传统的静态数据集易受训练数据污染（Data Contamination）的影响。因此，EVL-LLMs 采用<strong>合成数据流水线</strong>，确保评估样本的原创性与任务的针对性。</p> <hr> <h2 id="二-evl-llms-评估流水线架构">二、 EVL-LLMs 评估流水线架构</h2> <p>该项目实现了一个高度模块化的流水线，其核心逻辑由四个阶段组成：数据合成、视觉渲染、问题生成与闭环验证。</p> <h3 id="21-任务输入与语境定义">2.1 任务输入与语境定义</h3> <p>系统接收三个关键参数作为元输入：</p> <ul> <li><strong>Context (语境)</strong>：定义数据集的业务背景（如：某专业学生的平均分）。</li> <li><strong>Chart Type (图表类型)</strong>：指定视觉表现形式（Line Chart, Bar Chart, etc.）。</li> <li><strong>Vis Task (视觉任务)</strong>：定义评估的认知维度（如：Find Extremum, Trend Detection）。</li> </ul> <hr> <h2 id="三-技术实现核心细节">三、 技术实现核心细节</h2> <h3 id="31-基于-llm-的合成数据生成">3.1 基于 LLM 的合成数据生成</h3> <p>在 <code>utils.py</code> 中，系统利用 OpenAI API 通过提示词工程（Prompt Engineering）引导模型生成符合统计分布的合成数据。</p> <ul> <li><strong>一致性约束</strong>：生成的 <code>dataset.csv</code> 必须严格遵循 <code>context</code> 的语义逻辑。</li> <li><strong>复杂度控制</strong>：根据 <code>vis_task</code> 的难度，动态调整数据量和噪声水平。</li> </ul> <h3 id="32-自动化视觉渲染">3.2 自动化视觉渲染</h3> <p>系统利用 Python 的 <code>pandas</code> 和 <code>matplotlib</code> 库将抽象数据转化为像素。为了确保评估的客观性，渲染过程采用标准化的样式配置，避免了色彩过度修饰对模型识别带来的偏差。</p> <p>$$\text{Image_Quality} = f(\text{Resolution}, \text{Label_Clarity}, \text{Data_Density})$$</p>