研究背景与动机
大型视觉语言模型 (LVLMs) 在通用 OCR 任务中取得了显著成功,但在需要细粒度视觉感知的领域(如历史书法风格分析)却表现出严重的局限性。当前模型面临的核心问题是“懂字但不懂书法” (Knowledgeable but Unperceptive)——它们能够利用语义先验识别汉字,但无法基于真实的视觉证据将艺术风格与汉字内容解耦。
现有数据集的局限性:
模态混合 (Modal Mixture)
大量数据集将拓片与墨迹混合,丢失了墨迹的透明度、行笔速度和压力变化等核心风格线索。
标签扁平化 (Flattened Labels)
现存数据集通常仅提供作者或字体名称的端到端标签,缺乏中间层的视觉属性标注与专家级的审美描述。
图1:分离风格与内容的挑战
(a) 和 (b) 展示了相同汉字(仁)的不同艺术执行;(a) 和 (c) 尽管结构不同(仁 vs 义),却表现出一致的作者风格特征。这要求模型具备强大的视觉解耦推理能力。
HCSU:首个细粒度历代书法风格理解数据集
图2:HCSU 数据集全景与层次化标注
数据集涵盖五大书体,提供从墨法 (Ink Style)、笔法 (Stroke Style)、结体 (Character Structure) 到整体气韵的自然语言专家级拆解标注,实现了细粒度视觉推理的可解释性。
图3:HCSU 数据集综合统计分布
评估协议与双维度判别系统
我们设计了严苛的采样规则(防数据泄露),提出了两项核心评估任务。为了确保基准测试的科学性,我们进行了严格的参数校准,并针对生成任务引入了基于 DeepSeek-Chat 的严格 LLM-as-a-Judge 评价框架。
细粒度风格判别
8-way Style Discrimination
要求模型在包含 1 个 Ground Truth 和 7 个干扰项的选项中,凭借笔触、结体和空间排列特征选出正确的风格选项。
防泄漏设计:备选项严格采用与目标图像完全不同的汉字实例。
难度设置:基于校准定为 8-way (随机基线 12.5%)。
可解释的审美推理
Style Description Generation
要求模型基于少样本学习 (2-shot),使用专业术语为未见过的书法图像生成不超过 50 词的审美点评描述。
防泄漏设计:排除同字样本,排除文本完全相同的 Reference。
评估机制:BERTScore 结合双维度 LLM-as-a-Judge。
LLM-as-a-Judge 评分细则 (Rubrics)
维度 1: 专业术语 (Terminology, 0-10分)
- 9-10分 (Highly Professional): 准确且自然地使用高级术语(如“绞转”、“铺毫”、“向背”),术语与视觉特征完美匹配。
- 7-8分 (Proficient): 正确使用常规术语及部分高级术语进行逻辑分析。
- 5-6分 (Passable): 仅使用基础术语(如中锋、藏锋),表达偏口语化。
- 3-4分 (Poor): 极少使用专业词汇,或明显误用术语。
- 惩罚项 (Penalty): 若模型仅是“堆砌”术语而缺乏视觉逻辑联系,直接扣除 1-3 分。
维度 2: 细节丰富度 (Richness, 0-10分)
- 9-10分 (Microscopic): 展现极强的“排他性”。能准确捕捉该字符独有的微观特征(如起笔露锋的具体角度、特定的飞白纹理),不能被含糊地套用于其他字符。
- 7-8分 (Targeted): 详细描述与图像强相关的结构比例或笔触过渡。
- 5-6分 (Generic): 描述了形态细节,但不具微观特异性,容易套用于同书家的其他字。
- 3-4分 (Broad): 停留在表面(如“笔画平直”),可套用于任何标准书法。
- 惩罚项 (Cliché): 每出现一次“生动活泼”、“行云流水”等万能套话/废话,严格扣除 2 分。
图4:数据驱动的基准校准 (Benchmark Calibration)
基于校准实验,我们确定了最终的基准配置:每类采样 90 张图像以确保收敛,采用 8-way 选择来平衡难度与区分度,以及应用 2-shot 设置在性能与效率间取得最佳平衡。
排行榜
Style Discrimination 排行榜按照 Avg. Acc 排名,该指标是在 Bei 和 Tie 子集上的平均准确率。 Aesthetic Generation 排行榜按照 Gen. Avg 排名,该指标是 Bei 和 Tie 子集上六个 generation metrics 的算术平均值。
Style Discrimination 排行榜
按 Avg. Acc 排名。所有分数均为百分比(%)。
Aesthetic Generation 排行榜
按 Gen. Avg 排名,即六个 generation metrics 的算术平均值。数值越高表示表现越好。
注:Gen. Avg 是 Bei BERTScore、Bei Terminology、Bei Richness、 Tie BERTScore、Tie Terminology 和 Tie Richness 六个指标的算术平均值。 该指标仅用于排行榜排序,不替代原始的逐项指标评估。
核心实验结果与消融分析 (Results & Ablation)
Table 1: 细粒度风格判别结果 (Discrimination)
All metrics are reported in percentages (%). Avg. Acc represents the mean accuracy across both domains. Best results are highlighted in bold, and second-best are underlined.
Table 2: 可解释审美推理结果 (Generation)
The $\Delta$ values indicate the difference from the Ground Truth expert scores. Best results are in bold, and second-best are underlined.
发现:感知与表达的割裂
"懂字但不懂书法":模型在判别和生成任务上存在显著错位。以 OCR 为重的模型(如 Doubao)在判别中得分最高,但在生成丰富视觉细节时表现挣扎;而大语言模型基座较强的模型(如 GPT-5.2)则表现出强烈的“幻觉”,能堆砌专业词汇但缺乏对画面的真实视觉锚定。违背直觉的是,模型在高对比度的拓片 (Bei) 上的判别准确率普遍高于墨迹 (Tie),暴露出视觉骨干偏好几何边界而非真实墨色纹理的缺陷。
消融实验:规范化与先验的必要性
Table 4: 数据处理条件对比 (Qwen3-235B)
处理后的 Origin 数据剔除了背景捷径(如纸张老化、印章),虽然绝对准确率略降,但精确率显著提升,确保了真正的风格感知评估。
Table 5: 描述文本来源消融
在判别任务中,使用专家撰写的描述比随机描述或 GPT 生成描述获得了更高的准确率和精确率,验证了高质量语义先验的价值。