HCSU: A Dataset and Benchmark for Fine-Grained Historical Calligraphy Style Understanding

中国历代书法风格细粒度理解数据集与评测基准

姚胤晟 * 刘彦 * 叶晨
*共同一作 通讯作者

39,307

精筛古文字图像

49

历史著名书法家

10

主要历史朝代跨度

3

数据域 (Tie, Bei, Wild)

Abstract

书法风格的自动细粒度感知——这一对文化遗产保护至关重要的任务——对于大规模视觉-语言模型(LVLMs)而言仍然是一个关键挑战,其主要受限于现有数据集存在的模态混杂和标签扁平化问题。为弥补这一空白,我们提出了 HCSU,这是首个专为细粒度历史书法风格理解设计的综合性数据集。HCSU 包含来自 10 个朝代、49 位历史上具有代表性的书法家的 39,307 张精心整理的字符图像,并通过系统性地将真实墨迹手稿(帖,Tie)与石刻拓片(碑,Bei)解耦,解决了长期存在的模态混合问题。在突破传统扁平标签的基础上,HCSU 提供了由专家撰写的层次化审美描述,从而支持两种严格的评估协议:细粒度风格辨别和可解释的审美推理。大量实验结果揭示了一种关键的“懂字但不懂书法 (Knowledgeable but unperceptive)”的悖论:当前最先进的 LVLMs 能够依赖语义先验准确识别字符,却无法基于真实视觉证据将艺术表现与字符身份有效解耦。最终,HCSU 基准揭示了现有多模态架构的根本性局限,旨在推动面向文化遗产保护的专家级视觉推理能力的发展。

研究背景与动机

大型视觉语言模型 (LVLMs) 在通用 OCR 任务中取得了显著成功,但在需要细粒度视觉感知的领域(如历史书法风格分析)却表现出严重的局限性。当前模型面临的核心问题是“懂字但不懂书法” (Knowledgeable but Unperceptive)——它们能够利用语义先验识别汉字,但无法基于真实的视觉证据将艺术风格与汉字内容解耦。

现有数据集的局限性:

模态混合 (Modal Mixture)

大量数据集将拓片与墨迹混合,丢失了墨迹的透明度、行笔速度和压力变化等核心风格线索。

标签扁平化 (Flattened Labels)

现存数据集通常仅提供作者或字体名称的端到端标签,缺乏中间层的视觉属性标注与专家级的审美描述。

Instance A (a) Instance A (Ren)
Instance B (b) Instance B (Ren)
Instance C (c) Instance C (Yi)

图1:分离风格与内容的挑战

(a) 和 (b) 展示了相同汉字(仁)的不同艺术执行;(a) 和 (c) 尽管结构不同(仁 vs 义),却表现出一致的作者风格特征。这要求模型具备强大的视觉解耦推理能力。

HCSU:首个细粒度历代书法风格理解数据集

图2:HCSU 数据集全景与层次化标注

HCSU Dataset Overview

数据集涵盖五大书体,提供从墨法 (Ink Style)、笔法 (Stroke Style)、结体 (Character Structure) 到整体气韵的自然语言专家级拆解标注,实现了细粒度视觉推理的可解释性。

图3:HCSU 数据集综合统计分布

Wild: Script Types
(a) Wild: Script Types
Bei: Script Types
(b) Bei: Script Types
Tie: Script Types
(c) Tie: Script Types
Wild: Dynasties
(d) Wild: Dynasties
Bei: Dynasties
(e) Bei: Dynasties
Tie: Dynasties
(f) Tie: Dynasties

为了在异构的历史文物(墨迹 Tie 与拓片 Bei)之间确保风格保真度和结构一致性,我们设计了四阶段数据处理流程(包含视觉启发式纠正与 Lanczos 重采样)。通过 CCA 形态学去噪和外观重构,完美剔除了复杂背景干扰,同时最大程度保留了真实的笔触、墨色密度与“飞白”质感。

图5:统一的数据集规范化与重构流程

Raw Tie
(a) Raw Tie
Binarization
(b) Binarization
Denoising
(c) Denoising
Ink Color
(d) Ink Color

Raw Bei
(e) Raw Bei
Inversion
(f) Inversion
Binarization
(g) Binarization
Denoising
(h) Denoising

评估协议与双维度判别系统

我们设计了严苛的采样规则(防数据泄露),提出了两项核心评估任务。为了确保基准测试的科学性,我们进行了严格的参数校准,并针对生成任务引入了基于 DeepSeek-Chat 的严格 LLM-as-a-Judge 评价框架。

Task 1

细粒度风格判别
8-way Style Discrimination

要求模型在包含 1 个 Ground Truth 和 7 个干扰项的选项中,凭借笔触、结体和空间排列特征选出正确的风格选项。

防泄漏设计:备选项严格采用与目标图像完全不同的汉字实例。

难度设置:基于校准定为 8-way (随机基线 12.5%)。

Task 2

可解释的审美推理
Style Description Generation

要求模型基于少样本学习 (2-shot),使用专业术语为未见过的书法图像生成不超过 50 词的审美点评描述。

防泄漏设计:排除同字样本,排除文本完全相同的 Reference。

评估机制:BERTScore 结合双维度 LLM-as-a-Judge。

LLM-as-a-Judge 评分细则 (Rubrics)

维度 1: 专业术语 (Terminology, 0-10分)

  • 9-10分 (Highly Professional): 准确且自然地使用高级术语(如“绞转”、“铺毫”、“向背”),术语与视觉特征完美匹配。
  • 7-8分 (Proficient): 正确使用常规术语及部分高级术语进行逻辑分析。
  • 5-6分 (Passable): 仅使用基础术语(如中锋、藏锋),表达偏口语化。
  • 3-4分 (Poor): 极少使用专业词汇,或明显误用术语。
  • 惩罚项 (Penalty): 若模型仅是“堆砌”术语而缺乏视觉逻辑联系,直接扣除 1-3 分。

维度 2: 细节丰富度 (Richness, 0-10分)

  • 9-10分 (Microscopic): 展现极强的“排他性”。能准确捕捉该字符独有的微观特征(如起笔露锋的具体角度、特定的飞白纹理),不能被含糊地套用于其他字符。
  • 7-8分 (Targeted): 详细描述与图像强相关的结构比例或笔触过渡。
  • 5-6分 (Generic): 描述了形态细节,但不具微观特异性,容易套用于同书家的其他字。
  • 3-4分 (Broad): 停留在表面(如“笔画平直”),可套用于任何标准书法。
  • 惩罚项 (Cliché): 每出现一次“生动活泼”、“行云流水”等万能套话/废话,严格扣除 2 分。

图4:数据驱动的基准校准 (Benchmark Calibration)

Scale Determination
(a) Scale Determination
K-way Calibration
(b) K-way Calibration
Few-Shot Calibration
(c) Few-Shot Calibration

基于校准实验,我们确定了最终的基准配置:每类采样 90 张图像以确保收敛,采用 8-way 选择来平衡难度与区分度,以及应用 2-shot 设置在性能与效率间取得最佳平衡。

HCSU Benchmark 排行榜

排行榜

Style Discrimination 排行榜按照 Avg. Acc 排名,该指标是在 Bei 和 Tie 子集上的平均准确率。 Aesthetic Generation 排行榜按照 Gen. Avg 排名,该指标是 Bei 和 Tie 子集上六个 generation metrics 的算术平均值。

Style Discrimination 排行榜

按 Avg. Acc 排名。所有分数均为百分比(%)。

截止日期:2026.03.04
# 模型 类型 来源 Avg. Acc Bei Acc Tie Acc Bei F1 Tie F1
1 Doubao-1.5-Vision-Pro 闭源 ByteDance 37.29 37.60 36.98 33.90 35.26
2 GPT-5.2 闭源 OpenAI 34.58 35.32 33.84 33.80 33.34
3 GPT-4o 闭源 OpenAI 32.93 32.26 33.60 29.30 32.49
4 Claude-Sonnet-4-5 闭源 Anthropic 32.82 34.26 31.38 32.97 30.10
5 Qwen3-VL-235B-Inst. 开源权重 Alibaba 30.25 34.10 26.40 30.00 23.68
6 Gemini-2.5-Pro 闭源 Google 29.32 31.49 27.14 29.32 25.24
7 Qwen2.5-VL-72B-Inst. 开源权重 Alibaba 24.93 26.60 23.25 22.81 20.23
8 Qwen3-VL-30B-Inst. 开源权重 Alibaba 21.81 23.42 20.19 21.06 18.68
9 Qwen2.5-VL-7B-Inst. 开源权重 Alibaba 20.25 21.27 19.23 18.08 16.68

Aesthetic Generation 排行榜

按 Gen. Avg 排名,即六个 generation metrics 的算术平均值。数值越高表示表现越好。

截止日期:2026.03.04
# 模型 类型 来源 Gen. Avg Bei BERTScore Bei Terminology Bei Richness Tie BERTScore Tie Terminology Tie Richness
1 GPT-5.2 闭源 OpenAI 6.52 6.94 7.23 5.35 6.90 7.27 5.42
2 Claude-Sonnet-4-5 闭源 Anthropic 5.98 6.98 6.57 4.33 6.97 6.65 4.38
3 Gemini-2.5-Pro 闭源 Google 5.97 6.98 6.61 4.29 6.95 6.61 4.35
4 Qwen3-VL-235B-Inst. 开源权重 Alibaba 5.81 6.95 6.33 4.10 6.93 6.40 4.14
5 Qwen3-VL-30B-Inst. 开源权重 Alibaba 5.68 6.97 6.05 3.93 6.97 6.18 3.99
6 GPT-4o 闭源 OpenAI 5.35 6.98 5.35 3.70 6.96 5.35 3.74
7 Qwen2.5-VL-72B-Inst. 开源权重 Alibaba 5.10 7.00 5.06 3.28 6.95 5.04 3.28
8 Doubao-1.5-Vision-Pro 闭源 ByteDance 5.08 7.05 5.02 3.07 7.01 5.00 3.30
9 Qwen2.5-VL-7B-Inst. 开源权重 Alibaba 4.79 6.75 4.61 2.93 6.78 4.70 2.99

注:Gen. Avg 是 Bei BERTScore、Bei Terminology、Bei Richness、 Tie BERTScore、Tie Terminology 和 Tie Richness 六个指标的算术平均值。 该指标仅用于排行榜排序,不替代原始的逐项指标评估。

核心实验结果与消融分析 (Results & Ablation)

Table 1: 细粒度风格判别结果 (Discrimination)

All metrics are reported in percentages (%). Avg. Acc represents the mean accuracy across both domains. Best results are highlighted in bold, and second-best are underlined.

Model Bei (Stone Rubbing) Tie (Ink Manuscript) Avg. Acc
Acc F1 Recall Precision Acc F1 Recall Precision
Proprietary Models
GPT-5.2 35.32 33.80 35.32 33.96 33.84 33.34 33.84 34.51 34.58
GPT-4o 32.26 29.30 32.26 31.72 33.60 32.49 33.60 36.55 32.93
Gemini-2.5-Pro 31.49 29.32 31.49 30.95 27.14 25.24 27.14 30.68 29.32
Claude-Sonnet-4-5 34.26 32.97 34.26 34.33 31.38 30.10 31.38 33.53 32.82
Doubao-1.5-Vision-Pro 37.60 33.90 37.60 35.81 36.98 35.26 36.98 38.77 37.29
Open-weight Models
Qwen3-VL-30B-Inst. 23.42 21.06 23.42 23.84 20.19 18.68 20.19 20.75 21.81
Qwen3-VL-235B-Inst. 34.10 30.00 34.10 39.41 26.40 23.68 26.40 35.05 30.25
Qwen2.5-VL-7B-Inst. 21.27 18.08 21.27 22.77 19.23 16.68 19.23 21.78 20.25
Qwen2.5-VL-72B-Inst. 26.60 22.81 26.60 28.28 23.25 20.23 23.25 27.00 24.93

Table 2: 可解释审美推理结果 (Generation)

The $\Delta$ values indicate the difference from the Ground Truth expert scores. Best results are in bold, and second-best are underlined.

Model Bei (Stone Rubbing) Tie (Ink Manuscript)
BERTScore Term. ($\Delta$) Rich. ($\Delta$) BERTScore Term. ($\Delta$) Rich. ($\Delta$)
Proprietary Models
GPT-5.2 6.94 7.23 (+1.42) 5.35 (+0.82) 6.90 7.27 (+1.29) 5.42 (+0.67)
GPT-4o 6.98 5.35 (-0.46) 3.70 (-0.83) 6.96 5.35 (-0.63) 3.74 (-1.01)
Gemini-2.5-Pro 6.98 6.61 (+0.80) 4.29 (-0.24) 6.95 6.61 (+0.63) 4.35 (-0.40)
Claude-Sonnet-4-5 6.98 6.57 (+0.76) 4.33 (-0.20) 6.97 6.65 (+0.67) 4.38 (-0.37)
Doubao-1.5-Vision-Pro 7.05 5.02 (-0.79) 3.07 (-1.46) 7.01 5.00 (-0.98) 3.30 (-1.45)
Open-weight Models
Qwen3-VL-30B-Inst. 6.97 6.05 (+0.25) 3.93 (-0.60) 6.97 6.18 (+0.20) 3.99 (-0.76)
Qwen3-VL-235B-Inst. 6.95 6.33 (+0.52) 4.10 (-0.43) 6.93 6.40 (+0.42) 4.14 (-0.61)
Qwen2.5-VL-7B-Inst. 6.75 4.61 (-1.19) 2.93 (-1.60) 6.78 4.70 (-1.28) 2.99 (-1.76)
Qwen2.5-VL-72B-Inst. 7.00 5.06 (-0.75) 3.28 (-1.25) 6.95 5.04 (-0.94) 3.28 (-1.47)
Ground Truth (Experts) 10.00 5.81 (0.00) 4.53 (0.00) 10.00 5.98 (0.00) 4.75 (0.00)

发现:感知与表达的割裂

"懂字但不懂书法":模型在判别和生成任务上存在显著错位。以 OCR 为重的模型(如 Doubao)在判别中得分最高,但在生成丰富视觉细节时表现挣扎;而大语言模型基座较强的模型(如 GPT-5.2)则表现出强烈的“幻觉”,能堆砌专业词汇但缺乏对画面的真实视觉锚定。违背直觉的是,模型在高对比度的拓片 (Bei) 上的判别准确率普遍高于墨迹 (Tie),暴露出视觉骨干偏好几何边界而非真实墨色纹理的缺陷。

消融实验:规范化与先验的必要性

Table 4: 数据处理条件对比 (Qwen3-235B)

Wild (Raw): Acc 34.22% Origin (Processed): Precision 37.06%

处理后的 Origin 数据剔除了背景捷径(如纸张老化、印章),虽然绝对准确率略降,但精确率显著提升,确保了真正的风格感知评估。

Table 5: 描述文本来源消融

Random: Acc 30.93% Expert (Ours): Acc 34.10%

在判别任务中,使用专家撰写的描述比随机描述或 GPT 生成描述获得了更高的准确率和精确率,验证了高质量语义先验的价值。

数据构成与风格描述