snnh commited on
Commit
936ff3b
·
verified ·
1 Parent(s): 5ca6648

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +62 -80
README.md CHANGED
@@ -2,7 +2,6 @@
2
  language:
3
  - zh
4
  - en
5
- license: apache-2.0
6
  base_model: PaddlePaddle/PaddleOCR-VL-1.6
7
  pipeline_tag: image-text-to-text
8
  tags:
@@ -13,93 +12,76 @@ tags:
13
  - developer-tools
14
  ---
15
 
16
- # PaddleOCR-VL-1.6 开发场景代码 OCR 微调模型
17
-
18
- 这是 PaddleOCR 全球衍生模型挑战赛提交用模型卡。本文档中文优先,必要英文术语仅用于模型平台兼容
19
-
20
- 当前初赛提交候选为 v6。
21
-
22
- ## 模型简介
23
-
24
- 模型基于 PaddleOCR-VL-1.6 微调,面向开发场景 OCR目标是识别 IDE 截图、终端输出、Traceback、配置文件、Git diff、文档代码块、API 表格、小字号和暗色主题等开发相关图片中的可见文字
25
-
26
- 推荐提示词:
27
-
28
- ```text
29
- <image>OCR:
30
- ```
31
-
32
- ## 基础模型
33
-
34
- - 基础模型:PaddleOCR-VL-1.6
35
- - 微调方式:LoRA 微调后导出合并模型
36
- - 目标任务:代码文字识别 / 开发工具 OCR。
37
-
38
- ## 数据概况
39
-
40
- 当前训练索引 `train.json` 共 1102 条样本。公开仓库不直接发布训练数据,只说明数据类型和质量控制方法。数据主要覆盖:
41
-
42
- - IDE / 编辑器代码截图。
43
- - 终端、Shell、PowerShell 命令和输出。
44
- - Traceback、报错日志和诊断信息。
45
- - YAML / JSON / TOML / INI 配置文件。
46
- - Git diff、patch 和 PR 页面。
47
- - Markdown / 文档代码块。
48
- - API 表格、参数表和字段说明。
49
- - 小字号、压缩、暗色主题、拍屏等困难样本。
50
-
51
- 最终 benchmark 测试集冻结,不参与训练和训练期调参。
52
-
53
- ## 使用场景
54
-
55
- 本模型适用于从开发场景截图中抽取可见文字,并尽量保留代码符号、缩进、换行、结构和阅读顺序。它不是代码修复或代码生成模型,不应补全图片中不可见的内容。
56
-
57
- 推荐解码参数:
58
-
59
- ```text
60
- max_tokens=4096
61
  repetition_penalty=1.08
62
  temperature=0
63
  ```
64
-
65
- ## 阶段性评估
66
-
67
- benchmark v4 包含 100 个样本,覆盖 8 类开发 OCR 场景。评估采用六维 LLM 裁判,并按类别权重汇总最终分。测试集不参与训练和训练期调参。
68
-
69
- 当前提交候选 v6 在 benchmark v4 上的结果:
70
-
71
- | 指标 | 数值 |
72
- | --- | ---: |
73
- | final_score_v4 | 61.08 |
74
- | 全局六维分 | 64.06 |
75
- | 类别宏平均 | 63.86 |
76
- | 最弱类别 | 44.54 |
77
- | 严格可用率 | 47.00% |
78
- | 完成率 | 96.00% |
79
- | 安全分 | 79.00% |
80
- | 平均 LLM | 74.05 |
81
- | 平均 NED | 0.1360 |
82
-
83
- 完整 benchmark 与 demo 说明见 [GitHub docs/ocr_benchmark_v4.md](https://github.com/snnh/paddleocr-vl-code-ocr/blob/main/docs/ocr_benchmark_v4.md)。
84
-
85
- ## 局限性
86
 
87
- 模型在以下场景仍可能错:
88
-
89
- - 极小或模糊文本。
90
- - 复杂 API 表格。
91
- - 深层嵌套配置文件。
92
- - 长 Traceback 输出。
93
- - 多区域混排截图。
94
- - 罕见符号、代码标点和缩进敏感内容。
95
 
96
- 模型输出应只作为 OCR 转写结果使用,不能视为代码语义理解或代码正确性保证。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
97
 
98
- ## 说明
 
 
99
 
100
- 本 Hugging Face 仓库发布的微调模型权重按 Apache License 2.0 开源。GitHub 仓库中的代码、脚本、配置摘要和文档同样按 Apache License 2.0 开源除非具体文件另有说明
101
 
102
- 基础模型 PaddleOCR-VL-1.6 本身标注为 Apache-2.0。第三方数据集、训练/评估来源素材和比赛单独提交的评估集不随模型权重或 GitHub 仓库重新分发、重新授权,仍受各自来源的许可、使用条款和制约束。
 
 
 
 
 
 
 
 
 
 
 
103
 
104
  ## 致谢
105
 
 
2
  language:
3
  - zh
4
  - en
 
5
  base_model: PaddlePaddle/PaddleOCR-VL-1.6
6
  pipeline_tag: image-text-to-text
7
  tags:
 
12
  - developer-tools
13
  ---
14
 
15
+ # PaddleOCR-VL 开发场景代码 OCR 微调模型
16
+
17
+ 本模型基于 PaddleOCR-VL-1.6 微调,面向开发场景 OCR,重点识别 IDE 截图、终端输出、Traceback、配置件、Git diff、文代码块、API 表格、小字号和暗色主题等开发相关图片的可见
18
+
19
+ ## 在线 Demo
20
+
21
+ 🤗 [在线试用(HF Space)](https://huggingface.co/spaces/snnh/paddleocr-vl-code-ocr-demo):上传开发场景截图即可在线体验,无需本地部署。
22
+
23
+ HF Space 使用免费 CPU 硬件,仅作为可访问演示入口;首次加载需拉取模型权重,单图可能需要 1-5 分钟benchmark 分数和正式复现口径以本地 GPU / OpenAI-compatible 接口结果为准
24
+
25
+ 推荐提示词:
26
+
27
+ ```text
28
+ <image>OCR:
29
+ ```
30
+
31
+ ## 模型信息
32
+
33
+ - 基础模型:PaddleOCR-VL-1.6
34
+ - 微调方式:LoRA 微调后导出合并模型
35
+ - 任务类型开发场景代码 OCR / image-to-text
36
+ - 当前版本:v6 提交候选版本
37
+ - 主提示词:`<image>OCR:`
38
+ - 主 benchmark:benchmark v4 固定 100 题,`final_score_v4=61.08`
39
+
40
+ ## 推荐推理参数
41
+
42
+ ```text
43
+ max_tokens=4096
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
44
  repetition_penalty=1.08
45
  temperature=0
46
  ```
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
47
 
48
+ 模型目标是只输图片中可见文字,尽量保留代码符号、大小写、缩进、换行、结构和阅读顺序。它不是代码修复或代码生成模型,不应补全图片中不可见的内容。
 
 
 
 
 
 
 
49
 
50
+ ## 数据与评估
51
+
52
+ 当前初赛提交口径下,训练索引 `train.json` 为 2026-06-18 后的快照,共 1102 条样本(941 PNG / 161 JPG),平均目标文本长度 1153.7 字符。该规模只是当前提交快照,不代表最终成品或后续决赛版本;训练数据仍可能继续清洗、补充或回滚。数据主要覆盖:
53
+
54
+ - IDE / 编辑器代码截图
55
+ - 终端、Shell、PowerShell 命令和输出
56
+ - Traceback、报错日志和诊断信息
57
+ - YAML / JSON / TOML / INI 配置文件
58
+ - Git diff、patch 和 PR 页面
59
+ - Markdown / 文档代码块
60
+ - API 表格、参数表和字段说明
61
+ - 小字号、压缩、暗色主题、拍屏等困难样本
62
+
63
+ 当前 benchmark v4 使用 100 题冻结测试集,按 8 类开发 OCR 场景加权汇总。测���集不参与训练和训练期调参。
64
+
65
+ 阶段性 v4 结果:
66
 
67
+ | 模型 | 提示词 | final_score_v4 | 平均 LLM | 平均 NED | 严格用率 | 完成率 | 安全分 |
68
+ | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: |
69
+ | PaddleOCR-VL-1.6 微调 v6 | `<image>OCR:` | 61.08 | 74.05 | 0.1360 | 47.00% | 96.00% | 79.00% |
70
 
71
+ 该分数是阶段性回归结果最终比赛评审以官方规则和提交材料为准
72
 
73
+ ##
74
+
75
+ 模型在以下场景仍可能出错:
76
+
77
+ - 极小或模糊文本
78
+ - 复杂 API 表格
79
+ - 深层嵌套配置文件
80
+ - 长 Traceback 输出
81
+ - 多区域混排截图
82
+ - 罕见符号、代码标点和缩进敏感内容
83
+
84
+ 模型输出应只作为 OCR 转写结果使用,不能视为代码语义理解或代码正确性保证。
85
 
86
  ## 致谢
87