Upload README.md with huggingface_hub
Browse files
README.md
CHANGED
|
@@ -2,7 +2,6 @@
|
|
| 2 |
language:
|
| 3 |
- zh
|
| 4 |
- en
|
| 5 |
-
license: apache-2.0
|
| 6 |
base_model: PaddlePaddle/PaddleOCR-VL-1.6
|
| 7 |
pipeline_tag: image-text-to-text
|
| 8 |
tags:
|
|
@@ -13,93 +12,76 @@ tags:
|
|
| 13 |
- developer-tools
|
| 14 |
---
|
| 15 |
|
| 16 |
-
# PaddleOCR-VL
|
| 17 |
-
|
| 18 |
-
|
| 19 |
-
|
| 20 |
-
|
| 21 |
-
|
| 22 |
-
|
| 23 |
-
|
| 24 |
-
|
| 25 |
-
|
| 26 |
-
推荐提示词:
|
| 27 |
-
|
| 28 |
-
```text
|
| 29 |
-
<image>OCR:
|
| 30 |
-
```
|
| 31 |
-
|
| 32 |
-
##
|
| 33 |
-
|
| 34 |
-
- 基础模型:PaddleOCR-VL-1.6
|
| 35 |
-
- 微调方式:LoRA 微调后导出合并模型
|
| 36 |
-
-
|
| 37 |
-
|
| 38 |
-
|
| 39 |
-
|
| 40 |
-
|
| 41 |
-
|
| 42 |
-
|
| 43 |
-
|
| 44 |
-
|
| 45 |
-
- YAML / JSON / TOML / INI 配置文件。
|
| 46 |
-
- Git diff、patch 和 PR 页面。
|
| 47 |
-
- Markdown / 文档代码块。
|
| 48 |
-
- API 表格、参数表和字段说明。
|
| 49 |
-
- 小字号、压缩、暗色主题、拍屏等困难样本。
|
| 50 |
-
|
| 51 |
-
最终 benchmark 测试集冻结,不参与训练和训练期调参。
|
| 52 |
-
|
| 53 |
-
## 使用场景
|
| 54 |
-
|
| 55 |
-
本模型适用于从开发场景截图中抽取可见文字,并尽量保留代码符号、缩进、换行、结构和阅读顺序。它不是代码修复或代码生成模型,不应补全图片中不可见的内容。
|
| 56 |
-
|
| 57 |
-
推荐解码参数:
|
| 58 |
-
|
| 59 |
-
```text
|
| 60 |
-
max_tokens=4096
|
| 61 |
repetition_penalty=1.08
|
| 62 |
temperature=0
|
| 63 |
```
|
| 64 |
-
|
| 65 |
-
## 阶段性评估
|
| 66 |
-
|
| 67 |
-
benchmark v4 包含 100 个样本,覆盖 8 类开发 OCR 场景。评估采用六维 LLM 裁判,并按类别权重汇总最终分。测试集不参与训练和训练期调参。
|
| 68 |
-
|
| 69 |
-
当前提交候选 v6 在 benchmark v4 上的结果:
|
| 70 |
-
|
| 71 |
-
| 指标 | 数值 |
|
| 72 |
-
| --- | ---: |
|
| 73 |
-
| final_score_v4 | 61.08 |
|
| 74 |
-
| 全局六维分 | 64.06 |
|
| 75 |
-
| 类别宏平均 | 63.86 |
|
| 76 |
-
| 最弱类别 | 44.54 |
|
| 77 |
-
| 严格可用率 | 47.00% |
|
| 78 |
-
| 完成率 | 96.00% |
|
| 79 |
-
| 安全分 | 79.00% |
|
| 80 |
-
| 平均 LLM | 74.05 |
|
| 81 |
-
| 平均 NED | 0.1360 |
|
| 82 |
-
|
| 83 |
-
完整 benchmark 与 demo 说明见 [GitHub docs/ocr_benchmark_v4.md](https://github.com/snnh/paddleocr-vl-code-ocr/blob/main/docs/ocr_benchmark_v4.md)。
|
| 84 |
-
|
| 85 |
-
## 局限性
|
| 86 |
|
| 87 |
-
模型
|
| 88 |
-
|
| 89 |
-
- 极小或模糊文本。
|
| 90 |
-
- 复杂 API 表格。
|
| 91 |
-
- 深层嵌套配置文件。
|
| 92 |
-
- 长 Traceback 输出。
|
| 93 |
-
- 多区域混排截图。
|
| 94 |
-
- 罕见符号、代码标点和缩进敏感内容。
|
| 95 |
|
| 96 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 97 |
|
| 98 |
-
|
|
|
|
|
|
|
| 99 |
|
| 100 |
-
|
| 101 |
|
| 102 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 103 |
|
| 104 |
## 致谢
|
| 105 |
|
|
|
|
| 2 |
language:
|
| 3 |
- zh
|
| 4 |
- en
|
|
|
|
| 5 |
base_model: PaddlePaddle/PaddleOCR-VL-1.6
|
| 6 |
pipeline_tag: image-text-to-text
|
| 7 |
tags:
|
|
|
|
| 12 |
- developer-tools
|
| 13 |
---
|
| 14 |
|
| 15 |
+
# PaddleOCR-VL 开发场景代码 OCR 微调模型
|
| 16 |
+
|
| 17 |
+
本模型基于 PaddleOCR-VL-1.6 微调,面向开发场景 OCR,重点识别 IDE 截图、终端输出、Traceback、配置文件、Git diff、文档代码块、API 表格、小字号和暗色主题等开发相关图片中的可见文字。
|
| 18 |
+
|
| 19 |
+
## 在线 Demo
|
| 20 |
+
|
| 21 |
+
🤗 [在线试用(HF Space)](https://huggingface.co/spaces/snnh/paddleocr-vl-code-ocr-demo):上传开发场景截图即可在线体验,无需本地部署。
|
| 22 |
+
|
| 23 |
+
HF Space 使用免费 CPU 硬件,仅作为可访问演示入口;首次加载需拉取模型权重,单图可能需要 1-5 分钟。benchmark 分数和正式复现口径以本地 GPU / OpenAI-compatible 接口结果为准。
|
| 24 |
+
|
| 25 |
+
推荐提示词:
|
| 26 |
+
|
| 27 |
+
```text
|
| 28 |
+
<image>OCR:
|
| 29 |
+
```
|
| 30 |
+
|
| 31 |
+
## 模型信息
|
| 32 |
+
|
| 33 |
+
- 基础模型:PaddleOCR-VL-1.6
|
| 34 |
+
- 微调方式:LoRA 微调后导出合并模型
|
| 35 |
+
- 任务类型:开发场景代码 OCR / image-to-text
|
| 36 |
+
- 当前版本:v6 提交候选版本
|
| 37 |
+
- 主提示词:`<image>OCR:`
|
| 38 |
+
- 主 benchmark:benchmark v4 固定 100 题,`final_score_v4=61.08`
|
| 39 |
+
|
| 40 |
+
## 推荐推理参数
|
| 41 |
+
|
| 42 |
+
```text
|
| 43 |
+
max_tokens=4096
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 44 |
repetition_penalty=1.08
|
| 45 |
temperature=0
|
| 46 |
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 47 |
|
| 48 |
+
模型目标是只输出图片中可见文字,尽量保留代码符号、大小写、缩进、换行、结构和阅读顺序。它不是代码修复或代码生成模型,不应补全图片中不可见的内容。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 49 |
|
| 50 |
+
## 数据与评估
|
| 51 |
+
|
| 52 |
+
当前初赛提交口径下,训练索引 `train.json` 为 2026-06-18 后的快照,共 1102 条样本(941 PNG / 161 JPG),平均目标文本长度 1153.7 字符。该规模只是当前提交快照,不代表最终成品或后续决赛版本;训练数据仍可能继续清洗、补充或回滚。数据主要覆盖:
|
| 53 |
+
|
| 54 |
+
- IDE / 编辑器代码截图
|
| 55 |
+
- 终端、Shell、PowerShell 命令和输出
|
| 56 |
+
- Traceback、报错日志和诊断信息
|
| 57 |
+
- YAML / JSON / TOML / INI 配置文件
|
| 58 |
+
- Git diff、patch 和 PR 页面
|
| 59 |
+
- Markdown / 文档代码块
|
| 60 |
+
- API 表格、参数表和字段说明
|
| 61 |
+
- 小字号、压缩、暗色主题、拍屏等困难样本
|
| 62 |
+
|
| 63 |
+
当前 benchmark v4 使用 100 题冻结测试集,按 8 类开发 OCR 场景加权汇总。测���集不参与训练和训练期调参。
|
| 64 |
+
|
| 65 |
+
阶段性 v4 结果:
|
| 66 |
|
| 67 |
+
| 模型 | 提示词 | final_score_v4 | 平均 LLM | 平均 NED | 严格可用率 | 完成率 | 安全分 |
|
| 68 |
+
| --- | --- | ---: | ---: | ---: | ---: | ---: | ---: |
|
| 69 |
+
| PaddleOCR-VL-1.6 微调 v6 | `<image>OCR:` | 61.08 | 74.05 | 0.1360 | 47.00% | 96.00% | 79.00% |
|
| 70 |
|
| 71 |
+
该分数是阶段性回归结果,最终比赛评审以官方规则和提交材料为准。
|
| 72 |
|
| 73 |
+
## 局限性
|
| 74 |
+
|
| 75 |
+
模型在以下场景仍可能出错:
|
| 76 |
+
|
| 77 |
+
- 极小或模糊文本
|
| 78 |
+
- 复杂 API 表格
|
| 79 |
+
- 深层嵌套配置文件
|
| 80 |
+
- 长 Traceback 输出
|
| 81 |
+
- 多区域混排截图
|
| 82 |
+
- 罕见符号、代码标点和缩进敏感内容
|
| 83 |
+
|
| 84 |
+
模型输出应只作为 OCR 转写结果使用,不能视为代码语义理解或代码正确性保证。
|
| 85 |
|
| 86 |
## 致谢
|
| 87 |
|