Upload todo.md with huggingface_hub
Browse files
todo.md
ADDED
|
@@ -0,0 +1,95 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# 视频超分模型对比评分任务
|
| 2 |
+
|
| 3 |
+
## 任务目标
|
| 4 |
+
使用 Validator 的评分代码（VMAF + PIE-APP）对4个视频超分模型进行对比评分。
|
| 5 |
+
|
| 6 |
+
## 文件路径说明（更新后）
|
| 7 |
+
|
| 8 |
+
### 原始视频（Reference）
|
| 9 |
+
- **路径**: `/workspace/video/ori_video/`
|
| 10 |
+
- **文件命名**: `1_video.mp4` 到 `8_video.mp4`（共8个视频）
|
| 11 |
+
|
| 12 |
+
### 超分模型输出视频（Distorted）
|
| 13 |
+
|
| 14 |
+
| 模型名称 | 文件夹路径 | 输出文件名格式 |
|
| 15 |
+
|---------|-----------|--------------|
|
| 16 |
+
| Anime4K | `/workspace/video/output_anime4k/` | `{i}_video_anime4k.mp4` |
|
| 17 |
+
| RealESRGAN | `/workspace/video/output_realesrgan/` | `{i}_video_x2plus.mp4` |
|
| 18 |
+
| StreamVSR | `/workspace/video/streamvsr_output_4k/` | `{i}_video_4K.mp4` |
|
| 19 |
+
| FlashVSR | `/workspace/video/video_flashvsr/` | `{i}_video_flashvsr.mp4` |
|
| 20 |
+
|
| 21 |
+
## 评分指标说明
|
| 22 |
+
|
| 23 |
+
### 1. VMAF (Video Multi-Method Assessment Fusion)
|
| 24 |
+
- **说明**: Netflix开发的感知视频质量评估算法，获奖算法
|
| 25 |
+
- **范围**: 0-100，越高越好
|
| 26 |
+
- **计算方式**: 将参考视频上采样到与超分视频相同的分辨率（4K），然后计算 VMAF 分数
|
| 27 |
+
|
| 28 |
+
### 2. PIE-APP (Perceptual Image-Error Assessment through Pairwise Preferences)
|
| 29 |
+
- **说明**: 基于成对偏好的感知图像误差评估
|
| 30 |
+
- **范围**: 0-2，越低越好（实际使用sigmoid转换后的分数）
|
| 31 |
+
- **计算方式**: 为降低计算开销，将4K帧下采样到1080p后计算
|
| 32 |
+
|
| 33 |
+
### 3. Final Score
|
| 34 |
+
- **说明**: 基于 PIE-APP 分数通过 sigmoid 变换计算得出的最终得分
|
| 35 |
+
- **范围**: 0-1，越高越好
|
| 36 |
+
|
| 37 |
+
## 当前状态
|
| 38 |
+
|
| 39 |
+
### 已完成
|
| 40 |
+
- [x] VMAF 工具安装 (`vmaf` 命令行工具)
|
| 41 |
+
- [x] PIE-APP 模型加载配置
|
| 42 |
+
- [x] 评分脚本开发 (`/workspace/compare_upscale_models_fast.py`)
|
| 43 |
+
|
| 44 |
+
### 待完成
|
| 45 |
+
- [ ] 运行评分脚本完成所有8个视频 × 4个模型 = 32个评分类对
|
| 46 |
+
- [ ] 生成 `/workspace/new_scored.md` 评分报告
|
| 47 |
+
|
| 48 |
+
## 遇到的问题及解决方案
|
| 49 |
+
|
| 50 |
+
### 问题1: 分辨率不匹配
|
| 51 |
+
- **现象**: VMAF 和 PIE-APP 要求参考视频和超分视频分辨率相同
|
| 52 |
+
- **解决**: VMAF计算时将参考视频上采样到4K；PIE-APP计算时统一下采样到1080p
|
| 53 |
+
|
| 54 |
+
### 问题2: PIE-APP GPU OOM
|
| 55 |
+
- **现象**: 4K分辨率导致CUDA显存不足（需要10GB+显存）
|
| 56 |
+
- **解决**: 使用CPU计算PIE-APP，并将帧下采样到1080p以加速
|
| 57 |
+
|
| 58 |
+
### 问题3: CPU计算过慢
|
| 59 |
+
- **现象**: 4K帧在CPU上处理每个视频需要10+分钟
|
| 60 |
+
- **解决**: 下采样到1080p后，预计每个视频处理时间降至1-2分钟
|
| 61 |
+
|
| 62 |
+
## 运行脚本
|
| 63 |
+
|
| 64 |
+
```bash
|
| 65 |
+
cd /workspace
|
| 66 |
+
python3 compare_upscale_models_fast.py
|
| 67 |
+
```
|
| 68 |
+
|
| 69 |
+
## 预期输出
|
| 70 |
+
|
| 71 |
+
评分报告将保存在 `/workspace/new_scored.md`，包含：
|
| 72 |
+
1. **Summary Table**: 各模型的平均 VMAF、PIE-APP、Final Score 排名
|
| 73 |
+
2. **Detailed Results**: 每个视频各模型的详细得分
|
| 74 |
+
3. **Model Analysis**: 各模型的性能分析
|
| 75 |
+
4. **Raw Data**: JSON格式的原始数据
|
| 76 |
+
|
| 77 |
+
## 文件清单
|
| 78 |
+
|
| 79 |
+
```
|
| 80 |
+
/workspace/
|
| 81 |
+
├── video/ # 视频文件根目录
|
| 82 |
+
│ ├── ori_video/ # 原始视频 1-8
|
| 83 |
+
│ ├── output_anime4k/ # Anime4K 超分结果
|
| 84 |
+
│ ├── output_realesrgan/ # RealESRGAN 超分结果
|
| 85 |
+
│ ├── streamvsr_output_4k/ # StreamVSR 超分结果
|
| 86 |
+
│ └── video_flashvsr/ # FlashVSR 超分结果
|
| 87 |
+
├── compare_upscale_models_fast.py # 评分脚本（优化版）
|
| 88 |
+
└── new_scored.md # 评分报告（待生成）
|
| 89 |
+
```
|
| 90 |
+
|
| 91 |
+
## 注意事项
|
| 92 |
+
|
| 93 |
+
1. PIE-APP 模型首次运行时会自动从 HuggingFace 下载 (~100MB)
|
| 94 |
+
2. 评分过程可能需要 30-60 分钟（取决于CPU性能）
|
| 95 |
+
3. 随机种子已固定为42，确保结果可复现
|