| # 视频超分模型对比评分任务 |
|
|
| ## 任务目标 |
| 使用 Validator 的评分代码（VMAF + PIE-APP）对4个视频超分模型进行对比评分。 |
|
|
| ## 文件路径说明（更新后） |
|
|
| ### 原始视频（Reference） |
| - **路径**: `/workspace/video/ori_video/` |
| - **文件命名**: `1_video.mp4` 到 `8_video.mp4`（共8个视频） |
|
|
| ### 超分模型输出视频（Distorted） |
|
|
| | 模型名称 | 文件夹路径 | 输出文件名格式 | |
| |---------|-----------|--------------| |
| | Anime4K | `/workspace/video/output_anime4k/` | `{i}_video_anime4k.mp4` | |
| | RealESRGAN | `/workspace/video/output_realesrgan/` | `{i}_video_x2plus.mp4` | |
| | StreamVSR | `/workspace/video/streamvsr_output_4k/` | `{i}_video_4K.mp4` | |
| | FlashVSR | `/workspace/video/video_flashvsr/` | `{i}_video_flashvsr.mp4` | |
|
|
| ## 评分指标说明 |
|
|
| ### 1. VMAF (Video Multi-Method Assessment Fusion) |
| - **说明**: Netflix开发的感知视频质量评估算法，获奖算法 |
| - **范围**: 0-100，越高越好 |
| - **计算方式**: 将参考视频上采样到与超分视频相同的分辨率（4K），然后计算 VMAF 分数 |
|
|
| ### 2. PIE-APP (Perceptual Image-Error Assessment through Pairwise Preferences) |
| - **说明**: 基于成对偏好的感知图像误差评估 |
| - **范围**: 0-2，越低越好（实际使用sigmoid转换后的分数） |
| - **计算方式**: 为降低计算开销，将4K帧下采样到1080p后计算 |
|
|
| ### 3. Final Score |
| - **说明**: 基于 PIE-APP 分数通过 sigmoid 变换计算得出的最终得分 |
| - **范围**: 0-1，越高越好 |
|
|
| ## 当前状态 |
|
|
| ### 已完成 |
| - [x] VMAF 工具安装 (`vmaf` 命令行工具) |
| - [x] PIE-APP 模型加载配置 |
| - [x] 评分脚本开发 (`/workspace/compare_upscale_models_fast.py`) |
|
|
| ### 待完成 |
| - [ ] 运行评分脚本完成所有8个视频 × 4个模型 = 32个评分类对 |
| - [ ] 生成 `/workspace/new_scored.md` 评分报告 |
|
|
| ## 遇到的问题及解决方案 |
|
|
| ### 问题1: 分辨率不匹配 |
| - **现象**: VMAF 和 PIE-APP 要求参考视频和超分视频分辨率相同 |
| - **解决**: VMAF计算时将参考视频上采样到4K；PIE-APP计算时统一下采样到1080p |
|
|
| ### 问题2: PIE-APP GPU OOM |
| - **现象**: 4K分辨率导致CUDA显存不足（需要10GB+显存） |
| - **解决**: 使用CPU计算PIE-APP，并将帧下采样到1080p以加速 |
|
|
| ### 问题3: CPU计算过慢 |
| - **现象**: 4K帧在CPU上处理每个视频需要10+分钟 |
| - **解决**: 下采样到1080p后，预计每个视频处理时间降至1-2分钟 |
|
|
| ## 运行脚本 |
|
|
| ```bash |
| cd /workspace |
| python3 compare_upscale_models_fast.py |
| ``` |
|
|
| ## 预期输出 |
|
|
| 评分报告将保存在 `/workspace/new_scored.md`，包含： |
| 1. **Summary Table**: 各模型的平均 VMAF、PIE-APP、Final Score 排名 |
| 2. **Detailed Results**: 每个视频各模型的详细得分 |
| 3. **Model Analysis**: 各模型的性能分析 |
| 4. **Raw Data**: JSON格式的原始数据 |
|
|
| ## 文件清单 |
|
|
| ``` |
| /workspace/ |
| ├── video/ # 视频文件根目录 |
| │ ├── ori_video/ # 原始视频 1-8 |
| │ ├── output_anime4k/ # Anime4K 超分结果 |
| │ ├── output_realesrgan/ # RealESRGAN 超分结果 |
| │ ├── streamvsr_output_4k/ # StreamVSR 超分结果 |
| │ └── video_flashvsr/ # FlashVSR 超分结果 |
| ├── compare_upscale_models_fast.py # 评分脚本（优化版） |
| └── new_scored.md # 评分报告（待生成） |
| ``` |
|
|
| ## 注意事项 |
|
|
| 1. PIE-APP 模型首次运行时会自动从 HuggingFace 下载 (~100MB) |
| 2. 评分过程可能需要 30-60 分钟（取决于CPU性能） |
| 3. 随机种子已固定为42，确保结果可复现 |
|
|
