Lumen：Qwen3.5-9B 火灾安全微调模型仓库

本仓库包含基于 Qwen3.5-9B 微调得到的火灾安全视觉语言模型（VLM），用于分析监控视频中的消防安全状况、判断是否存在火灾（明火/起火），并输出结构化 JSON 分析报告。

仓库内容

路径	说明
Qwen3.5-9B-fire-hazard-hf/	最终微调模型（HF 格式，bf16，约 19GB）。基底为 Qwen3.5-9B，先在消防视频上做视频 SFT，再用 100 条"九小场所"消防隐患监控视频续训，在 val 集 38 条上达到 acc 1.0000

---

Qwen3.5-9B-Fire-Hazard 火灾安全隐患视觉语言模型

模型概述（Model Overview）

• 模型类型：多模态大语言模型（VLM，视觉-语言模型），支持视频 + 文本输入，输出结构化 JSON
• 基座模型：Qwen3.5-9B（qwen3_5 架构，含 MTP 预测头）
• 参数量：约 9B（Dense）
• 权重格式：bfloat16，约 19GB（4 个 safetensors shard）
• 输入：监控视频 + 文本提示
• 输出：严格 JSON —— {"is_fire": true或false, "类别": "...", "火灾隐患": "...", "场景描述": "...", "判定依据": "...", "整改措施": "..."}

训练信息（Training Details）

• 训练框架：LoongForge（基于 Megatron-LM）
• 训练硬件：昆仑芯 Kunlun P800（XPU），单机 2 卡（TP1 + DP2，96GB×2）
• 训练方式：全参数 SFT（全量微调），bf16
• 微调阶段：
  1. 视频 SFT：51 条消防视频（火灾 28 + 隐患 35），200 iterations
  2. 隐患视频 SFT（最终阶段）：100 条九小场所消防隐患监控视频（无明火，is_fire=false），续训 150 iterations（iteration 200→350）
• 关键超参数：global-batch 32（DP2×grad-accum 16）、micro-batch 1、seq-length 4096、lr 1e-5→1e-6（cosine）、warmup 0.02、激活重计算、hybrid CPU-offload optimizer

能力与用途（Intended Use）

• 分析监控视频中的消防安全状况
• 判断画面中是否存在火灾（明火/起火）
• 识别消防隐患：疏散通道堵塞、厨房动火无人看管、违规使用液化气钢瓶/酒精炉/电暖器、电动车室内/楼道充电与飞线充电、货物遮挡消防设施等
• 输出包含判定依据和整改措施的结构化 JSON

评测结果（Evaluation）

val 集 38 条（24 条火灾视频 + 14 条消防隐患视频，后者为模型训练时未见过的 holdout 数据）：

指标	数值
准确率	1.0000
TPR（火灾召回）	1.000
TNR（隐患/无火灾）	1.000
平衡准确率	1.0000
输出解析失败	0

使用方式（Usage）

import torch
from transformers import AutoProcessor, Qwen3_5ForConditionalGeneration

model = Qwen3_5ForConditionalGeneration.from_pretrained(
    "liuwangaaaa/lumen/Qwen3.5-9B-fire-hazard-hf",
    trust_remote_code=True, torch_dtype=torch.bfloat16,
).to("cuda").eval()
proc = AutoProcessor.from_pretrained("liuwangaaaa/lumen/Qwen3.5-9B-fire-hazard-hf",
                                     trust_remote_code=True)

prompt = ("请分析这段监控视频中的消防安全状况：1) 判断画面中是否存在火灾（明火/起火）；"
          "2) 说明场景类别；3) 描述画面场景细节；4) 给出判定依据；5) 给出整改措施。"
          "请只以严格的 JSON 格式回答：{\"is_fire\": true或false, \"类别\": \"...\", "
          "\"火灾隐患\": \"...\", \"场景描述\": \"...\", \"判定依据\": \"...\", \"整改措施\": \"...\"}")

msgs = [{"role": "user", "content": [{"type": "video"}, {"type": "text", "text": prompt}]}]
text = proc.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
inputs = proc(text=[text], videos=["/path/to/video.mp4"], return_tensors="pt", fps=2)
inputs = {k: v.to(model.device) if torch.is_tensor(v) else v for k, v in inputs.items()}
with torch.no_grad():
    out = model.generate(**inputs, max_new_tokens=300, do_sample=False)
print(proc.batch_decode(out[:, inputs["input_ids"].shape[1]:], skip_special_tokens=True)[0])

限制（Limitations）

• 训练数据以九小场所（餐饮、商店、旅馆、网吧、美容美发、幼儿园、诊所、作坊等）AI 生成的隐患监控视频为主，真实场景泛化能力需进一步验证
• 判定结果仅供消防安全辅助参考，不作为唯一依据