| # Medical-ChatBot-DPO LoRA 模型 | |
| ## 模型概述 | |
| 基于 SFT 模型的直接偏好优化（Direct Preference Optimization, DPO）LoRA 适配器，通过人类偏好数据进行对齐训练。 | |
| - **基础模型**: SFT 阶段训练后的 LLaMA-3.1-8B (sft-full-multi) | |
| - **训练阶段**: Direct Preference Optimization (DPO) | |
| - **训练状态**: 🚧 训练中 | |
| ## 1. 数据集 | |
| **数据集**: [bootscoder/Medical-ChatBot-DPO](https://huggingface.co/datasets/bootscoder/Medical-ChatBot-DPO) | |
| 详细数据集信息请查看上述链接。 | |
| ## 2. 训练流程 | |
| ### 技术栈 | |
| - **DeepSpeed**: ZeRO Stage 1 分布式训练 | |
| - **PEFT**: LoRA 参数高效微调 | |
| - **BitsAndBytes**: 4-bit NF4 量化 + 双重量化 | |
| - **Flash Attention 2**: 加速注意力计算 | |
| - **TRL**: DPOTrainer 偏好优化 | |
| ### 训练阶段 | |
| 1. **加载 SFT 模型**: 使用 SFT 阶段的 full model 作为起点 | |
| 2. **偏好数据处理**: 处理 chosen/rejected 回答对 | |
| 3. **DPO 训练**: 使用 sigmoid loss 进行偏好对齐 | |
| 4. **分布式训练**: DeepSpeed 8卡并行训练，2 epochs | |
| 5. **保存模型**: 保存 LoRA 适配器权重 | |
| ## 3. 参数配置 | |
| ### 硬件配置 | |
| ``` | |
| GPU: 8 × NVIDIA A5000 (24GB VRAM) | |
| 实际使用卡: 0,1,2,4,5,7,8,9 | |
| 分布式: DeepSpeed ZeRO Stage 1 | |
| ``` | |
| ### 训练超参数 | |
| ```yaml | |
| seq_length: 512 # 序列长度 | |
| max_prompt_length: 128 # 最大提示长度 | |
| max_completion_length: 128 # 最大回答长度 | |
| batch_size: 4 # 每卡批次大小 | |
| gradient_accumulation_steps: 8 # 梯度累积 | |
| effective_batch_size: 256 # 4 × 8 × 8 | |
| num_train_epochs: 2 # 训练轮数 | |
| learning_rate: 5e-6 # 学习率 (低于 SFT) | |
| lr_scheduler_type: cosine # 余弦调度 | |
| warmup_ratio: 0.05 # 预热比例 | |
| bf16: true # BF16 混合精度 | |
| gradient_checkpointing: true # 梯度检查点 | |
| beta: 0.1 # DPO 温度参数 | |
| loss_type: sigmoid # Sigmoid loss | |
| ``` | |
| ### QLoRA 配置 | |
| **量化配置**: | |
| ```python | |
| load_in_4bit: True # 4-bit 量化 | |
| bnb_4bit_quant_type: nf4 # NF4 量化 | |
| bnb_4bit_compute_dtype: bfloat16 # BF16 计算 | |
| bnb_4bit_use_double_quant: True # 双重量化 | |
| ``` | |
| **LoRA 配置**: | |
| ```python | |
| r: 64 # LoRA 秩 | |
| lora_alpha: 8 # 缩放因子 (alpha/r = 0.125) | |
| target_modules: [q_proj, k_proj] # Q, K 投影层 | |
| bias: none # 不训练 bias | |
| trainable_params: ~54MB # 可训练参数 | |
| ``` | |
| **DPO 特性**: | |
| - **Beta 参数 (0.1)**: 控制偏好强度，较小的 beta 使模型更积极地学习偏好 | |
| - **Sigmoid Loss**: 稳定的损失函数，适合偏好学习 | |
| - **无需 Reference Model**: 隐式参考模型，节约显存 | |
| - **显存节约**: ~90% (相比全参数训练) | |
| ## 4. 峰值显存占用 | |
| **单卡峰值**: ____________ GB | |
| **8卡总计**: ____________ GB | |
| ## 5. 模型预期表现 | |
| ### 相比 SFT 模型的改进 | |
| **改进**: | |
| - 生成内容更符合人类偏好 | |
| - 回答质量和安全性提升 | |
| - 减少不必要的冗长或不当内容 | |
| - 更好的拒答能力（对不确定问题） | |
| - 输出风格更加友好和专业 | |
| **相比 Base LLaMA-3.1-8B**: | |
| - 医疗领域知识（CPT）+ 指令遵循（SFT）+ 偏好对齐（DPO） | |
| - 完整的 RLHF 替代方案（DPO 作为 PPO 的替代） | |
| - 更安全、更可控、更符合用户期望 | |
| **局限**: | |
| - 依赖偏好数据质量，可能存在偏好数据偏差 | |
| - 对于偏好数据未覆盖的场景，改进有限 | |
| - 仍建议在实际应用中进行人工审核 | |
| ## 使用方法 | |
| ### 加载模型 | |
| ```python | |
| import torch | |
| from peft import PeftModel | |
| from transformers import AutoModelForCausalLM, AutoTokenizer | |
| # 加载 SFT full model | |
| base_model = AutoModelForCausalLM.from_pretrained( | |
| "/path/to/sft-full-multi", | |
| torch_dtype=torch.bfloat16, | |
| device_map="auto" | |
| ) | |
| # 加载 DPO LoRA 适配器 | |
| model = PeftModel.from_pretrained(base_model, "/path/to/dpo-lora") | |
| tokenizer = AutoTokenizer.from_pretrained("/path/to/dpo-lora") | |
| # 合并适配器（可选） | |
| model = model.merge_and_unload() | |
| ``` | |
| ### 对话示例 | |
| ```python | |
| # 构建对话格式 | |
| SYSTEM_PROMPT = "You are a Medical Chatbot, you should friendly answer the question." | |
| def format_prompt(question): | |
| return f"###System: {SYSTEM_PROMPT}\n###Question: {question}\n###Answer: " | |
| # 生成回答 | |
| question = "感冒了应该怎么办？" | |
| prompt = format_prompt(question) | |
| inputs = tokenizer(prompt, return_tensors="pt").to(model.device) | |
| outputs = model.generate( | |
| **inputs, | |
| max_new_tokens=256, | |
| temperature=0.7, | |
| top_p=0.9, | |
| do_sample=True, | |
| repetition_penalty=1.1 | |
| ) | |
| response = tokenizer.decode(outputs[0], skip_special_tokens=True) | |
| print(response) | |
| ``` | |
| ### 推理优化建议 | |
| ```python | |
| # 使用更保守的采样参数以提高输出质量 | |
| outputs = model.generate( | |
| **inputs, | |
| max_new_tokens=256, | |
| temperature=0.6, # 降低随机性 | |
| top_p=0.85, # 更集中的采样 | |
| do_sample=True, | |
| repetition_penalty=1.15, # 避免重复 | |
| no_repeat_ngram_size=3 # 避免 n-gram 重复 | |
| ) | |
| ``` | |
| ## 模型文件 | |
| ``` | |
| dpo-lora/ | |
| ├── adapter_config.json # LoRA 配置 | |
| ├── adapter_model.safetensors # LoRA 权重 (~54MB) | |
| ├── special_tokens_map.json # 特殊 token 映射 | |
| ├── tokenizer.json # 分词器 | |
| └── tokenizer_config.json # 分词器配置 | |
| ``` | |
| ## 训练进度 | |
| **当前状态**: 🚧 训练中 | |
| 训练完成后，模型将包含完整的 CPT → SFT → DPO 训练流程，形成一个完整的医疗对话模型。 | |
| ## 许可证 | |
| 遵循 [Llama 3.1 Community License](https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/LICENSE) | |
| ## 注意事项 | |
| ⚠️ **医疗免责声明**: | |
| - 本模型仅供研究和教育用途 | |
| - 不应作为专业医疗建议的替代 | |
| - 任何医疗决策都应咨询专业医疗人员 | |
| - 模型输出可能包含错误或不完整信息 | |