# Medical-ChatBot-DPO LoRA 模型

## 模型概述

基于 SFT 模型的直接偏好优化（Direct Preference Optimization, DPO）LoRA 适配器，通过人类偏好数据进行对齐训练。

- **基础模型**: SFT 阶段训练后的 LLaMA-3.1-8B (sft-full-multi)
- **训练阶段**: Direct Preference Optimization (DPO)
- **训练状态**: 🚧 训练中

## 1. 数据集

**数据集**: [bootscoder/Medical-ChatBot-DPO](https://huggingface.co/datasets/bootscoder/Medical-ChatBot-DPO)

详细数据集信息请查看上述链接。

## 2. 训练流程

### 技术栈

- **DeepSpeed**: ZeRO Stage 1 分布式训练
- **PEFT**: LoRA 参数高效微调
- **BitsAndBytes**: 4-bit NF4 量化 + 双重量化
- **Flash Attention 2**: 加速注意力计算
- **TRL**: DPOTrainer 偏好优化

### 训练阶段

1. **加载 SFT 模型**: 使用 SFT 阶段的 full model 作为起点
2. **偏好数据处理**: 处理 chosen/rejected 回答对
3. **DPO 训练**: 使用 sigmoid loss 进行偏好对齐
4. **分布式训练**: DeepSpeed 8卡并行训练，2 epochs
5. **保存模型**: 保存 LoRA 适配器权重

## 3. 参数配置

### 硬件配置

```
GPU: 8 × NVIDIA A5000 (24GB VRAM)
实际使用卡: 0,1,2,4,5,7,8,9
分布式: DeepSpeed ZeRO Stage 1
```

### 训练超参数

```yaml
seq_length: 512                     # 序列长度
max_prompt_length: 128              # 最大提示长度
max_completion_length: 128          # 最大回答长度
batch_size: 4                       # 每卡批次大小
gradient_accumulation_steps: 8      # 梯度累积
effective_batch_size: 256           # 4 × 8 × 8
num_train_epochs: 2                 # 训练轮数
learning_rate: 5e-6                 # 学习率 (低于 SFT)
lr_scheduler_type: cosine           # 余弦调度
warmup_ratio: 0.05                  # 预热比例
bf16: true                          # BF16 混合精度
gradient_checkpointing: true        # 梯度检查点
beta: 0.1                           # DPO 温度参数
loss_type: sigmoid                  # Sigmoid loss
```

### QLoRA 配置

**量化配置**:
```python
load_in_4bit: True                      # 4-bit 量化
bnb_4bit_quant_type: nf4                # NF4 量化
bnb_4bit_compute_dtype: bfloat16        # BF16 计算
bnb_4bit_use_double_quant: True         # 双重量化
```

**LoRA 配置**:
```python
r: 64                               # LoRA 秩
lora_alpha: 8                       # 缩放因子 (alpha/r = 0.125)
target_modules: [q_proj, k_proj]    # Q, K 投影层
bias: none                          # 不训练 bias
trainable_params: ~54MB             # 可训练参数
```

**DPO 特性**:
- **Beta 参数 (0.1)**: 控制偏好强度，较小的 beta 使模型更积极地学习偏好
- **Sigmoid Loss**: 稳定的损失函数，适合偏好学习
- **无需 Reference Model**: 隐式参考模型，节约显存
- **显存节约**: ~90% (相比全参数训练)

## 4. 峰值显存占用

**单卡峰值**: ____________ GB
**8卡总计**: ____________ GB

## 5. 模型预期表现

### 相比 SFT 模型的改进

**改进**:
- 生成内容更符合人类偏好
- 回答质量和安全性提升
- 减少不必要的冗长或不当内容
- 更好的拒答能力（对不确定问题）
- 输出风格更加友好和专业

**相比 Base LLaMA-3.1-8B**:
- 医疗领域知识（CPT）+ 指令遵循（SFT）+ 偏好对齐（DPO）
- 完整的 RLHF 替代方案（DPO 作为 PPO 的替代）
- 更安全、更可控、更符合用户期望

**局限**:
- 依赖偏好数据质量，可能存在偏好数据偏差
- 对于偏好数据未覆盖的场景，改进有限
- 仍建议在实际应用中进行人工审核

## 使用方法

### 加载模型

```python
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载 SFT full model
base_model = AutoModelForCausalLM.from_pretrained(
    "/path/to/sft-full-multi",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# 加载 DPO LoRA 适配器
model = PeftModel.from_pretrained(base_model, "/path/to/dpo-lora")
tokenizer = AutoTokenizer.from_pretrained("/path/to/dpo-lora")

# 合并适配器（可选）
model = model.merge_and_unload()
```

### 对话示例

```python
# 构建对话格式
SYSTEM_PROMPT = "You are a Medical Chatbot, you should friendly answer the question."

def format_prompt(question):
    return f"###System: {SYSTEM_PROMPT}\n###Question: {question}\n###Answer: "

# 生成回答
question = "感冒了应该怎么办？"
prompt = format_prompt(question)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    temperature=0.7,
    top_p=0.9,
    do_sample=True,
    repetition_penalty=1.1
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)
```

### 推理优化建议

```python
# 使用更保守的采样参数以提高输出质量
outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    temperature=0.6,           # 降低随机性
    top_p=0.85,                # 更集中的采样
    do_sample=True,
    repetition_penalty=1.15,   # 避免重复
    no_repeat_ngram_size=3     # 避免 n-gram 重复
)
```

## 模型文件

```
dpo-lora/
├── adapter_config.json          # LoRA 配置
├── adapter_model.safetensors    # LoRA 权重 (~54MB)
├── special_tokens_map.json      # 特殊 token 映射
├── tokenizer.json               # 分词器
└── tokenizer_config.json        # 分词器配置
```

## 训练进度

**当前状态**: 🚧 训练中

训练完成后，模型将包含完整的 CPT → SFT → DPO 训练流程，形成一个完整的医疗对话模型。

## 许可证

遵循 [Llama 3.1 Community License](https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/LICENSE)

## 注意事项

⚠️ **医疗免责声明**:
- 本模型仅供研究和教育用途
- 不应作为专业医疗建议的替代
- 任何医疗决策都应咨询专业医疗人员
- 模型输出可能包含错误或不完整信息