大语言模型微调实战:从零到一的完整指南
在大语言模型(LLM)时代,微调(Fine-tuning)已成为让通用模型适应特定任务的关键技术。本文将带你从零开始,掌握LLM微调的完整流程。
1. 为什么需要微调?
- 通用模型的局限性:预训练模型在通用任务上表现优秀,但在专业领域(如医疗、法律)表现不佳
- 数据稀缺问题:专业领域标注数据有限,全量训练成本高
- 快速迭代需求:企业需要快速响应业务变化
2. 微调方法对比
| 方法 |
适用场景 |
成本 |
效果 |
| 全参数微调 |
高精度要求 |
高 |
★★★★☆ |
| LoRA |
中等精度 |
中 |
★★★★ |
| Prompt Tuning |
快速验证 |
低 |
★★☆☆☆ |
| QLoRA |
资源受限 |
低 |
★★★☆☆ |
3. 实战步骤
步骤1:准备数据集
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
| import pandas as pd from transformers import AutoTokenizer
def prepare_medical_data(): df = pd.read_csv('medical_qa.csv') return [ { 'instruction': row['question'], 'input': '', 'output': row['answer'] } for _, row in df.iterrows() ]
|
步骤2:选择模型和配置
1 2 3 4 5 6 7 8 9
| model_name = "Qwen/Qwen2-7B-Instruct" lora_config = { "r": 64, "lora_alpha": 128, "lora_dropout": 0.05, "bias": "none", "task_type": "CAUSAL_LM" }
|
步骤3:训练配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
| from peft import LoraConfig, get_peft_model from transformers import TrainingArguments, Trainer
training_args = TrainingArguments( output_dir="./results", num_train_epochs=3, per_device_train_batch_size=2, gradient_accumulation_steps=4, learning_rate=2e-4, fp16=True, logging_dir="./logs", logging_steps=10, save_strategy="epoch", evaluation_strategy="no" )
model = get_peft_model(model, lora_config) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset )
|
步骤4:评估与部署
1 2 3 4 5 6 7 8 9 10 11
| from sklearn.metrics import accuracy_score
def evaluate_model(model, test_data): predictions = [] for sample in test_data: input_text = f"问:{sample['instruction']}" response = model.generate(input_text, max_length=200) predictions.append(response) return accuracy_score(test_data['labels'], predictions)
|
4. 最佳实践
- 数据质量 > 数据量:1000条高质量标注数据胜过1万条垃圾数据
- 分层微调:先用小模型验证,再用大模型
- 持续迭代:建立反馈闭环,定期更新模型
- 安全考量:添加敏感词过滤和内容审核
5. 工具推荐
- Hugging Face Transformers:主流微调框架
- PEFT:轻量级微调库
- LoRA:内存高效微调方案
- OpenChat:开源微调平台
小贴士:微调不是万能药,要根据业务场景选择合适的方法。对于大多数企业应用,LoRA+少量标注数据就能达到90%以上的性能提升!
阅读更多