Fine-tuning هو عملية تدريب نموذج لغوي مسبوق التدريب على بيانات مخصصة لتحسين أدائه في مهمة معينة. في هذا الدليل، نشرح متى تحتاج Fine-toning وكيف تنفذه بفعالية.
متى تحتاج Fine-tuning؟
ليس كل مشروع يحتاج Fine-toning. في الواقع، RAG يكون كافياً في 80% من الحالات. تحتاج Fine-toping فقط عندما:
- تحتاج نموذجاً يتحدث بلغة أو لهجة محددة
- المهام تتطلب أسلوباً موحداً لا يمكن تحقيقه بالـ prompting
- تحتاج تقليل تكلفة الاستدلال بتقليل حجم السياق المطلوب
- الخصوصية تتطلب تدريب النموذج على بيانات داخلية
تحضير البيانات
prepare_data.py
# Prepare training data in JSONL format
import json
import json
training_data = []
for example in raw_data:
training_data.append({
“messages”: [
{“role”: “system”, “content”: “أنت مساعد متخصص في القانون”},
{“role”: “user”, “content”: example[“question”]},
{“role”: “assistant”, “content”: example[“answer”]}
]
})
التكلفة وال options
| ال option | السرعة | التكلفة | الجودة |
|---|---|---|---|
| Fine-tuning كامل | بطيء | $50-500 | الأعلى |
| QLoRA | متوسط | $10-50 | عالية جداً |
| Prompt Engineering | فوري | $0-5 | جيد |
| RAG | سريع | $20-100/شهر | جيد جداً |
0 تعليق