LFM2-8B-A1B-TR

Bu model, LiquidAI/LFM2-8B-A1B temel modelinin Türkçe veri seti ile fine-tune edilmiş versiyonudur.

Model Detayları

• Model Tipi: Mixture-of-Experts (MoE) Language Model
• Temel Model: LiquidAI/LFM2-8B-A1B (8 milyar parametre)
• Fine-tuning Yöntemi: LoRA (Low-Rank Adaptation) + Supervised Fine-Tuning
• Dil: Türkçe
• Lisans: Apache 2.0

Eğitim Detayları

Veri Seti

• Kullanılan Veri: afkfatih/turkish-gemma-51k
• Veri Boyutu: 51,000 Türkçe örnek

Hiperparametreler

• LoRA Rank (r): 8
• LoRA Alpha: 16
• LoRA Dropout: 0.05
• Target Modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
• Epochs: 1
• Batch Size (Train): 4
• Batch Size (Eval): 4
• Learning Rate: 2e-4
• Scheduler: Linear
• Warmup Ratio: 0.3

Eğitim Sonuçları

Epoch	Training Loss	Validation Loss	Entropy	Mean Token Accuracy
1	1.096400	0.816735	0.937737	0.809420

Kullanım

Gereksinimler

pip install transformers torch peft accelerate

Model Yükleme ve Kullanım

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_name = "afkfatih/LFM2-8B-A1B-TR"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Metin üret
prompt = "Türkiye'nin başkenti"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=100,
    temperature=0.7,
    do_sample=True
)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(generated_text)

Sınırlamalar ve Önyargılar

• Bu model Türkçe metin üretimi için optimize edilmiştir
• Eğitim verisi 51,000 örnekle sınırlıdır
• Model, eğitim verisindeki potansiyel önyargıları yansıtabilir
• Üretilen içeriğin doğruluğu ve uygunluğu kullanım durumuna göre değerlendirilmelidir

İletişim

Sorularınız veya geri bildirimleriniz için GitHub veya Hugging Face üzerinden iletişime geçebilirsiniz.

Alıntı

@misc{LFM2-8B-A1B-TR,
  author = {afkfatih},
  title = {LFM2-8B-A1B-TR: Turkish Fine-tuned Mixture-of-Experts Model},
  year = {2025},
  publisher = {HuggingFace},
  howpublished = {\\url{https://huggingface.co/afkfatih/LFM2-8B-A1B-TR}}
}

Teşekkürler

• LiquidAI ekibine temel LFM2-8B-A1B modeli için
• Türkçe veri setini hazırlayan katkıda bulunanlara