Kumru-2B-SFT

Türkçe için ince ayar yapılmış konuşma modeli. VNGRS Kumru-2B üzerine helpsteer3-tr veri seti ile SFT eğitimi yapılmış LoRA adaptörü.

Model Özeti

Özellik	Değer
Temel Model	vngrs-ai/Kumru-2B
Eğitim Veri Seti	yusufbaykaloglu/helpsteer3-tr (edit)
Eğitim Yöntemi	SFT (Supervised Fine-Tuning)
Adaptör Tipi	LoRA (Low-Rank Adaptation)
Kütüphane	TRL + PEFT + Transformers
Dil	Türkçe
Format	Safetensors

Kumru-2B-SFT, VNGRS tarafından Türkçe için sıfırdan geliştirilen Kumru-2B modeli üzerine inşa edilmiş bir LoRA adaptörüdür. Model, HelpSteer3-TR veri setinin edit alt kümesi kullanılarak eğitilmiştir.

Kullanım

PEFT ile Yükleme

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_name = "vngrs-ai/Kumru-2B"
adapter_name = "yusufbaykaloglu/Kumru-2B-SFT"

tokenizer = AutoTokenizer.from_pretrained(base_model_name)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype="auto",
    device_map="auto"
)

model = PeftModel.from_pretrained(base_model, adapter_name)

messages = [
    {"role": "system", "content": "Sen yardımcı bir Türkçe asistansın."},
    {"role": "user", "content": "Yapay zeka nedir?"}
]

inputs = tokenizer.apply_chat_template(
    messages,
    return_tensors="pt",
    add_generation_prompt=True
).to(model.device)

outputs = model.generate(
    inputs,
    max_new_tokens=512,
    do_sample=True,
    top_p=0.9,
    temperature=0.7
)

response = tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True)
print(response)

Birleştirilmiş Model

from transformers import AutoModelForCausalLM
from peft import PeftModel

base_model = AutoModelForCausalLM.from_pretrained(
    "vngrs-ai/Kumru-2B",
    torch_dtype="auto",
    device_map="auto"
)
model = PeftModel.from_pretrained(base_model, "yusufbaykaloglu/Kumru-2B-SFT")
merged_model = model.merge_and_unload()

Atıf

Bu modeli kullanmanız hâlinde lütfen aşağıdaki atıf bilgisini kullanınız:

@misc{baykaloglu2025kumru2bsft,
  author       = {Yusuf Baykaloğlu},
  title        = {Kumru-2B-SFT: Türkçe İçin İnce Ayar Yapılmış Dil Modeli},
  year         = {2025},
  publisher    = {Hugging Face},
  url          = {https://huggingface.co/yusufbaykaloglu/Kumru-2B-SFT}
}

İletişim

Soru ve geri bildirimleriniz için:

• Hugging Face: @yusufbaykaloglu