PCKMIND · KÜÇÜK DİL MODELİÜçüncü dil modelim,
PckMind.
Şimdi üçüncü dil modelim PckMind üzerinde çalışıyorum. Geliştirme sürecini, yaptığım denemeleri ve modelin geldiği noktayı burada paylaşacağım.
PckMindMODEL GELİŞTİRİLİYOR · WEB SOHBETİ HAZIR DEĞİLBu web ön izlemesi şu an PckMind modeline bağlı değil. Modelin gerçek çıktısını aşağıdaki ekran görüntüsünde görebilirsin.
64K parametreli bir model ne kadar konuşabilir?.
PckMind, geliştirdiğim üçüncü küçük dil modeli. İlk modelim PckBot’u kendi otomasyon işlerimde kullanıyorum; ikinci modeli bir kurum için özel olarak eğittim. PckMind’i ise kamuya açık olarak yayımlamayı planlıyorum. PyTorch ile geliştirdiğim GPT tarzı decoder-only Transformer’ın şu anki hâli kısa metinler üretebiliyor ama henüz tutarlı bir sohbet kuramıyor; bazen de kuş dilini andıran cevaplar veriyor 🐦😅 Bu çıktıları burada paylaşma nedenim, PckMind’in gelişim sürecini olduğu gibi aktarmak ve zamanla nasıl ilerlediğini göstermek.
Bu ilk sürüm, PckMind’in çalışan ama henüz sınırlı kalan başlangıç noktası. Sonraki sürümlerde model mimarisini ve eğitim verisini geliştirerek daha anlamlı, tutarlı ve uzun yanıtlar üretmesini hedefliyorum.
- Öğrenilebilir parametre
- 63.949 · yaklaşık 64K
- Mimari
- Decoder-only Transformer
- Transformer bloğu
- 1
- Attention head
- 4
- Embedding boyutu
- 64
- Bağlam uzunluğu
- 64 token
- Vocabulary
- 77 karakter
- Eğitim verisi
- 62.852 karakter
- Tokenizer
- Karakter düzeyinde
- Attention
- Causal self-attention
- Optimizer
- AdamW
- Altyapı
- PyTorch
Daha çok Türkçe, daha güçlü bir model.
Bir sonraki güncellemede parametre sayısını artırıp daha kapsamlı Türkçe eğitim verisiyle modeli yeniden eğitmeyi hedefliyorum. Amacım, Türkçeyi daha iyi anlayan ve çok daha akıcı yanıtlar üreten bir dil modeli geliştirmek. İlerlemeyi ve yeni denemeleri burada paylaşacağım.