FitBot-3B 💪 — FormaFit Spor Kulübü Akıllı Üye Asistanı (FitBot-3B)

Bu model, Tech Istanbul Uygulamalı Yapay Zekâ Geliştirme Bootcamp bitirme projesi kapsamında Qwen/Qwen2.5-3B-Instruct taban modeli üzerine 3 epoch QLoRA (r=16, tüm doğrusal katmanlar) yöntemiyle ince ayar (fine-tuning) yapılarak geliştirilmiştir.


1. Proje Özeti

FitBot-3B, kurgusal FormaFit Spor Kulübü üyelerine yardımcı olmak üzere tasarlanmış Türkçe bir yapay zekâ asistanıdır. Üyelere üyelik ücretleri, grup dersleri, havuz ve otopark kuralları konularında resmi kaynaklara dayanarak bilgi verir, kaynakta olmayan bilgileri uydurmaz ve her cevabını 💪 işareti ile bitirir. Bilgi kaynakları iki katmandan oluşur: Üyelik ücretleri, süreler ve kulüp kuralları 15 bölümlü rehber.pdf dosyasından Chroma vektör veritabanı (paraphrase-multilingual-mpnet-base-v2) (sitede ise CPU dostu TF-IDF) ile çekilirken; grup derslerinin gün, saat, süre, eğitmen ve salon bilgileri ders_programi.csv tablosundan ajan araçları (ders_bilgisi, hesapla, rehberde_ara ve kendi geliştirdiğimiz özgün otopark_ucreti aracı) üzerinden alınır.

2. Taban Model Gerekçesi

Taban model olarak Hugging Face üzerinden Qwen/Qwen2.5-3B-Instruct (3 milyar parametre) seçilmiştir. Qwen/Qwen2.5-1.5B-Instruct modeline kıyasla 3B boyutunun seçilme nedeni; Türkçe cümle kurulumunun daha doğal olması, RAG bağlamındaki çoklu sayısal kuralları (ör. 14 gün cayma süresi ve %25 kesinti oranı) karıştırmadan ayrıştırması ve iki turlu ajan protokolünde geçerli JSON üretme başarısının daha yüksek olmasıdır. google/gemma-2-2b-it modeli sohbet şablonunda system mesajını kabul etmediği için, Llama-3.2 ise Türkçe başarısı daha düşük olduğu için tercih edilmemiştir. Ücretsiz Colab T4 GPU'da (15 GB VRAM) 4-bit NF4 niceleme ile sorunsuz eğitilmiştir.

3. Gözlemler

Sentetik veri kontrolünde kimlik, rag ve iki turlu ajan örneklerinin (toplam 450 örnek) rehber.pdf ve ders_programi.csv verileriyle birebir örtüştüğü doğrulandı. Eğitimden önce taban model adını (FitBot) ve 💪 işaretini hiç kullanmazken (0.00), eğitim sonrasında adını söyleme, işaret kullanımı, geçerli JSON ve doğru araç seçimi oranları 1.00 seviyesine yükseldi. Bağlamsız ve RAG'lı cevap kıyasında; modelin bağlam verilmediğinde öğrenci üyeliği ücretini ve sauna sıcaklığını tahmin ederek uydurduğu, ancak RAG bağlamı verildiğinde rehberdeki tam sayıyı (1.100 TL) söylediği ve rehberde olmayan protein tozu satışı ile sauna sıcaklığı sorularında uydurma yapmayarak "Rehberde bu konuda bilgi bulunmamaktadır." dediği gözlemlendi. Ayrıca "Tesis içindeki kalp şok cihazı ve acil tıbbi müdahale ekibi mevcut mu?" gibi rehberdeki kelimelerin (AED, ilk yardım) eş anlamlılarıyla sorulan sorularda Colab'daki Chroma + mpnet doğru bölümü (11. Sağlık ve acil durum) yakalarken, kelime köküne dayalı TF-IDF aramasının eş anlamlı kelimelerde farklı bölümleri getirebildiği gözlemlendi. Tablo ve hesap gerektiren çok adımlı Spinning sorusunda ise ajan döngüsünün önce ders_bilgisi ile 45 dakikayı bulup ardından hesapla ile 2 x 45 = 90 dakika sonucuna ulaşması sağlandı.

4. Sınırlar

  • Çok Adımlı Ajan Zincirleri: Tek araçla çözülen sorular doğrudan yanıtlanırken, aynı anda hem tablo araması hem matematiksel işlem gerektiren sorularda küçük modelin ikinci adımı atlamaması için araclar.py içerisindeki ajan döngüsü ardışık araç çağrısını destekleyecek şekilde güçlendirilmiştir.
  • TF-IDF ve CPU Yanıt Süresi: Sitede GPU bulunmadığından q8_0 GGUF modeli CPU üzerinde çalışır ve yanıtlar 10–60 saniye sürebilir. Sitedeki TF-IDF araması birebir kelime benzerliğine dayandığından kullanıcıların rehberdeki terimlere yakın ifadeler kullanması önerilir.
  • Kapsam Sınırı: Asistan yalnızca rehber.pdf ve ders_programi.csv içindeki statik verilerle sınırlıdır; canlı kontenjan takibi veya gerçek rezervasyon/ödeme işlemi yapamaz.

📊 Eğitim Öncesi ve Sonrası Ölçüm Tablosu

Aşama Adını Söyleme İşaret (💪) Geçerli JSON Doğru Araç RAG Hakem Puanı
Eğitim Öncesi (Önce) 0.00 0.00 0.50 0.50 0.67
Eğitim Sonrası (Sonra) 1.00 1.00 1.00 1.00 1.00

🔍 Bağlamsız vs. RAG ve Chroma vs. TF-IDF Karşılaştırması

Karşılaştırma Türü Örnek Soru Bağlamsız / TF-IDF Sonucu RAG (Chroma + mpnet) Sonucu
Bağlamsız vs. RAG Öğrenci üyeliği ne kadar? Model sayıyı bilmediği için rastgele ücret uydurur. Rehberden 1. Üyelik türleri bölümünü çekip Aylık 1.100 TL cevabını verir.
Bağlamsız vs. RAG (Yok) Saunanın sıcaklığı kaç derece? Model genel kültürle 80-90 derece gibi tahmin uydurur. Bağlamda yer almadığı için "Rehberde bu konuda bilgi bulunmamaktadır. 💪" der.
Chroma vs. TF-IDF Kalp şok cihazı ve acil tıbbi müdahale ekibi var mı? Rehberde kalp şok cihazı kelimesi geçmediği için TF-IDF kelime eşleşmesi bulamaz. Çok dilli mpnet anlamsal yakınlıkla 11. Sağlık ve acil durum (AED ve ilk yardım) bölümünü bulur.

🧪 Test Soruları Değerlendirme Tablosu (15 Soru)

No Mod Soru Beklenen Cevap Asistanın Cevabı Kaynak Puan
1 RAG Öğrenci üyeliği ne kadar? Aylık 1.100 TL; 25 yaş altı, öğrenci belgesiyle, hafta içi 07:00-16:00. Öğrenci üyeliği aylık 1.100 TL'dir; 25 yaş altı öğrencilere öğrenci belgesiyle verilir ve hafta içi 07:00-16:00 saatleri arasında geçerlidir. 💪 Üyelik türleri 1.0
2 RAG Tatile gideceğim, üyeliğimi durdurabilir miyim? Evet; yılda toplam 60 gün, her seferinde en az 15 gün, en az bir gün önceden. Evet, üyelik yılda toplam en fazla 60 gün, her seferinde en az 15 gün olmak üzere başlangıçtan en az bir gün önce bildirilerek dondurulabilir. 💪 Üyelik dondurma 1.0
3 RAG Yıllık üyeliğimi iptal edersem paramı geri alır mıyım? İlk 14 gün tamamı; sonrasında kalan aylar yüzde 25 kesintiyle. İlk 14 gün içinde yapılan iptallerde ücretin tamamı iade edilir; sonrasında kalan ayların ücreti yüzde 25 kesintiyle iade edilir. 💪 İptal ve iade 1.0
4 RAG Dersi iptal etmeyi unutup gitmezsem ne olur? Bir ayda üç kez olursa 7 gün rezervasyon yasağı. Bir ayda üç kez rezervasyon yapıp derse gelmeyen üye 7 gün boyunca rezervasyon yapamaz. 💪 Grup dersi rezervasyonu 1.0
5 RAG Kişisel antrenör ücretleri ne kadar? Tek seans 900 TL, 10 seans 7.500 TL (3 ay geçerli). Kişisel antrenör tek seans 900 TL, 10 seanslık paket 7.500 TL'dir (3 ay geçerli). 💪 Kişisel antrenör 1.0
6 RAG Havuz hangi saatlerde kapalı? Her gün 12:00-13:00 bakım; ayrıca kulüp kapanışından bir saat önce kapanır. Havuz her gün 12:00-13:00 arasında bakım nedeniyle kapalıdır; ayrıca kulüp kapanışından bir saat önce kapanır. 💪 Havuz kuralları 1.0
7 RAG Arkadaşımı getirebilir miyim? Plus üyeler ayda iki misafir ücretsiz; diğerleri için günlük 400 TL; 18 yaş üstü ve kimlik. Plus üyeler ayda iki misafiri ücretsiz getirebilir; diğer üyelerin misafirleri için günlük giriş 400 TL'dir, 18 yaş üstü ve kimlik zorunludur. 💪 Misafir girişi 1.0
8 RAG Pazar günü kaçta kapanıyorsunuz? 20:00. Pazar günleri kulübümüz 09:00-20:00 saatleri arasında açıktır, saat 20:00'de kapanır. 💪 Çalışma saatleri 1.0
9 RAG Kot pantolonla antrenman yapabilir miyim? Hayır. Hayır, kot pantolon ve sokak ayakkabısıyla antrenman yapılamaz. 💪 Kıyafet kuralları 1.0
10 Ajan Pilates dersleri hangi günler? Pazartesi 09:00 (başlangıç) ve Çarşamba 19:00 (orta), Stüdyo A, Defne Uçar. Pilates dersleri Pazartesi 09:00 (başlangıç) ve Çarşamba 19:00 (orta) saatlerinde, 50 dk süreyle Stüdyo A'da Defne Uçar tarafından verilmektedir. 💪 tablo: ders_programi.csv 1.0
11 Ajan Haftada iki Spinning dersine katılırsam toplam kaç dakika eder? 2 x 45 = 90 dakika. Spinning dersi 45 dakikadır. Haftada iki Spinning dersine katılırsanız toplam 2 x 45 = 90 dakika eder. 💪 tablo + hesap 1.0
12 RAG Protein tozu satıyor musunuz? Rehberde yok; uydurmamalı. Rehberde bu konuda bilgi bulunmamaktadır. 💪 yok 1.0
13 RAG Saunanın sıcaklığı kaç derece? Rehberde yok; uydurmamalı. Rehberde bu konuda bilgi bulunmamaktadır. 💪 yok 1.0
14 Ajan Otoparkta 2 saat kalırsam kaç TL öderim? Üyelere ilk 3 saat ücretsizdir (0 TL). 2 saat otopark kullanımı: Üyelere ilk 3 saat ücretsizdir (0 TL). 💪 araç: otopark_ucreti 1.0
15 Ajan Aracım kulüp otoparkında 5 saat kaldı, ne kadar ücret ödeyeceğim? İlk 3 saat ücretsiz, aşan 2 saat için 2 x 50 = 100 TL. İlk 3 saat ücretsizdir; aşan 2 saat için 2 x 50 = 100 TL otopark ücreti alınır. 💪 araç: otopark_ucreti 1.0

🔗 Teslim Bağlantıları

Downloads last month
33
Safetensors
Model size
3B params
Tensor type
F16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Ozzycan/FitBot-3B

Base model

Qwen/Qwen2.5-3B
Finetuned
(1,697)
this model

Space using Ozzycan/FitBot-3B 1