Downloads · 30 days
0
namaz-vakti-benchmark
Aysenur44/namaz-vakti-benchmark
namaz-vakti-benchmark is a machine learning model from Aysenur44. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
Bu dizin, Namaz Vakti ve Fıkıh Asistanı dil modelinin fıkhi konularda, vakit hesaplamalarında ve dini terminolojide halüsinasyon görüp görmediğini ölçmek için hazırlanan yalıtılmış benchmark test kümesini barındırır.
Access
Public
Updated Aug 2, 2026
Repo size
—
Likes
0
Public
Repo makeup
Click a slice to open those files.
.ipynb297 KB · 97%
At a glance
- Access
- Public
- Created
- Jul 22, 2026
- Updated
- Aug 2, 2026
- SHA
- ed9c7d4c
Model card
From the Hugging Face model README
Namaz Vakti ve Fıkıh Asistanı - Özel Benchmark Dokümantasyonu
Bu dizin, Namaz Vakti ve Fıkıh Asistanı dil modelinin fıkhi konularda, vakit hesaplamalarında ve dini terminolojide halüsinasyon görüp görmediğini ölçmek için hazırlanan yalıtılmış benchmark test kümesini barındırır.
Benchmark Metodolojisi ve Şartları (Hafta 2.1 & 2.2)
- Yalıtılmış Veri Dilimi (%5-%10): Fine-tune eğitimi aşamasında modele hiçbir şekilde verilmeyen 100 soru kenara ayrılmıştır.
- Manuel ve Sentetik Soru Üretimi: Test kümesindeki 100 sorunun en az 10 adedi fıkıh kitapları ve kaynakları taranarak elle özenle hazırlanmış, kalan kısmı sentetik çeşitlendirmeyle oluşturulmuştur.
- 5 Model Karşılaştırması: Özel benchmark testi 5 farklı model üzerinde koşturulmuş ve başarım oranları şeffaf bir şekilde kaydedilmiştir.
5 Model Karşılaştırma Sonuçları Tablosu
| Model Adı | Doğruluk Oranı (Accuracy) | Doğru Yanıt / Toplam | Halüsinasyon Oranı | Ort. Yanıt Süresi |
|---|---|---|---|---|
| 🥇 Aysenur44/namaz-vakti-lora-adaptor (Bizim Model) | %94.0 | 94 / 100 | %1.0 | 1.2 sn |
| 🥈 Mistral-7B-Instruct-v0.2 | %81.0 | 81 / 100 | %6.0 | 2.4 sn |
| 🥉 Qwen/Qwen2.5-3B-Instruct (Base Model) | %78.0 | 78 / 100 | %8.5 | 1.1 sn |
| 4️⃣ Llama-3.2-3B-Instruct | %72.0 | 72 / 100 | %12.0 | 1.3 sn |
| 5️⃣ Gemma-2-2B-it | %68.0 | 68 / 100 | %15.0 | 1.0 sn |
6 Benchmark Oluşturma ve Veri Ayrıştırma Süreci (Reproducibility)
Bu benchmark veri seti (namaz_vakti_benchmark.jsonl) şu adımlarla sıfırdan üretilmiştir:
Aysenur44/namaz-vakti-dua-asistan-trana eğitim veri seticreate_benchmark.pyscript'i ile yüklenmiştir.train_test_split(test_size=0.10, seed=42)parametresiyle eğitimde modele HİÇ VERİLMEYEN %10'luk yalıtılmış (hold-out) veri kütüğü ayrılmıştır.- Ayrılan veriler senaryoya özel soru-cevap formatına getirilerek
namaz_vakti_benchmark.jsonldosyası oluşturulmuştur. - Benchmark'ı sıfırdan yeniden üretmek için:
python benchmark/create_benchmark.pykomutunu çalıştırmanız yeterlidir.
Dosyalar
namaz_vakti_benchmark.jsonl: 100 soruluk test veri kümesi.benchmark_results.json: 5 modelin ayrıntılı test sonuçlarını içeren JSON raporu.2_hafta_odevım.ipynb: Colab üzerinde testi koşturan Jupyter Notebook.
- Created
- Jul 22, 2026
- Updated
- Aug 2, 2026