htdn-arabic-350m1

HTDN — نموذج لغوي مخصّص (JAX/Flax)

نموذج HTDN (بنية مخصّصة تجمع بين طبقة ديناميكيات متكرّرة وانتباه ذاتي سببي مع RoPE و SwiGLU) دُرِّب على بيانات عربية متعددة المصادر (streaming) على GPU T4×2 عبر Kaggle.

⚠️ هذه ليست معمارية transformers قياسية، لذا لا يمكن تحميلها مباشرة عبر AutoModel.from_pretrained. لكن التحميل والتشغيل صارا تلقائيَّين بالكامل عبر دالتين جاهزتين مرفوعتين ضمن modeling_htdn.py في هذا المستودع — لا حاجة لأي تفكيك/تجميع يدوي للأوزان.

طريقة الاستخدام (تلقائية بالكامل)

pip install -q jax flax transformers huggingface_hub safetensors

from huggingface_hub import hf_hub_download
import importlib.util

# خطوة تنزيل الكود المخصّص — لا مفرّ منها لأن هذه بنية غير قياسية
path = hf_hub_download("gijl/htdn-arabic-350m1", "modeling_htdn.py")
spec = importlib.util.spec_from_file_location("modeling_htdn", path)
modeling_htdn = importlib.util.module_from_spec(spec)
spec.loader.exec_module(modeling_htdn)

# تحميل تلقائي كامل: النموذج + الأوزان + المحلل اللغوي
model, params, tokenizer, config = modeling_htdn.load_htdn_from_hub("gijl/htdn-arabic-350m1")

# توليد نص تلقائي كامل
print(modeling_htdn.generate(model, params, tokenizer, "مرحبا"))

# أو الاختصار الكامل بسطر واحد فعلي:
# print(modeling_htdn.quick_generate("gijl/htdn-arabic-350m1", "مرحبا"))

معلومات التدريب

• الخطوة عند الرفع: 428440
• عدد المعاملات: ~0.0M
• المحلل اللغوي: bert-base-multilingual-cased
• أفضل خسارة مسجَّلة: 0.3741021156311035
• الزمن التراكمي للتدريب: 120:36:03

هذا نموذج تجريبي/بحثي — النتائج أولية.