Echo-TDM

Echo-TDM: Türkçe Dinamik Öğrenme Asistanı

MODEL ŞU AN DENEYSEL YAPIM AŞAMASINDADIR - MODEL HENÜZ EĞİTİLMEMİŞTİR

<!-- Logo can be added -->

Echo-TDM (Türkçe Dinamik Model), Türkçe diline ve kültürel nüanslara özel olarak tasarlanmış, dinamik öğrenme yeteneklerine sahip bir yapay zeka modelidir. AD tarafından geliştirilen bu model, kullanıcıyla etkileşimde bulunurken kişiselleştirilmiş profiller oluşturur, yeni bilgileri LoRA ile öğrenir ve etik denetimle güvenli cevaplar üretir. Mixture of Experts (MoE) mimarisi, ALiBi dikkat mekanizması ve PerformerAttention ile optimize edilmiş, düşük kaynak tüketimiyle yüksek performans sunar.

🚀 Özellikler

• Türkçe Odaklı: Türkçe diline ve kültürel bağlama özgü, 32K kelime dağarcığı ve emoji desteği (😊, 👍).
• Kullanıcı Profili ve Karakter Oluşturma: Kullanıcıların yaş, ilgi alanları (kitaplar, kriptopara), kişilik (dost canlısı, meraklı) ve ruh hali gibi özelliklerini kural tabanlı analizle oluşturur.
• Dinamik Öğrenme: LoRA (Low-Rank Adaptation) ile yeni bilgileri öğrenir, kalıcı hafızaya kaydeder (echo_tdm.safetensors).
• Etik Denetim: Zararlı içerik filtreleme ve 3 token’dan kısa cevapları reddetme gibi kurallarla güvenli etkileşim.
• Oyunlaştırma: Kullanıcılara puan verir, tanıdıkça samimi ton (“Balım”, “Süper!”) kullanır.
• Hafıza Yönetimi: Geçici ve kalıcı hafıza ile bağlamı hatırlar, CPU dostu.
• Optimize Boyut: float16 hassasiyet, 9 uzman (3 denetim, 3 eğitim, 3 diyalog) ile ~1.06 GB.

🛠 Teknik Detaylar

Mimari

Echo-TDM, EchoLLM mimarisine dayanır ve aşağıdaki bileşenlerden oluşur:

• Token Embedding: 32K kelime, d_model=768, ~24.6M parametre.
• Transformer Katmanları: 12 katman, her biri:
  • PerformerAttention: Düşük hesaplama maliyetli dikkat mekanizması, num_heads=12, ~2.36M parametre/katman.
  • MoELayer: 9 uzman (3-3-3: denetim, eğitim, diyalog), uzman başına ~4.72M parametre, toplam ~510M parametre (12 katman).
  • LayerNorm: Her katmanda 2 adet, ~3K parametre/katman.
• LoRA: lora_rank=4, lora_alpha=16, ~6K parametre, dinamik öğrenme için.
• Output Layer: d_model → vocab_size, ~24.6M parametre.
• KeyValueMemory: Bağlam hafızası, ~4.1M parametre.
• Inspector: Zararlı içerik denetimi, embedding paylaşılır.
• MetaController: Görev yönlendirme, kural uygulama, karakter oluşturma.
• RewardSystem: Oyunlaştırma için puanlama.

Toplam Parametre: ~592M (MoELayer baskın, ~510M). %10 pruning sonrası etkili ~533M, ama safetensors tam matris saklar.

Yapılandırma

config.py’dan temel ayarlar:

• MODEL_SCALE=1: ~592M parametre, float16 (~1.14 GB).
• d_model=768, num_layers=12, num_heads=12, dim_feedforward=3072.
• num_experts=9 (3 denetim, 3 eğitim, 3 diyalog).
• vocab_size=32000, max_position_embeddings=8192.
• precision="float16", LoRA: lora_rank=4, lora_dropout=0.1.
• Hafıza: memory_size=2048, temp_memory_threshold=100, perm_memory_limit=5%.

Dosyalar

• echo_tdm.safetensors: Model ağırlıkları ve kullanıcı profilleri (~1.14 GB, float16).
• tokenizer.json: SentencePiece Unigram, 32K kelime (~2 MB).
• Config’ler: model_config.json, tokenizer_config.json, project_config.json, meta_controller_config.json (~100 KB).

Performans

• CPU Dostu: float16 ve pruning ile optimize, düşük kaynak tüketimi.
• Bağlam Kalitesi: 9 uzman, Türkçe diline ve kullanıcı profillerine uygun zengin cevaplar üretir.
• Hız: PerformerAttention ve ALiBi ile uzun bağlamlarda verimli.

📦 Kurulum

Gereksinimler

• Python 3.9 veya 3.10 (3.12 uyarılı, log’da görülüyor).
• Kütüphaneler:

  pip install torch transformers safetensors
  
  

Echo-TDM: Turkish Dynamic Learning Assistant

MODEL IS CURRENTLY IN EXPERIMENTAL DEVELOPMENT STAGE - MODEL HAS NOT BEEN TRAINED YET

<!-- Logo can be added -->

Echo-TDM (Turkish Dynamic Model) is an AI model tailored for the Turkish language and cultural nuances, equipped with dynamic learning capabilities. Developed by AD, this model creates personalized user profiles during interactions, learns new information via LoRA, and generates safe responses with ethical oversight. Built with a Mixture of Experts (MoE) architecture, ALiBi attention mechanism, and PerformerAttention, it delivers high performance with low resource consumption.

🚀 Features

• Turkish-Centric: Designed for the Turkish language and cultural context, with a 32K vocabulary and emoji support (😊, 👍).
• User Profile & Character Building: Creates user profiles based on age, interests (books, cryptocurrency), personality (friendly, curious), and mental state using rule-based analysis.
• Dynamic Learning: Learns new information via LoRA (Low-Rank Adaptation), stored in permanent memory (echo_tdm.safetensors).
• Ethical Oversight: Filters harmful content and rejects responses shorter than 3 tokens for safe interactions.
• Gamification: Awards points to users, switching to a friendly tone (“Buddy”, “Awesome!”) as familiarity grows.
• Memory Management: Retains context with temporary and permanent memory, CPU-friendly.
• Optimized Size: float16 precision, 9 experts (3 inspection, 3 training, 3 dialogue), ~1.14 GB.

🛠 Technical Details

Architecture

Echo-TDM is based on the EchoLLM architecture and consists of the following components:

• Token Embedding: 32K vocabulary, d_model=768, ~24.6M parameters.
• Transformer Layers: 12 layers, each with:
  • PerformerAttention: Low-computation attention mechanism, num_heads=12, ~2.36M parameters/layer.
  • MoELayer: 9 experts (3-3-3: inspection, training, dialogue), ~4.72M parameters per expert, total ~510M parameters (12 layers).
  • LayerNorm: 2 per layer, ~3K parameters/layer.
• LoRA: lora_rank=4, lora_alpha=16, ~6K parameters for dynamic learning.
• Output Layer: d_model → vocab_size, ~24.6M parameters.
• KeyValueMemory: Context memory, ~4.1M parameters.
• Inspector: Harmful content filtering, shares embedding.
• MetaController: Task routing, rule enforcement, character building.
• RewardSystem: Gamification for point allocation.

Total Parameters: ~592M (MoELayer dominant, ~510M). %10 pruning reduces effective parameters to ~533M, but safetensors stores full matrices.

Configuration

Key settings from config.py:

• MODEL_SCALE=1: ~592M parameters, float16 (~1.14 GB).
• d_model=768, num_layers=12, num_heads=12, dim_feedforward=3072.
• num_experts=9 (3 inspection, 3 training, 3 dialogue).
• vocab_size=32000, max_position_embeddings=8192.
• precision="float16", LoRA: lora_rank=4, lora_dropout=0.1.
• Memory: memory_size=2048, temp_memory_threshold=100, perm_memory_limit=5%.

Files

• echo_tdm.safetensors: Model weights and user profiles (~1.14 GB, float16).
• tokenizer.json: SentencePiece Unigram, 32K vocabulary (~2 MB).
• Configs: model_config.json, tokenizer_config.json, project_config.json, meta_controller_config.json (~100 KB).

Performance

• CPU-Friendly: Optimized with float16 and pruning for low resource usage.
• Context Quality: 9 experts deliver rich, Turkish-specific responses tailored to user profiles.
• Speed: PerformerAttention and ALiBi ensure efficiency for long contexts.

📦 Installation

Requirements

• Python 3.9 or 3.10 (3.12 triggers warnings, as seen in logs).
• Libraries:

  pip install torch transformers safetensors