darmm-embedding-multilingual

Darmm Multilingual Embedding

Multilingual embedding model (Kazakh/Russian/English) fine-tuned from BAAI/bge-m3 for Darmm FAQ and product content retrieval.

Usage

Direct model usage (Hugging Face)

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("Darmm/darmm-embedding-multilingual")
sentences = ["Darmm қызметтері қандай?", "What services does Darmm provide?"]
embeddings = model.encode(sentences)
print(embeddings.shape)

Training data (verified)

• Darmm landing, academy, and mentor site text extracted from local sources.

Training setup

• Base model: BAAI/bge-m3.
• Loss: MultipleNegativesRankingLoss (default in scripts/train_embeddings.py).
• Typical training params in this repo: epochs=3, batch_size=2, max_seq_length=128.

Evaluation

Evaluation uses paraphrased FAQ questions mapped to the FAQ corpus:

• Corpus: data/faq_chunks.jsonl (369 chunks)
• Queries: data/eval_questions.jsonl (90 questions)

Paper & Documentation

<details> <summary>🇬🇧 English</summary>

Darmm: Multilingual Embeddings for FAQ Retrieval

Abstract

We present a multilingual embedding model fine‑tuned for Darmm FAQ and product knowledge retrieval in Kazakh, Russian, and English. The model is based on BAAI/bge-m3 and trained on Darmm website content and a handcrafted FAQ corpus. We evaluate on paraphrased FAQ questions mapped to the FAQ corpus.

1. Dataset

• Sources: Darmm landing, academy, and mentor site content (local sources) plus handcrafted FAQ data.
• FAQ corpus: 150 topics × 3 languages = 450 Q/A documents.
• Chunked corpus: 369 chunks in data/faq_chunks.jsonl.

2. Training

• Base model: BAAI/bge-m3
• Loss: MultipleNegativesRankingLoss
• Params: epochs=3, batch_size=2, max_seq_length=128

3. Results

Evaluation on data/eval_questions.jsonl (90 paraphrased queries) against the FAQ corpus:

• Recall@1 = 0.9444
• Recall@3/5/10 = 1.0

4. Limitations

• Performance depends on query style and corpus quality.
• Short UI strings can reduce relevance; prefer richer FAQ or docs.
• Validate with real user questions and a held‑out test set.

</details> <details> <summary>🇰🇿 Қазақша</summary>

Darmm: FAQ іздеуге арналған көптілді эмбеддингтер

Аңдатпа

Бұл модель Darmm‑ның FAQ және өнім білім базасын қазақ, орыс және ағылшын тілдерінде іздеуге арналған. Негізі BAAI/bge-m3, оқыту Darmm сайт контенті мен қолмен жасалған FAQ жиынына жүргізілді. Бағалау парафраз сұрақтар арқылы жасалды.

1. Деректер

• Көздер: Darmm landing/academy/mentor сайттарының локал контенті және FAQ жиыны.
• FAQ корпусы: 150 тақырып × 3 тіл = 450 Q/A құжаты.
• Чанкталған корпус: data/faq_chunks.jsonl ішінде 369 чанк.

2. Оқыту

• Негізгі модель: BAAI/bge-m3
• Loss: MultipleNegativesRankingLoss
• Параметрлер: epochs=3, batch_size=2, max_seq_length=128

3. Нәтижелер

data/eval_questions.jsonl (90 парафраз сұрақ) арқылы бағалау:

• Recall@1 = 0.9444
• Recall@3/5/10 = 1.0

4. Шектеулер

• Нәтиже сұрақ стилі мен корпус сапасына тәуелді.
• Қысқа UI мәтіндері релевантты төмендетуі мүмкін.
• Нақты пайдаланушы сұрақтарымен міндетті түрде тексеріңіз.

</details> <details> <summary>🇷🇺 Русский</summary>

Darmm: Мультиязычные эмбеддинги для FAQ‑поиска

Аннотация

Модель предназначена для поиска по FAQ и базе знаний Darmm на казахском, русском и английском. Основана на BAAI/bge-m3 и дообучена на локальном контенте сайтов Darmm и ручном FAQ‑корпусе. Оценка проводится на перефразированных вопросах.

1. Данные

• Источники: локальный контент сайтов Darmm и FAQ‑корпус.
• FAQ корпус: 150 тем × 3 языка = 450 Q/A документов.
• Чанкованный корпус: 369 чанков в data/faq_chunks.jsonl.

2. Обучение

• Базовая модель: BAAI/bge-m3
• Loss: MultipleNegativesRankingLoss
• Параметры: epochs=3, batch_size=2, max_seq_length=128

3. Результаты

Оценка на data/eval_questions.jsonl (90 перефразированных запросов):

• Recall@1 = 0.9444
• Recall@3/5/10 = 1.0

4. Ограничения

• Результаты зависят от стиля запросов и качества корпуса.
• Короткие UI‑строки снижают релевантность.
• Проверяйте на реальных пользовательских вопросах.

</details>

Intended use

• FAQ search and internal knowledge retrieval across kk/ru/en.
• RAG pipelines for Darmm services.

Limitations

• Results depend on corpus quality and query style.
• Short UI strings reduce relevance; prefer fuller FAQ or documentation.
• For real-world validation, use actual user queries and a held‑out test set.