azlegllm-4b

azlegllm-4b — Azerbaijani Legal Instruction-Tuned Language Model (4B)

azlegllm-4b is a 4-billion-parameter large language model fine-tuned on Azerbaijani legal texts. The model is instruction-tuned to serve as a legal assistant that understands local law and can provide accurate, structured answers to legal questions in Azerbaijani.

This model was fine-tuned using a 50k instruction-style dataset derived from real, anonymized legal decisions obtained from the e-Məhkəmə portal.

Model is learned based on real court decisions, so it makes model to understand authentic legal language and situational context.

Unlike generic LLMs, it handles local legal terminology, laws, and judicial procedures with higher precision.

How to Use

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained("nijatzeynalov/azlegllm-4b")
tokenizer = AutoTokenizer.from_pretrained("nijatzeynalov/azlegllm-4b")
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device).eval()

question = "Mən boşanmaq istəyirəm amma evimiz evlilik dövründə alınıb. Məhkəmə evi böləcək?"

prompt = f"""Below is an instruction that describes a task, paired with an input that provides further context.
Write a response that appropriately completes the request.
Before answering, think carefully about the question and create a step-by-step chain of thoughts to ensure a logical and accurate response.

### Instruction:
You are a legal assistant with expertise in various areas of law, helping people understand and resolve their legal questions.
Please answer the following legal question thoroughly and clearly, ensuring your response is accurate and easy to understand.

### Question:
{question}

### Response:
"""

inputs = tokenizer(prompt, return_tensors="pt").to(device)
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=250,
        temperature=0.7,
        top_p=0.95,
        top_k=50,
        do_sample=True,
        eos_token_id=tokenizer.eos_token_id,
    )
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

# Bəli, əgər əmlak dövlət reyestrində birgə mülkiyyət qeydiyyatında qeyd olunubsa, məhkəmə bu əmlakı mübahisəli tərəflər arasında bölüşdürməyə qərar verə bilər.
# Məhkəmə mülkiyyət hüququnun tanınması və bölgü barədə qərar qəbul edəcək.

Dataset Sample

The model is fine-tuned on real anonymized court decisions converted into instruction-style data. This makes it more accurate and context-aware in the legal domain compared to general-purpose models.

Here is an example training sample in JSON format:

{
  "question": "Bir mübahisə zamanı bir nəfərə bıçaqla xəsarət yetirdim, ancaq həmin adamın ilk olaraq mənə fiziki hücum etdiyini iddia edirəm. Məhkəmə burada hansı prinsiplərə əsaslanır?",
  "answer": "Məhkəmə belə hallarda müdafiə hərəkətlərini araşdırmaqla yanaşı münaqişənin səbəbini və gedişatını nəzərə alır. Təqsirləndirilən şəxsin dəymiş ziyanı könüllü olaraq ödəməsi və zərərçəkmişlə barışıq əldə etməsi yüngülləşdirici faktor kimi qəbul oluna bilər. Münaqişənin qarşı tərəfin qanunsuz hərəkətləri ilə baş verdiyi sübut olunarsa, bu mühakimədə mühüm prinsip hesab edilir."
}

• This is an early-stage model (trained < 1 epoch) and may generate hallucinations or incomplete legal reasoning.

• This version should not be used for actual legal advice.

• Development and testing currently focus on a 12 billion parameter version, which offers improved accuracy and reasoning.

• Plans include expanding datasets and enhancing the model's understanding of complex legal scenarios.

If you want to collaborate on this project or have another idea that related to AI, feel free to connect with me on LinkedIn