qwen3-0.6b-skills-lora

Qwen3-0.6B LoRA для извлечения навыков из вакансий

LoRA адаптер для модели Qwen3-0.6B, обученный на задаче извлечения требований (навыков, опыта, образования) из текстов вакансий на русском языке.

Использование

Установка зависимостей

pip install transformers peft torch

Инференс

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# Загрузка базовой модели и адаптера
base_model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    torch_dtype="auto",
    device_map="auto"
)
model = PeftModel.from_pretrained(base_model, "koskokos/qwen3-0.6b-skills-lora")
tokenizer = AutoTokenizer.from_pretrained("koskokos/qwen3-0.6b-skills-lora")

# Формирование промпта
system_prompt = 'Ты — HR-ассистент. Извлеки из описания вакансии все требования к кандидату (навыки, образование, опыт работы, личные качества). Верни JSON: {"requirements": ["требование1", "требование2", ...]}'

vacancy_text = """
Требуется Python-разработчик.
Обязанности: разработка backend на FastAPI, работа с PostgreSQL.
Требования: опыт от 2 лет, знание Docker, Git, CI/CD.
"""

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": vacancy_text}
]

# Генерация
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    temperature=0.1,
    do_sample=True,
    pad_token_id=tokenizer.eos_token_id
)

response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)

Ожидаемый вывод

{"requirements": ["Python", "FastAPI", "PostgreSQL", "Docker", "Git", "CI/CD", "опыт от 2 лет"]}

Формат данных

Вход (User)

Текст вакансии на русском языке (описание должности, обязанности, условия, требования к кандидату).

Выход (Assistant)

JSON объект с массивом извлечённых требований:

{"requirements": ["навык1", "навык2", "личное качество", "опыт работы", ...]}

System Prompt

Ты — HR-ассистент. Извлеки из описания вакансии все требования к кандидату (навыки, образование, опыт работы, личные качества). Верни JSON: {"requirements": ["требование1", "требование2", ...]}

Параметры обучения

Метрики

Ограничения

• Модель обучена на русскоязычных вакансиях
• Оптимальная работа на текстах до 2048 токенов
• Выход всегда в формате JSON

Лицензия

Apache 2.0

Цитирование

@misc{qwen3-skills-lora,
  title={Qwen3-0.6B LoRA для извлечения навыков из вакансий},
  author={koskokos},
  year={2025},
  publisher={Hugging Face}
}

Framework Versions

• PEFT: 0.17.1
• Transformers: 4.x
• PyTorch: 2.x