QA-system-T5_RUS

Описание:

Данный проект представляет собой русскоязычную модель для задач "question-answer" (QA), которая генерирует ответы на вопросы, исходя из контекста. В основе модели лежит дообученная версия ruT5-base — трансформера T5, адаптированного для русского языка. Модель была дополнительно обучена на русскоязычном датасете SberQUAD, что позволяет ей эффективно решать задачи извлечения информации из текста.

Пример использования:

from transformers import T5ForConditionalGeneration, T5Tokenizer


model = T5ForConditionalGeneration.from_pretrained("path_to_folder", use_safetensors=True)
tokenizer = T5Tokenizer.from_pretrained("path_to_folder")


def generate_answer(question: str, context: str) -> str:
  
  input_text = f"question: {question} context: {context}"
  input_ids = tokenizer.encode(input_text, return_tensors='pt')

  outputs = model.generate(input_ids)
  answer = tokenizer.decode(outputs[0], skip_special_tokens=True)

  return answer