lingy1

Название модели: liza30/lingy1

Тип модели: T5 для генерации текста на основе условий

Описание: Эта модель была предварительно обучена на большом объеме текстовых данных и может использоваться для генерации вопросов по заданному входному тексту. Модель была обучена с использованием библиотеки Transformers.

Пример использования:

from transformers import T5ForConditionalGeneration, T5Tokenizer

model = T5ForConditionalGeneration.from_pretrained('liza30/lingy1')
tokenizer = T5Tokenizer.from_pretrained('liza30/lingy1')

input_text = "В современном мире В настоящее время 8 марта отмечается как Международный женский день..."
input_ids = tokenizer(input_text, return_tensors="pt").input_ids
outputs = model.generate(input_ids)
questions = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(questions)

Этот код демонстрирует, как использовать модель для генерации вопросов по заданному входному тексту.

Дополнительный код для получения максимального количества качественных вопросов:

from sentence_transformers import SentenceTransformer
import torch
from transformers import T5Tokenizer, T5ForConditionalGeneration
from sentence_transformers import util

tokenizer = T5Tokenizer.from_pretrained("liza30/lingy1")
model = T5ForConditionalGeneration.from_pretrained('liza30/lingy1')
model.eval()

similarity_model = SentenceTransformer('all-MiniLM-L6-v2')

def generate_questions(input_text, quality_threshold=0.7, max_attempts=20):
    input_ids = tokenizer.encode(input_text, return_tensors='pt')
    questions = set()
    attempts = 0

    while attempts < max_attempts and len(questions) < max_attempts:
        output_ids = model.generate(
            input_ids,
            max_length=64,
            num_return_sequences=1,
            top_k=70,
            top_p=0.9,
            temperature=1.0,
            do_sample=True
        )

        for output_id in output_ids:
            question = tokenizer.decode(output_id, skip_special_tokens=True).strip()
            if question and question not in questions:
                if evaluate_question_quality(question, questions) >= quality_threshold:
                    questions.add(question)

        attempts += 1

    return list(questions)

def evaluate_question_quality(generated_question, existing_questions):
    if existing_questions:
        existing_questions_list = list(existing_questions)
        embeddings = similarity_model.encode(existing_questions_list + [generated_question])
        similarity_scores = util.pytorch_cos_sim(embeddings[-1], embeddings[:-1])

        if torch.max(similarity_scores) > 0.7:
            return 0.0

    return 1.0

input_text = "Свое последнее название колледж получил в 2022 году «Авиационно-технологический колледж» ДГТУ. Сегодня образовательное учреждение является лидирующим среди других учебных заведений города. Колледж востребован молодыми абитуриентами, стремящимися получить качественное образование. Колледж имеет оборудованные кабинеты по общеобразовательным дисциплинам и дисциплинам профессионального цикла. Для организации спортивной работы имеется спортивный, тренажёрный залы. В теплое время занятия по физической культуре проходят на открытом стадионе широкого профиля. Для внеклассной работы имеется актовый зал и музыкальная аппаратура. Выпускники и старшекурсники регулярно участвуют в мероприятиях, организованных Управлением государственной службы занятости населения Ростовской области, такие как Ярмарки вакансий и Областной день профессий, где определяются с выбором места работы по приобретенным специальностям. Авиационно-технологический колледж ДГТУ входит в ассоциацию Авиационных колледжей России, которая объединяет более 30 образовательных учреждений данного профиля. Это позволяет активнее участвовать в научно-практических конференциях и семинарах, инновационных проектах, обмениваться опытом по ключевым проблемам образования и воспитания студенческой молодежи. Авиационно-технологический колледж в Ростове-на-Дону стремится не только передать своим воспитанникам ценный опыт и багаж знаний, но еще и воспитать в каждом из студентов сильную и целеустремленную личность. Также здесь есть возможность каждому студенту раскрыть свой творческий потенциал и показать все умения."

unique_questions = generate_questions(input_text)

for question in unique_questions:
    print(question)


Этот дополнительный код использует модель `SentenceTransformer` для оценки качества сгенерированных вопросов и возвращает список уникальных и качественных вопросов.