style-llm-qwen-0.5b

模型介绍

本项目是一个基于大语言模型（llm）的文本风格迁移（text style transfer）项目。项目利用大语言模型来学习指定文学作品的写作风格（惯用词汇、句式结构、修辞手法、人物对话等）。利用本模型可将学习到的风格移植至其他通用文本上，即：输入一段原始文本，模型可对其改写，输出带有该风格特色的文本，达到文字修饰、润色或风格模仿的效果

训练数据包括红楼梦、三国演义、西游记、水浒传[1]

模型效果：

使用方法

模型目前支持红楼梦、三国演义、西游记、水浒传四种风格的润色，其他风格不在训练数据内，但可能也可以迁移。

提示词：

严冬时节，鹅毛一样的大雪片在天空中到处飞舞着，有一个王后坐在王宫里的一扇窗子边，正在为她的女儿做针线活儿，寒风卷着雪片飘进了窗子，乌木窗台上飘落了不少雪花。

---
将上述文本润色成{style}的风格

示例代码：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("wptoux/style-llm-qwen-0.5b")
model = AutoModelForCausalLM.from_pretrained("wptoux/style-llm-qwen-0.5b", torch_dtype=torch.float16, device_map='auto')

style = '红楼梦' # ['红楼梦', '三国演义', '西游记', '水浒传',]

messages = [{"role": "user", "content": txt + f'\n---\n将上述文本润色成{style}的风格'}]
input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, add_generation_prompt=True, return_tensors='pt').cuda()
with torch.no_grad():
    output_ids = model.generate(input_ids, do_sample=False)
response = tokenizer.decode(output_ids[0][input_ids.shape[1]:], skip_special_tokens=True)

致谢

本项目在模型训练中借助了下列开源项目，在此对相关项目人员表示诚挚感谢：

[1] https://github.com/stylellm/stylellm_models。使用其数据集加工后进行训练。