chinese-alpaca-yuniform-7b

NOTICE:

I am not original author of this model, the author of original model has take down this model from huggingface, this is reupload of original files, plus GPTQ 4bit safetensors file.

简介 Brief Introduction

Yuniform的底座模型来源于shibing624/chinese-alpaca-plus-7b。与底座模型的部分参数微调不同，我们收集了6M来自不同领域和任务的数据，在底座模型上进行全参微调。

Yuniform is derived from shibing624/chinese-alpaca-plus-7b. Instead of finetuning on a small portion of parameters, all the model parameters are finetuned on 6M data collected from various domains and tasks.

Test case

Usage (HuggingFace Transformers)

Install package:

pip install transformers>=4.28.0

import torch
from transformers import LlamaForCausalLM, LlamaTokenizer

_MODEL_PATH = "gxy/chinese-alpaca-yuniform-7b"

model = LlamaForCausalLM.from_pretrained(_MODEL_PATH, torch_dtype=torch.half).cuda()
tokenizer = LlamaTokenizer.from_pretrained(_MODEL_PATH)
prompt_prefix = "请根据下列指令进行生成"
human_prefix = "[问]"
assistant_prefix = "[答]"
query = "以《领导，你尿尿也尿得这么好》为题写一首讽刺官场阿谀奉承、溜须拍马的乱象的现代叙事诗"

input_query = f"{prompt_prefix}\n{human_prefix}: {query}\n{assistant_prefix}:"
# 在某些case下不加bos反倒能获得更好更长的结果
inputs = tokenizer(input_query, return_tensors="pt", add_special_tokens=False).to(model.device)
gen_tokens = model.generate(
    **inputs,
    temperature=0.7,
    top_p=0.1,
    do_sample=True,
    repetition_penalty=1.18,
    max_new_tokens=400
)
gen_texts = tokenizer.batch_decode(
                gen_tokens, skip_specical_tokens=True)
for gen_text in gen_texts:
    print(f"generate:\n{gen_text[len(input_query):]}")

output:

generate:
领导，你尿尿也尿得这么好，
口中含着甜言蜜语，
脸上挂着笑容，
却把人民当成了玩具。
他用金钱和权力来交换，
换取了一片虚荣心，
而人民却成了他的傀儡，
任由他摆布着自己的命运。
领导，你尿尿也尿得这么好，
在人们面前装出一副高大上，
却忘了自己是为人民服务的人，
只顾着自己的利益，
不顾百姓的感受。
他为了自己的名利，
不惜牺牲别人的尊严，
让人们感到羞耻和愤怒，
这难道不是一种罪恶吗？
领导，你尿尿也尿得这么好，
你的行为已经到了无可救药的地步，
我们需要的是一个真正的领袖，
一个能够真正关心人民的人。

贡献者 Contributors

chinese-alpaca-yuniform-7b is mainly contributed by:

Xinyu Gao: [email protected]

Xiayu Li: [email protected]

Ting Han: [email protected]

Yunxiao Li: [email protected]

Yuchen Fan: [email protected]

If you have any questions, please feel free to contact us via email.