TinyStoriesAdv_92M

TinyStoriesAdv_92M

keywords: grade school level, large language model, small language model, tiny language model, super tiny language model, 小学生知识水平，大语言模型，小语言模型，迷你语言模型, llm, slm.

超迷你的玩具模型，只能讲中文，可以回答一些小学生的常识问题。幻觉严重。但是很有趣。 受到TinyStories、Phi2等论文的启发，使用了自己制作的全合成的数据库 https://huggingface.co/datasets/fzmnm/TinyStoriesAdv-zh

采用了类似Qwen的架构。

dim=640;n_layers=20;n_heads=10;n_kv_heads=2;max_seq_len=1024;embedding_weight_tying=True;
tokens_per_iteration=524288
dropout=0.1
warmup_iters=1000;stable_iters=9000

A100上7.5小时即可训练完毕。 这个是预训练版本，没有进行偏好微调。

用法：

from transformers import pipeline

generator = pipeline('text-generation', model='fzmnm/TinyStoriesAdv_92M')
story_prompt = "问：什么是鹦鹉？"
generated_story = generator(story_prompt, max_length=256, truncation=True)

print(generated_story[0]['generated_text'])

试玩：

temperature=0
cherry_picking=True

问：什么是鹦鹉？

答：<span style="color:blue">鹦鹉是一种非常聪明的鸟类,它们的语言和声音非常特别。它们会用各种声音交流,比如模仿鸟叫声、使用手势和用力拍打。</span>

问：什么是大象？

答：<span style="color:blue">大象是一种非常大的动物,生活在北美洲的森林和草原。</span>

问：谁是李白？

答：<span style="color:blue">李白是唐代的一位诗人,他的诗歌以豪放、浪漫和浪漫著称。</span>

问：什么是黑洞？

答：<span style="color:blue">黑洞是一种看不见的物体,它们像是宇宙中的“大吸尘器”,不过它们的引力强大,所以它们看不见。</span>

问：肚子疼怎么办

答：<span style="color:blue">如果肚子疼,可以告诉爸爸妈妈或者医生,他们会帮忙处理的。</span>

问：晚上睡不着怎么办？

答：<span style="color:blue">晚上睡不着,小朋友们可以试试看看晚上是否能做一些有趣的事情,比如看书、画画或者玩游戏。</span>

从前有个胖鹦鹉，胖得飞不动。

<span style="color:blue">有一天,他看到一只大鸟,想和它打招呼。鸟儿说:“你好,胖胖!我可以和你打招呼吗?”胖胖的鹦鹉回答:“好的,我很乐意!”于是,它们成了朋友,一起玩耍。他们跑啊跳啊,玩得很开心。但是,一只大鸟看到了胖胖的鹦鹉,想要抓住它。鸟儿说:“不,胖胖!你不能和我们玩。”胖胖的鹦鹉很伤心,但它知道鸟儿必须听从。所以,胖胖的鹦鹉和鸟儿成为了朋友。他们一起玩,成为了最好的朋友。</span>

从前有个小姑娘从来不洗脸。孔子说：<span style="color:blue">“你要去学校,不能在草坪上玩。”小姑娘答应了,孔子带她去了草坪。小姑娘坐在石头上,孔子看着她。孔子问:“你为什么难过?”小姑娘叹了口气:“我生病了,我父亲不能让我照顾你。”孔子听了,心里很难过。第二天,小姑娘来到了草坪上,孔子请她摘花。她摘了花,小姑娘笑着说:“我会帮你。”小姑娘走进教堂,孔子问:“你怎么唱这个歌?”小姑娘低声说:“因为我妈妈病了。”孔子听了,心里很难过,他想知道她的心意。于是,他对小姑娘说:“你妈妈病了,我来看看。”小姑娘点点头,跟孔子来到一个大花园。她看到孔子,有很多花,美丽极了。她伸出手想要,孔子却说:“你不可以摘花,但你必须答应我。”小姑娘惊讶地说:“我答应你!”孔子笑着说:“你不需要别的,我知道怎么做。”小姑娘高兴地答应了。孔子又对小姑娘说:“你可以摘我的花,但只摘我自己。”小姑娘答应了。她摘下最美丽的玫瑰花,放在自己的口袋里带回家。孔子看着她走,心里感到很温暖。第二天,小姑娘又来了,孔子又说:“你要好好侍奉母亲,我要把你送到天上。”小姑娘害怕怕,但孔子坚定地说:“我不会的,我会照顾你的。”小姑娘害怕孔子,但还是答应了。她拿出美丽的玫瑰花,递给孔子。孔子接过花,感激地说:“你是我的骄傲。”第三天,小姑娘来拜见孔子。她穿着一身漂亮的衣服,头发有些乱,孔子却不喜欢她。“你怎么这么漂亮,难道不怕你吗?”孔子问。小姑娘心里很难过,泪水夺眶而出。孔子听见她的哭声,心里很不舒服,但他还是不敢过。“为什么要伤心?”孔子问。“我想要更美的心,像天一样纯洁的人。”小姑娘说。</span>