TinyStoriesAdv_215M

TinyStoriesAdv_215M

keywords: grade school level, large language model, small language model, tiny language model, super tiny language model, 小学生知识水平，大语言模型，小语言模型，迷你语言模型, llm, slm.

超迷你的玩具模型，只能讲中文，可以回答一些小学生的常识问题。幻觉严重。但是很有趣。 受到TinyStories、Phi2等论文的启发，使用了自己制作的全合成的数据库 https://huggingface.co/datasets/fzmnm/TinyStoriesAdv-zh

采用了类似Qwen的架构。

dim=896;n_layers=24;n_heads=14;n_kv_heads=2;max_seq_len=1024;embedding_weight_tying=True;
tokens_per_iteration=524288
dropout=0.1
warmup_iters=1000;stable_iters=9000

A100上14小时即可训练完毕。 这个是预训练版本，没有进行偏好微调。

用法：

from transformers import pipeline

generator = pipeline('text-generation', model='fzmnm/TinyStoriesAdv_92M')
story_prompt = "问：什么是鹦鹉？"
generated_story = generator(story_prompt, max_length=256, truncation=True)

print(generated_story[0]['generated_text'])

试玩：

temperature=0
cherry_picking=True

问：什么是鹦鹉？

答：<span style="color:blue">鹦鹉是一种非常聪明的鸟类,它们有着灰色或黑色的羽毛,还能学会说话。有些鹦鹉能学会使用简单的词汇和短语,学习模仿声音。</span>

问：什么是大象？

答：<span style="color:blue">大象是一种非常大的动物,有长长的鼻子和大大的耳朵,它们是非常温和的动物哦!</span>

问：谁是李白？

答：<span style="color:blue">李白是唐代著名的诗人,被誉为“诗仙”。</span>

问：什么是黑洞？

答：<span style="color:blue">黑洞是一种非常神秘的天体,它的引力超强,连光都逃不出来的。</span>

问：肚子疼怎么办

答：<span style="color:blue">别担心,小助手告诉你的!首先,你要保持冷静,慢慢想办法解决问题。</span>

问：晚上睡不着怎么办？

答：<span style="color:blue">可以在床头放一个柔软的枕头,让颈部放松,然后找一个舒舒服服的地方,比如一个舒服的床垫,躺下去感受一下安全。</span>

从前有个胖鹦鹉，胖得飞不动。

<span style="color:blue">有一天,胖鹦鹉看到一个小女孩在哭。她问小女孩:“你为什么哭?” 小女孩说:“我弄丢了我的玩具,我找不到它了。” 胖鹦鹉想帮助小女孩。胖鹦鹉飞到小女孩身边说:“我会帮你找到你的玩具。” 小女孩很高兴地说:“谢谢你,胖鹦鹉!” 胖鹦鹉飞走了,找到了玩具。小女孩非常高兴,感谢胖鹦鹉。从那天起,胖鹦鹉和小女孩成为了好朋友。他们每天一起玩耍,胖鹦鹉再也没有弄丢过它。小女孩和胖鹦鹉成为了最好的朋友,他们过上了幸福快乐的生活。</span>

从前有个小姑娘从来不洗脸。孔子说：<span style="color:blue">“你们两个都去吧,别见怪。”她们去了河边,见到了那个小姑娘。小姑娘哭着说:“我只是想看看你。”孔子连忙跟她们去了。 到了河边,孔子把姑娘放入水中,看到她的脸清晰,但是眼睛还是模糊。孔子又对姑娘说:“把头伸出 来,我有个愿望。你想要什么?”姑娘把头伸出来,果然看到孔子的眼睛没什么反应。孔子知道姑娘的心意,把姑娘变成了一条蛇,感到很是惊讶。过了几天,孔子的病好了些。他想着再次见到姑娘,心里充满了希望。他对姑娘说:“我的姑娘,你现 在可以走了,我很高兴再见到你。”姑娘点头同意,她的身影消失了。孔子看着她,心里也暗暗高兴。日子一天天过去,刘备来到河边,听说一个女人哭了,因为她的狗咬了她的狗。这时,孔子看到这只狗,不由得生出怜悯之心。他对姑娘说:“我可以帮你,但你要把我的心给我。”姑娘点头答应,把狗叼给孔子。就在她要离开的时候,狗突然扑向她,咬了她一口。刘夫人痛苦地大 叫,狗吓得不知所措。孔子看到这一幕,心里非常疼惜。他去找巫婆,告诉了巫婆个明智的决定。巫婆说:“我们必须对付狗,这样才能找到它。”孔子连晚都没敢离开。巫婆因为担心,决定找其他办法来对付狗。</span>