CogniLite

只需要700MB就可以运行的模型

如何判断电脑是否可以运行

打开B主页，点进去一个视频；如果这个时候你的电脑没有爆炸，就可以运行。

介绍

使用了MiniMind2的模型参数：

• Github项目链接在：<a href="https://github.com/jingyaogong/minimind">Github Link</a>
• HuggingFace链接在 <a href="https://huggingface.co/jingyaogong/MiniMind2">Hugging Face</a>

快速开始

安装依赖：

pip install torch, transformer

运行模型：

python model_congnilite.py

常见问题介绍

在流式输出中，每输出一个token_id，就将它解码为字符并输出，会造成中文乱码现象，但是将token_id放到一个列表中一起解码就不会出现乱码

专业描述：token边界不对齐导致的解码错误

• tokenizer采用的是子词（subword）分词（如BPE、SentencePiece等），一个汉字或词语可能被拆成多个token。
• 单独解码一个token_id时，tokenizer.decode()会把这个token当作一个完整的单元去还原为字符，但实际上它可能只是一个汉字的“片段”或“字节”，导致输出乱码或不可见字符。
• 只有把一组token_id（即一个完整的token序列）一起decode，tokenizer才能正确地拼接还原出原始的中文字符。

原本的代码：

new_token_str = tokenizer.decode(next_token_id.item(), skip_special_tokens=False)
print(new_token_str, end='', flush=True)

更改后：

prev_decoded = tokenizer.decode(token_list[:-1], skip_special_tokens=False)
curr_decoded = tokenizer.decode(token_list, skip_special_tokens=False)
print(curr_decoded[len(prev_decoded):], end='', flush=True)