Etude-LLMv0.2

Etude-LLMv0.2

<p align="center"> <a href="https://github.com/Love-Asuka/Etude-LLM"> <img src="https://img.shields.io/badge/GitHub-Repository-blue" alt="GitHub Repository"> </a> <a href="LICENSE"> <img src="https://img.shields.io/badge/License-MIT-green.svg" alt="License"> </a> <a href="https://www.python.org/"> <img src="https://img.shields.io/badge/Python-3.8%2B-blue" alt="Python"> </a> <a href="https://pytorch.org/"> <img src="https://img.shields.io/badge/PyTorch-2.0%2B-red" alt="PyTorch"> </a> <a href="https://huggingface.co/transformers/"> <img src="https://img.shields.io/badge/🤗-Transformers-yellow" alt="Transformers"> </a> </p>

模型简介

• Etude-LLMv0.2 是基于自定义 Etude 架构并转换为 Llama 兼容格式的超轻量级中文对话模型，大小为50M参数，适用于通用问答、文本生成等任务。
• 当前仓库已包含 Llama 兼容的权重与必要的配置文件，可直接通过🤗 Transformers加载推理。

GitHub 仓库

• 项目源代码与完整文档请访问 GitHub 仓库：https://github.com/Love-Asuka/Etude-LLM

文件结构

• pytorch_model.bin：模型权重（FP32）。
• config.json：模型结构与元信息（已转换为 Llama 格式）。
• tokenizer.json、tokenizer_config.json、special_tokens_map.json：分词器文件与特殊符号映射。
• chat_template.jinja：聊天模板（可选，用于标准化对话格式）。

快速开始（Transformers）

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Etude-AI/Etude-LLMv0.2"

tokenizer = AutoTokenizer.from_pretrained(model_id, use_fast=True)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype="auto")

inputs = tokenizer("你好，帮我写一首诗。", return_tensors="pt")

filtered_inputs = {k: v for k, v in inputs.items() if k != 'token_type_ids'}
outputs = model.generate(**filtered_inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

训练与转换说明（简要）

• 预训练与SFT：模型在内部中文语料与混合任务上完成预训练与监督微调（SFT）。
• Llama格式转换：使用项目 tool/convert_hf.py 将 Etude 原生权重与配置转换为 Llama 兼容格式，并复制分词器与模板文件到输出目录。

适用场景与限制

• 适用：通用中文问答，文本生成等任务。
• 限制：
  • 生成内容可能包含不准确或过时信息，请在关键场景进行校验。
  • 不适用于需要严格事实性或高安全合规要求的生产场景，建议配合外部检索与安全过滤。

许可证与使用条款

• 请参考本仓库中的 LICENSE 文件或模型页面的许可说明。
• 使用本模型即表示同意遵守相应的许可与使用政策。

致谢

• 感谢开源社区与 Hugging Face 提供的模型发布与分发基础设施。