Downloads · 30 days
30
26% of all-time downloads
kevineen/llm-jp-3.1-olmo-ifairy-quantizaion
llm-jp-3.1-olmo-ifairy-quantizaion is a text generation model from kevineen. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
このリポジトリは、LLM-JP-3.1-13b-instruct4モデルをOLMo-core形式に変換し、iFairy量子化技術(2ビット複素数量子化)を適用した量子化モデルです。
Downloads · 30 days
30
26% of all-time downloads
All-time downloads
116
Public
Parameters
13.7B
27.4 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors27.4 GB · 100%
From the Hugging Face model README
このリポジトリは、LLM-JP-3.1-13b-instruct4モデルをOLMo-core形式に変換し、iFairy量子化技術(2ビット複素数量子化)を適用した量子化モデルです。
このモデルは以下の手順で作成されました:
HuggingFace形式からOLMo-core形式への変換
llm-jp/llm-jp-3.1-13b-instruct4)をOLMo-core(bolmo)形式に変換iFairy量子化の適用
HuggingFace形式での保存
このモデルはHuggingFace形式で保存されているため、標準のtransformersライブラリでロードできます:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
# モデルとトークナイザーのロード
model_name = "kevineen/llm-jp-3.1-olmo-ifairy-quantizaion"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True
)
# プロンプトの準備
prompt = "自然言語処理とは何か、簡潔に説明してください。"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
# テキスト生成
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=256,
temperature=0.7,
do_sample=True,
top_p=0.95,
repetition_penalty=1.05,
pad_token_id=tokenizer.pad_token_id
)
# 結果のデコード
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(generated_text)
LLM-JP-3.1モデルはチャットテンプレートをサポートしています:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "kevineen/llm-jp-3.1-olmo-ifairy-quantizaion"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True
)
# チャット形式のメッセージ
chat = [
{"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
{"role": "user", "content": "自然言語処理とは何か"},
]
# チャットテンプレートの適用
tokenized_input = tokenizer.apply_chat_template(
chat,
add_generation_prompt=True,
tokenize=True,
return_tensors="pt"
).to(model.device)
# テキスト生成
with torch.no_grad():
output = model.generate(
tokenized_input,
max_new_tokens=100,
do_sample=True,
top_p=0.95,
temperature=0.7,
repetition_penalty=1.05,
)[0]
# 結果のデコード
print(tokenizer.decode(output, skip_special_tokens=True))
量子化モデルの完全な機能を使用するには、OLMo-core形式でロードすることを推奨します:
from olmo_core.nn.quantization.checkpoint_manager import QuantizedCheckpointManager
from transformers import AutoTokenizer
import torch
# OLMo-core形式のチェックポイントパス(ローカルまたはHuggingFace Hub)
checkpoint_path = "path/to/llm-jp-3-quantized" # OLMo-core形式のディレクトリ
# 量子化モデルのロード
checkpoint_manager = QuantizedCheckpointManager()
model, metadata = checkpoint_manager.load_quantized_checkpoint(
checkpoint_dir=checkpoint_path,
device="cuda" # または "cpu"
)
print(f"Model loaded successfully")
print(f"Quantization config: {metadata.quantization_config}")
print(f"Model size: {metadata.quantized_model_size_mb:.2f} MB")
print(f"Compression ratio: {metadata.compression_ratio:.2f}x")
# トークナイザーのロード
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3.1-13b-instruct4")
# 推論
prompt = "自然言語処理とは何か"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(inputs["input_ids"])
logits = outputs
# 生成(簡易版)
# 実際の生成にはgenerateメソッドの実装が必要です
量子化により、モデルサイズは約1/8に削減されますが、推論性能は維持されます。
このモデルは元のLLM-JP-3.1-13b-instruct4モデルと同じApache License 2.0の下で公開されています。
元のモデルを使用する場合は、以下のように引用してください:
@misc{llm-jp-3.1,
title={LLM-JP-3.1: Instruction Pre-Training for Japanese Language Models},
author={LLM-JP Team},
year={2024},
url={https://huggingface.co/llm-jp/llm-jp-3.1-13b-instruct4}
}
この量子化モデルは、convert-bolmoプロジェクトを使用して作成されました。
質問や問題がある場合は、以下のいずれかにお問い合わせください: