Downloads · 30 days
297
50% of all-time downloads
mmnga/japanese-stablelm-instruct-ja_vocab-beta-7b-GPTQ-calib-ja-1k
japanese-stablelm-instruct-ja_vocab-beta-7b-GPTQ-calib-ja-1k is a text generation model from mmnga. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as llama2.
stabilityaiさんが公開しているjapanese-stablelm-instruct-javocab-beta-7bを 日本語のキャリブレーションセットで生成したGPTQモデルになります。
Downloads · 30 days
297
50% of all-time downloads
All-time downloads
599
Public
Repo size
4.2 GB
Likes
0
Public
Click a slice to open those files.
.safetensors4.2 GB · 100%
From the Hugging Face model README
stabilityaiさんが公開しているjapanese-stablelm-instruct-ja_vocab-beta-7bを 日本語のキャリブレーションセットで生成したGPTQモデルになります。
キャリブレーションセットはizumi-lab/wikipedia-ja-20230720から、
1kほどランダムサンプリングしたものと、
ELYZA-tasks-100のinput/outputを計200ほど追加しています。
mmnga/wikipedia-ja-20230720-1k
モデル一覧
GPTQ
mmnga/japanese-stablelm-base-ja_vocab-beta-7b-GPTQ-calib-ja-1k
mmnga/japanese-stablelm-instruct-ja_vocab-beta-7b-GPTQ-calib-ja-1k
GGUF
mmnga/japanese-stablelm-base-ja_vocab-beta-7b-gguf
mmnga/japanese-stablelm-instruct-ja_vocab-beta-7b-gguf
pip install auto-gptq==0.4.2 transformers
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
from transformers import AutoTokenizer
model_name_or_path = "mmnga/japanese-stablelm-instruct-ja_vocab-beta-7b-GPTQ-calib-ja-1k"
# Tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
# Model
model = AutoGPTQForCausalLM.from_quantized(model_name_or_path, use_safetensors=True, device="cuda:0")
# Your test prompt
prompt = """<s>[INST] <<SYS>>
あなたは役立つアシスタントです。
<<SYS>>
与えられたことわざの意味を小学生でも分かるように教えてください。
情けは人のためならず [/INST]
"""
print(tokenizer.decode(model.generate(**tokenizer(prompt, return_tensors="pt").to(model.device), max_length=128)[0]))