Downloads · 30 days
22
6% of all-time downloads
maywell_-_TinyWand-DPO-gguf
RichardErkhov/maywell_-_TinyWand-DPO-gguf
maywell_-_TinyWand-DPO-gguf is a machine learning model from RichardErkhov. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
All-time downloads
340
Public
Repo size
18.6 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.gguf21.6 GB · 100%
At a glance
- Access
- Public
- Created
- Aug 31, 2024
- Updated
- Aug 31, 2024
- SHA
- 08f792c4
Model card
From the Hugging Face model README
Quantization made by Richard Erkhov.
TinyWand-DPO - GGUF
- Model creator: https://huggingface.co/maywell/
- Original model: https://huggingface.co/maywell/TinyWand-DPO/
| Name | Quant method | Size |
|---|---|---|
| TinyWand-DPO.Q2_K.gguf | Q2_K | 0.58GB |
| TinyWand-DPO.IQ3_XS.gguf | IQ3_XS | 0.65GB |
| TinyWand-DPO.IQ3_S.gguf | IQ3_S | 0.68GB |
| TinyWand-DPO.Q3_K_S.gguf | Q3_K_S | 0.68GB |
| TinyWand-DPO.IQ3_M.gguf | IQ3_M | 0.7GB |
| TinyWand-DPO.Q3_K.gguf | Q3_K | 0.75GB |
| TinyWand-DPO.Q3_K_M.gguf | Q3_K_M | 0.75GB |
| TinyWand-DPO.Q3_K_L.gguf | Q3_K_L | 0.81GB |
| TinyWand-DPO.IQ4_XS.gguf | IQ4_XS | 0.83GB |
| TinyWand-DPO.Q4_0.gguf | Q4_0 | 0.87GB |
| TinyWand-DPO.IQ4_NL.gguf | IQ4_NL | 0.88GB |
| TinyWand-DPO.Q4_K_S.gguf | Q4_K_S | 0.88GB |
| TinyWand-DPO.Q4_K.gguf | Q4_K | 0.92GB |
| TinyWand-DPO.Q4_K_M.gguf | Q4_K_M | 0.92GB |
| TinyWand-DPO.Q4_1.gguf | Q4_1 | 0.96GB |
| TinyWand-DPO.Q5_0.gguf | Q5_0 | 1.05GB |
| TinyWand-DPO.Q5_K_S.gguf | Q5_K_S | 1.05GB |
| TinyWand-DPO.Q5_K.gguf | Q5_K | 1.08GB |
| TinyWand-DPO.Q5_K_M.gguf | Q5_K_M | 1.08GB |
| TinyWand-DPO.Q5_1.gguf | Q5_1 | 1.14GB |
| TinyWand-DPO.Q6_K.gguf | Q6_K | 1.25GB |
| TinyWand-DPO.Q8_0.gguf | Q8_0 | 1.61GB |
Original model description:
license: apache-2.0
TinyWand-DPO
<p align="left"> <img src="./TinyWand.png" width="150"/> <p>한국어 모델 설명
1.63B, 하찮은 크기의 SLM은 어떨까요?
모델 소개
TinyWand-DPO는 1.63B의 SLM 모델입니다. 이 모델은 1.63B라는 작은 크기를 가짐으로써 소형기기에서 구동되거나 큰 toks/s를 가질 수 있음과 동시에 강력한 성능을 보여줍니다.
모델 라이센스
OPEN
모델 성능
TBD
학습 과정
TBD
사용 안내
추론에 필요한 VRAM
| 양자화 | 입력 토큰 수 | 출력 토큰 수 | 메모리 사용량 |
|---|---|---|---|
| bf16(base) | 64 | 256 | 3,888 MiB |
| q4_K_M | 64 | 256 | 1,788 MiB |
프롬프트 템플릿
본 모델은 Alpaca 프롬프트 템플릿을 사용합니다.
해당 템플릿은 apply_chat_template()를 통해 허깅페이스 템플릿에서 확인 하실 수 있습니다.
아래 파이썬 코드를 사용하여 모델을 로드 및 사용 할 수 있습니다. transformers, torch가 사전 설치되어야함
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # nvidia 그래픽카드 기준
tokenizer = AutoTokenizer.from_pretrained("maywell/TinyWand-DPO")
model = AutoModelForCausalLM.from_pretrained(
"maywell/TinyWand-DPO",
device_map="auto",
torch_dtype=torch.bfloat16, # 사용하는 장비가 bfloat16을 지원하지 않는 경우 torch.float16으로 바꿔주세요.
)
messages = [
{"role": "system", "content": "Below is an instruction that describes a task. Write a response that appropriately completes the request."}, # 비울 경우에도 동일하게 적용 됨.
{"role": "user", "content": "언어모델의 파라미터 수가 작으면 어떤 이점이 있어?"},
]
encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")
model_inputs = encodeds.to(device)
model.to(device)
generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])
- Created
- Aug 31, 2024
- Updated
- Aug 31, 2024