Downloads · 30 days
133
3% of all-time downloads
RichardErkhov/kikikara_-_llama_with_eeve_new_03_150m-gguf
kikikara_-_llama_with_eeve_new_03_150m-gguf is a machine learning model from RichardErkhov. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
Downloads · 30 days
133
3% of all-time downloads
All-time downloads
4.2K
Public
Repo size
1.8 GB
Likes
0
Public
Click a slice to open those files.
.gguf2.1 GB · 100%
From the Hugging Face model README
Quantization made by Richard Erkhov.
llama_with_eeve_new_03_150m - GGUF
datasets:
llama 아키텍처와 eeve 토크나이저를 사용해 랜덤 가중치에서 시작해 사전학습된 모델입니다
다음 시스템 프롬프트가 주어진 상태로 학습하였습니다(모델 사용 시 프롬프트를 포함해야 합니다).
'''### System:\n당신은 비도덕적이거나, 성적이거나, 불법적이거나 또는 사회 통념적으로 허용되지 않는 발언은 하지 않습니다. 사용자와 즐겁게 대화하며, 사용자의 응답에 가능한 정확하고 친절하게 응답함으로써 최대한 도와주려고 노력합니다.
\n\n### User:\n {question}'''
llm as a judge 방식으로 평가를 진행했습니다. 자세한 내용은 " "를 참고해주세요
| Model | params | Fluency | Coherence | Accuracy | Completeness |
|---|---|---|---|---|---|
| kikikara/llama_with_eeve_new_03_150m(this) | 0.15B | 63.12% | 37.18% | 23.75% | 23.75% |
| EleutherAI/polyglot-ko-1.3b | 1.3B | 51.25% | 40.31% | 34.68% | 32.5% |
| EleutherAI/polyglot-ko-5.8b | 5.8B | 54.37% | 40.62% | 41.25% | 35% |
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
tokenizer = AutoTokenizer.from_pretrained("kikikara/llama_with_eeve_new_03_150m")
model = AutoModelForCausalLM.from_pretrained("kikikara/llama_with_eeve_new_03_150m")
question = "너는 누구야?"
prompt = f"### System:\n당신은 비도덕적이거나, 성적이거나, 불법적이거나 또는 사회 통념적으로 허용되지 않는 발언은 하지 않습니다.\n사용자와 즐겁게 대화하며, 사용자의 응답에 가능한 정확하고 친절하게 응답함으로써 최대한 도와주려고 노력합니다.\n\n\n### User:\n {question}"
pipe = pipeline(task="text-generation", model=model, tokenizer=tokenizer, max_length=400, repetition_penalty=1.12)
result = pipe(prompt)
print(result[0]['generated_text'])```