Downloads · 30 days
517
18% of all-time downloads
AI-Sweden-Models_-_Llama-3-8B-instruct-gguf
RichardErkhov/AI-Sweden-Models_-_Llama-3-8B-instruct-gguf
AI-Sweden-Models_-_Llama-3-8B-instruct-gguf is a machine learning model from RichardErkhov. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
All-time downloads
2.8K
Public
Repo size
92.9 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.gguf108 GB · 100%
At a glance
- Access
- Public
- Created
- Aug 21, 2024
- Updated
- Aug 21, 2024
- SHA
- 680ad49d
Model card
From the Hugging Face model README
Quantization made by Richard Erkhov.
Llama-3-8B-instruct - GGUF
- Model creator: https://huggingface.co/AI-Sweden-Models/
- Original model: https://huggingface.co/AI-Sweden-Models/Llama-3-8B-instruct/
| Name | Quant method | Size |
|---|---|---|
| Llama-3-8B-instruct.Q2_K.gguf | Q2_K | 2.96GB |
| Llama-3-8B-instruct.IQ3_XS.gguf | IQ3_XS | 3.28GB |
| Llama-3-8B-instruct.IQ3_S.gguf | IQ3_S | 3.43GB |
| Llama-3-8B-instruct.Q3_K_S.gguf | Q3_K_S | 3.41GB |
| Llama-3-8B-instruct.IQ3_M.gguf | IQ3_M | 3.52GB |
| Llama-3-8B-instruct.Q3_K.gguf | Q3_K | 3.74GB |
| Llama-3-8B-instruct.Q3_K_M.gguf | Q3_K_M | 3.74GB |
| Llama-3-8B-instruct.Q3_K_L.gguf | Q3_K_L | 4.03GB |
| Llama-3-8B-instruct.IQ4_XS.gguf | IQ4_XS | 4.18GB |
| Llama-3-8B-instruct.Q4_0.gguf | Q4_0 | 4.34GB |
| Llama-3-8B-instruct.IQ4_NL.gguf | IQ4_NL | 4.38GB |
| Llama-3-8B-instruct.Q4_K_S.gguf | Q4_K_S | 4.37GB |
| Llama-3-8B-instruct.Q4_K.gguf | Q4_K | 4.58GB |
| Llama-3-8B-instruct.Q4_K_M.gguf | Q4_K_M | 4.58GB |
| Llama-3-8B-instruct.Q4_1.gguf | Q4_1 | 4.78GB |
| Llama-3-8B-instruct.Q5_0.gguf | Q5_0 | 5.21GB |
| Llama-3-8B-instruct.Q5_K_S.gguf | Q5_K_S | 5.21GB |
| Llama-3-8B-instruct.Q5_K.gguf | Q5_K | 5.34GB |
| Llama-3-8B-instruct.Q5_K_M.gguf | Q5_K_M | 5.34GB |
| Llama-3-8B-instruct.Q5_1.gguf | Q5_1 | 5.65GB |
| Llama-3-8B-instruct.Q6_K.gguf | Q6_K | 6.14GB |
| Llama-3-8B-instruct.Q8_0.gguf | Q8_0 | 7.95GB |
Original model description:
language:
- sv
- da
- 'no' license: llama3 base_model: AI-Sweden-Models/Llama-3-8B
Checkpoint 1
Training setup
The training was perfomed on the LUMI supercomputer within the DeployAI EU project. Based of the base model AI-Sweden-Models/Llama-3-8B.
Dataset
A data recipe by: 42 Labs
How to use
import transformers
import torch
model_id = "AI-Sweden-Models/Llama-3-8B-instruct"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
messages = [
{"role": "system", "content": "Du är en hjälpsam assistant som svarar klokt och vänligt."},
{"role": "user", "content": "Hur gör man pannkakor? Och vad behöver man handla? Undrar också vad 5+6 är.."},
]
terminators = [
pipeline.tokenizer.eos_token_id,
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = pipeline(
messages,
max_new_tokens=256,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
print(outputs[0]["generated_text"][-1])
>>> "För att göra pannkakor behöver du följande ingredienser:
- 1 kopp vetemjöl
- 1 tesked bakpulver
- 1/4 tesked salt
- 1 kopp mjölk
- 1 stort ägg
- 2 matskedar smält smör eller olja
För att börja, blanda vetemjölet, bakpulvret och saltet i en bunke. I en annan skål, vispa ihop mjölken, ägget och smöret eller oljan.
Tillsätt de våta ingredienserna till de torra ingredienserna och blanda tills det är väl blandat.
Låt smeten vila i cirka 10 minuter.
För att göra pannkakorna, värm en non-stick-panna eller stekpanna över medelvärme.
När den är varm, häll smeten på pannan och grädda tills kanterna börjar torka ut och toppen är fast.
Vänd pannkakan med en stekspade och grädda den andra sidan tills den är gyllenbrun.
Upprepa med resten av smeten.
När det gäller 5+6 är svaret 11."
- Created
- Aug 21, 2024
- Updated
- Aug 21, 2024