Downloads · 30 days
130
0% of all-time downloads
Mixtral-8x22B-v0.1-AWQ
mistral-community/Mixtral-8x22B-v0.1-AWQ
Mixtral-8x22B-v0.1-AWQ is a text generation model from mistral-community. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
<img src="./mixtral-8x22b.jpeg" width="600" /
All-time downloads
252K
Public
Parameters
141B
73.6 GB on disk
Likes
36
Public
Repo makeup
Click a slice to open those files.
.safetensors73.6 GB · 100%
Parameter types
How the weights are stored.
I32140B · 100%
Try a prompt
Base models
Model card
From the Hugging Face model README
<img src="./mixtral-8x22b.jpeg" width="600" />
Mixtral-8x22B-v0.1-AWQ
On April 10th, @MistralAI released a model named "Mixtral 8x22B," an 176B MoE via magnet link (torrent):
- 176B MoE with ~40B active
- Context length of 65k tokens
- The base model can be fine-tuned
- Requires ~260GB VRAM in fp16, 73GB in int4
- Licensed under Apache 2.0, according to their Discord
- Available on @huggingface (community)
- Utilizes a tokenizer similar to previous models
MaziyarPanahi/Mixtral-8x22B-v0.1-AWQ is a quantized (AWQ) version of v2ray/Mixtral-8x22B-v0.1
How to use
Install the necessary packages
pip install --upgrade accelerate autoawq transformers
Example Python code
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "MaziyarPanahi/Mixtral-8x22B-v0.1-AWQ"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id).to(0)
text = "Hello can you provide me with top-3 cool places to visit in Paris?"
inputs = tokenizer(text, return_tensors="pt").to(0)
out = model.generate(**inputs, max_new_tokens=300)
print(tokenizer.decode(out[0], skip_special_tokens=True))
Credit
-
MistralAI for opening the weights
-
v2ray for downloading, converting, and sharing it with the community Mixtral-8x22B-v0.1
-
philschmid for the photo he shared on his Twitter
▄▄▄░░ ▄▄▄▄▄█████████░░░░ ▄▄▄▄▄▄████████████████████░░░░░ █████████████████████████████░░░░░ ▄▄▄▄▄▄█████░░░ █████████████████████████████░░░░░ ▄▄▄▄▄██████████████████░░░░░░ ██████████████████████████████░░░░░ ▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░ ███████████████████████████████░░░░░░░██████████████████████████████░░░░░ ███████████████████████████████░░░░░░░██████████████████████████████░░░░░ ███████████████████████████████░░░░░░███████████████████████████████░░░░░ ████████████████████████████████░░░░░███████████████████████████████░░░░░ ████████████████████████████████░░░░████████████████████████████████░░░░░ █████████████████████████████████░░░████████████████████████████████░░░░░ █████████████████████████████████░░░████████████░███████████████████░░░░░ ██████████████████████████████████░█████████████░███████████████████░░░░░ ███████████████████░██████████████▄█████████████░███████████████████░░░░░ ███████████████████░███████████████████████████░░███████████████████░░░░░ ███████████████████░░██████████████████████████░░███████████████████░░░░░ ███████████████████░░█████████████████████████░░░███████████████████░░░░░ ███████████████████░░░████████████████████████░░░███████████████████░░░░░ ███████████████████░░░████████████████████████░░░███████████████████░░░░░ ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░ ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░ ███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░ ███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░ ███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░ ███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░ ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░ ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░ ███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░ ███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░ ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░ ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░░░░░░░░░░░░ ░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░░░░░░░░░░░ ░░░░░
- Task
- Text Generation
- Library
- transformers
- Type
- mixtral
- License
- apache-2.0
- Languages
- en, es, de, it, fr
- Created
- Apr 10, 2024
- Updated
- Jul 5, 2024