Downloads · 30 days
7
9% of all-time downloads
fbaldassarri/modello-italia-9b-autoround-w4g128-gpu
modello-italia-9b-autoround-w4g128-gpu is a text generation model from fbaldassarri. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as mit.
This an UNOFFICIAL conversion/quantization of the OFFICIAL model checkpoint of "Modello Italia 9B", Large Language Model (LLM) developed by iGenius in collaboration with CINECA. More information about Modello Italia:…
Downloads · 30 days
7
9% of all-time downloads
All-time downloads
74
Public
Parameters
8.5B
5.2 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors5.2 GB · 100%
How the weights are stored.
I328B · 94%
From the Hugging Face model README
This an UNOFFICIAL conversion/quantization of the OFFICIAL model checkpoint of "Modello Italia 9B", Large Language Model (LLM) developed by iGenius in collaboration with CINECA.
This model has been quantized in INT4, group-size 128, and optimized for inferencing on GPU.
This model has been quantized using Intel auto-round, based on SignRound technique.
git clone https://github.com/fbaldassarri/model-conversion.git
cd model-conversion
mkdir models
cd models
huggingface-cli download --resume-download --local-dir sapienzanlp_modello-italia-9b --local-dir-use-symlinks False sapienzanlp/modello-italia-9b
Then,
python3 ./examples/language-modeling/main.py \
--model_name ./models/sapienzanlp_modello-italia-9b \
--device 0 \
--group_size 128 \
--bits 4 \
--iters 1000 \
--deployment_device 'gpu' \
--output_dir "./models/sapienzanlp_modello-italia-9b-int4" \
--train_bs 2 \
--gradient_accumulate_steps 8
From the terms and conditions of iGenius for Modello Italia:
Modello Italia è concepito per essere utilizzato da tutti e per adattarsi a una vasta gamma di casi d'uso. È stato progettato con l'obiettivo di essere accessibile a persone provenienti da background, esperienze e prospettive diverse. Modello Italia si rivolge agli utenti e alle loro esigenze senza inserire giudizi superflui o normative, riconoscendo al contempo che anche contenuti potenzialmente problematici in determinati contesti possono avere scopi validi in altri. Il rispetto per la dignità e l'autonomia di tutti gli utenti, specialmente in termini di libertà di pensiero ed espressione, è un pilastro fondamentale del suo design. Tuttavia, essendo una nuova tecnologia, Modello Italia comporta rischi legati al suo utilizzo. I test condotti finora sono stati eseguiti in italiano e non hanno potuto coprire tutte le possibili situazioni. Pertanto, come per tutti gli LLM, non è possibile prevedere in anticipo gli output di Modello Italia e il modello potrebbe in alcuni casi generare risposte imprecise, tendenziose o altre risposte discutibili. Prima di utilizzare Modello Italia in qualsiasi contesto, gli sviluppatori sono fortemente incoraggiati a eseguire test di sicurezza e adattamento specifici per le loro applicazioni.
We are aware of the biases and potential problematic/toxic content that current pretrained large language models exhibit: more specifically, as probabilistic models of (Italian and English) languages, they reflect and amplify the biases of their training data.
For more information about this issue, please refer to our survey paper:
Modello Italia 9B INT4 group-size 128 GPU-optimized has not been evaluated on standard benchmarks yet. If you would like to contribute with your evaluation, please feel free to submit a pull request.