Mixtral-8x7B-v0.1-pl

Mixtral-8x7B-v0.1-pl

<!-- Provide a quick summary of what the model is/does. -->

Mixtral-8x7B-v0.1-pl is a Mixtral 8x7b model fine-tuned using 2.2B Polish tokens selected from the SpeakLeash dataset. This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data. In order to preserve English capabilities, we include about 600M tokens from the RedPajama dataset.

The training was made possible thanks to the TPU Research Cloud program. The model was trained on a TPUv3-256.

Our codebase is based on the Focused Transformer repo and EasyLM.

Thanks to Konrad Staniszewski, Bartłomiej Cupiał and Piotr Miłoś, who have contributed greatly to the creation of this model.

To release this model, we also used the Entropy cluster (hosted at the Faculty of Mathematics, Informatics and Mechanics of the University of Warsaw) funded by NVIDIA, Intel, the Polish National Science Center grant 2022/45/N/ST6/02222, and ERC Starting Grant TOTAL.

Example outputs

(prompts are in bold)

Poniższy artykuł opisuje historię Polski. Polska to kraj, który w ciągu wieków był świadkiem wielu ważnych wydarzeń, które miały wpływ na jej rozwój. W artykule przedstawiono najważniejsze wydarzenia z historii Polski, od czasów starożytnych do współczesności. Historia Polski - starożytność Polska to kraj, który ma długą i bogatą historię. Pierwsze wzmianki o Polsce pochodzą z czasów starożytnych. W 966 roku Mieszko I przyjął chrzest, co zapoczątkowało proces ...

Warszawa to stolica Polski. W najludniejszym mieście kraju można zwiedzić m.in. Muzeum Powstania Warszawskiego, Muzeum Narodowe, Muzeum Fryderyka Chopina, Muzeum Historii Polski, Muzeum Wojska Polskiego, Muzeum Pałacu Króla Jana III w Wilanowie, Muzeum POLIN, Muzeum Niepodległości, Muzeum Katyńskie, Muzeum Wojska Polskiego, Muzeum Powstania Warszawskiego, Muzeum Fryderyka Chopina, Muzeum Narodowe ...

Najstarsze historyczne wzmianki o zamku w Bojnicach pochodzą z 1241 roku. W 1245 roku król węgierski Bela IV nadał go w lenno biskupowi ołomunieckiemu. W 1271 roku król węgierski Stefan V nadał go w lenno biskupowi ołomunieckiemu. W 1302 roku król węgierski Karol Martell nadał go w lenno biskupowi ołomunieckiemu. W 1304 roku król węgierski Karol Martell nadał go w lenno biskupowi ołomunieckiem

Słowacja to państwo położone w Europie Środkowej, które graniczy z Polską, Czechami, Ukrainą, Węgrami, Austrią i Rumunią. Słowacja jest państwem średnio roz- winiętym, które w 2013 roku liczyło 5,4 mln mieszkańców i zajmowało powierzchnię 49 035 km2. Stolicą państwa jest Bratysława, która jest jednocześnie największym miastem w kraju.

Model Card Contact

maciej.pioro at ideas-ncbr.pl