bellman-7b-mistral-instruct

This is not a new model. I had previously made it private and now made it public again for archival reasons (and I needed the private space for testing a new model.)

231217 - This is now deprecated in favor of: https://huggingface.co/neph1/bellman-7b-mistral-instruct-v0.2

231120 - First upload and quantization. 5 epochs on my own dataset. It seemed to overfit a lot. Seems coherent, especially when the context has built up a bit with Swedish.

231125 - Another 5 epochs of finetuning on an expanded dataset, now 3600 rows of instruct type q&a.

Next steps will include: Expand dataset to 5000 rows. Dedicate 500 of those to a test set. Lower learning rate to reduce overfit.

It's trained especially on Swedish domains. I figure Mistral is already trained on world data, so I want to bring forward the Swedish nuances a bit. Please try it out and share any feedback you have.

Update 231126: Try settings top_p 1 (disabled), temperature: 0.1. This gives great and verbose answers.

Prompt with [INST] [/INST] (Standard Llama2 and Mistral)

Example (231125, q8_0):

Input: {"n": 1, "max_context_length": 4096, "max_length": 208, "rep_pen": 1.1, "temperature": 0.1, "top_p": 1.0, "top_k": 0, "top_a": 0, "typical": 1, "tfs": 1, "rep_pen_range": 320, "rep_pen_slope": 0.7, "sampler_order": [6, 0, 1, 3, 4, 2, 5], "prompt": "Detta är en chat mellan en nyfiken användare och en hjälpsam AI-assistent som talar flytande Svenska. Du svarar sanningsenligt och förklarande på alla frågor.\n

{{[INPUT]}}
Vilken är huvudstaden?
{{[OUTPUT]}}
Huvudstaden i Sverige är Stockholm. Staden är belägen på östkusten och fungerar som landets politiska centrum. Stockholm är en av de största städerna i Norden och har en vacker skärgård vid Östersjökusten. Det är ett internationellt centrum för affärer, kultur och konst. Med sin historia och sin nuvarande betydelse är Stockholm en viktig plats i det svenska samhället och fungerar som en magnet för turister från hela världen. Besökare kan uppleva den rika kulturen och historien i Stockholm med dess många sevärdheter, museum och evenemang. Staden är också hemstad för flera stora företag och fungerar som en knutpunkt för affärslivet i Sverige och internationellt. Enligt världsarvsförklaringen är det viktigt att bevara den biologiska mångfalden i Sverige och världen överhovdande. Detta innebär att man måste arbeta för att bevara naturen och dess liv för framtida generationer.
{{[INPUT]}}
Hur fungerar riksdagen?
{{[OUTPUT]}}
Riksdagen är Sveriges lagstiftande församling och består av två kammare: Svenska riksdagen och Europaparlamentet. Svenska riksdagen har 349 ledamöter, varav 218 tillhör regeringens parti och 131 tillhör de politiska partierna utan regeringsansvar. Länsstyrelsen utser ledamöterna till riksdagens ämbetsgrupper och väljer ordföranden för de olika grupperna. Riksdagen sammanträder i plenarium i Stockholm och har mötes årligen sedan 1810. Dess huvudsakliga uppgifter är att diskutera och fatta beslut om lagar, regler och åtgärdsprogram. Riksdagen granskar regeringens åsikter och påverkar politiken genom debatt och röstningar. För att en lag ska komma till stånd krävs majoritet i riksdagen.
{{[INPUT]}}
Vem tillsätter regeringen?
{{[OUTPUT]}}
Regeringen tillsätts av statsministern, som traditionellt blir utsedd av den politiska partigruppen med flest mandat efter ett allmänval. När statsministern utses av riksdagens parlament utses även ett statsministerråd, vilket består av ministrarna i regeringen. Detta gör att regeringen har ett klart ansvar inför riksdagen och ger den politiska makten att driva sin politiska agenda. Statsministern och regeringen styr landet och ansvarar inför riksdagen för sina åsikter och åtgärder. De representerar landets intressen och arbetar för att främja välståndet för alla medborgare. Genom deras ledarskap kan regeringen driva politiken och påverka samhällsförändringarna i Sverige. Det är viktigt att förstå regeringens roll och ansvarsområden för att uppnå en god medborgarrätt och demokratisk stabilitet i landet. Om du har några frågor kring regeringens tillsättning eller ansvarsområden, är du välkommen att fråga.
{{[INPUT]}}
Berätta något om Göteborg
{{[OUTPUT]}}
Göteborg är en stad belägen på västra svenska fastlandet vid Göta älvs mynning i Västergötlands län. Staden är Sveriges näst största och fungerar som regionens ekonomiska centrum. Med en befolkning på över 600 000 invånare är Göteborg en viktig metropol och industristad. Den har en rik kultur och historia och är hemstad för flera universitet och högskolor, inklusive Göteborgs universitet, det äldsta i Norden. Staden är också känd för sin mångfald av museum, teater och konstinstitutioner, vilket gör den till en magnet för kulturintresserade resenärer och invånare. Göteborg är också ett centrum för affärslivet i regionen och internationellt. Med sin historia och nuvarande betydelse är Göteborg en viktig plats i Sverige och fungerar som en knutpunkt för affärslivet och kulturen.
{{[INPUT]}}
Nämn en artist från Göteborg
{{[OUTPUT]}}
Anders Celsius är en framstående konstnär från Göteborg. Han är känd för sina surrealistiska konstverk och har bidragit till att forma den moderna konsten i Sverige. Hans verk har visats i utställningar runt om i världen och han har blivit hyllad för sin unika stil och teknik. Celsius är en av de mest inflytelserika konstnärerna från Göteborg och hans arbete har inspirerat generationer av konstnärer och intresserade publiken för konst och kultur. Hans verk har också blivit en del av permanenta samlingar på museer och institutioner runt om i världen, vilket har bidragit till hans internationella erkännande och prestigefyllda status. Hans konstverk har också varit en del av flera utställningar och evenemang både nationellt och internationellt, vilket har gjort honom till en av de mest uppmärksammade konstnärerna från Göteborg och Sverige.
{{[INPUT]}}
Sjung lite som Bellman
{{[OUTPUT]}}
'Sjung, sjung, Bellman sjung!
Morgonstund, aftonstund,
Alla mina svenska sånger,
Samlas i vår tunga,
Där Sture Dam i vår mångfald av gångna
Välsar och skålar med oss.

'O O, hur du glatt du sjunger,
Hej, hej, hej,
Med en silver röst,
O, hur du glatt du sjunger,
Hej, hej, hej,
Med en silver röst,
O, hur du glatt du sjunger,
Hej, hej, hej,
Med en silver röst.'