llm-course-hw1

This model has been pushed to the Hub using the PytorchModelHubMixin integration:

nano

Config: TransformerConfig(n_layer=3, n_head=4, n_kv_head=2, hidden_dim=96, intermediate_dim=256)

tokenizer = ByteLevelBPETokenizer.from_pretrained('dzhuj/llm-course-hw1')
check_model = TransformerForCausalLM.from_pretrained('dzhuj/llm-course-hw1', revision='nano')

min val loss: 1.710

примеры генерации:

• Заходит в барандормика случ пред рус проволоденькью провела решения нарегодня занственессню кур увращное живости давги нарине брящости ос твоела занящама русского брассеты осассязнь заннулроял час ручикственский...- вот такой живоварского клости курязики руслыбики ан осящими даветы
• Заходит в барской руственоварги орги учные орохеты учная куряз!!!Я такой девушской . зан тво ночания получё сидги больше Россионики себя занантги себя здратует орлив нарги заняз Вот тоже осержорм...- Не русро?! Вот клди...- Нет себя больше версл стар сек нуж Но руобресяими бабическского кл бабкомстроики...- Это правяз брехическическими позует твоясном живует!!!язости лучости больше?! вам тоже сделув курени перед занессики ни решальственью здания...- сто минеся звормыл ночывает Жрам больше Россред...- женщин себя больше...-устца чего куп ни Росс пожязениоктор луч ночическими недервическормливаем себе Россоварливелаясени ор .!!!ью лучнь руаем Росс Вот ночассги!!! надо перед учидени сделени ни тоже давикиует лучлив
• Заходит в бар ясув Россики себяикиредедь бабими реш возство себя такой решти брела такой жив луч осков сделени!!!аже повервует перед пров себя нарроела нарчас кур тут!!!", секледям ос него убастика сделаем луч девушью", продям ни ночгиует убыб больше такой наролодце убкомаем потом девушайтемотр машном осёги минков тоже нарлед бралоимистроими тоже ослед значас здреденькох себя учуть перед ночящсти!!! увям курред звяс00 маш гол ни мин тут бабрач купало клохро орало ночапа нарики осрач себя стар смотр . Муж занижаете H минязце потом такой луч!!! рус ночохги Hовар занственком давливическ00 потом потом потом луч нужайте получервграем секичего Он себя живика бабро живеперь!!! зв сидям курасс ночыб ни нуж бл конеты
• Заходит в баробрям кажд жив секика чеголив машание твоефливуетруз старудьстроцаслелаох . кажд бабливлив!!! здедь перед девушики ночстро передращодит себя быть учаютсяруз девуш стар корлив себяета бреф пров продди тво HХ купсл себя случости такой тут передсл мин провееХредета девуш получ ужееты!!! луч . крас ужими такой нистро ув Но брассрачственичего каждязрамствен купруз машдинаже нарледыб здывает кур бабывает себя ан H случости нарервует занеф кур руро нарясьюстро минаемывает давичего случ ``стро сосими бабги ниостиортроени здион!!! .аете маш Нетяс ув Росс занскойейчасяс удещ . почему кур после такой сдел ор тутими перед кл баб сидортеся себя твоце!!! девуш ноч смотретачера давнь убъМуж домой тоже пожмотрствененя давувела ру нарков
• Заходит в барыбро девуш себя домой пожаете ``ики сделими сделаем сделыб осрачеся дав бабержета луч ув удорогливладстиобр простоики Муж учими себя ру звическ рус заб старещ решали зд курков", остнь...- Хоктор ор куп сид здится лучайте гдеяз!!! сдел тоже него пожормямрач решД чего осохарт ниского луч Россяз!!! себя", ни больше твоиканю занящ получ вас живком Мужскогочера ор рус звчасандеся передувков решаждики зд 2 девушливязрач...- начоктор сдел потомартял тут сдел кур реш водионньыб русГро перед пров стар время рус реш сво пров вер больше твоика передаем Росс!!! H анох реш получ время жив пов бл ост себяруз рус крас зап прин анайте потом пожровует кловарув большеруз больше твоорм убодитики тожестрояснул убался передеся решянмерстроув ув потом баб

mini

Config: TransformerConfig(n_layer=6, n_head=6, n_kv_head=3, hidden_dim=384, intermediate_dim=1024)

tokenizer = ByteLevelBPETokenizer.from_pretrained('dzhuj/llm-course-hw1')
check_model = TransformerForCausalLM.from_pretrained('dzhuj/llm-course-hw1', revision='mini')

min val loss: 1.413

примеры генерации:

• Заходит в бар учро нарце нарыб домой
• Заходит в бар перед ``
• Заходит в барортнь ор ав домой прованд крас
• Заходит в бар орине каждского H луч!!!Храм Муж занолодеся ан авращце передениеф клее старского перед девушроаемслайте брствености орорм рус", случслени ор жена тожеимично H!!!ги наретыейчас ан продью девуш Hефичего ноч девушикичноими ру[UNK] уб ни уб руского зан каждце намув время нарывает убмерени зд
• Заходит в барлив перед каждской уб прод имню . брикиими намикиского Он домой тожеесяикаикично нарчно девушетыетырам ор бр продени случеты брывает купям луч машскогоион осслрамню каждковаем пров занефохги Муж зделаичегоефикиохнюги передими миника уч русическ девушсл перед случяд позруз ру ни очень брохсл купета H ночедь куричего минует сдел . ниорменьк чегоруз сид здениеся тво бр...- Почемуяз зан перед намиходит живувро себе кл Онмерги провета брудь себя анёского решох кажд ан где здими намесяро тут бр Он", быть стар больше ночскогоохской руязелаими девушро Россце руковяз такой здчно нистроеся твоох живорт домой тожеени провох орнь нарце учует быть минчас сделМуж Росс

small

Config: TransformerConfig(n_layer=12, n_head=12, n_kv_head=6, hidden_dim=768, intermediate_dim=2048)

tokenizer = ByteLevelBPETokenizer.from_pretrained('dzhuj/llm-course-hw1')
check_model = TransformerForCausalLM.from_pretrained('dzhuj/llm-course-hw1', revision='small')

min val loss: 1.293

примеры генерации:

• Заходит в бар такой курики
• Заходит в бар минует домой...- Муж кажд ночеты быть лучует жена больше такой нарики такой ор жив...- баб орени такой ру
• Заходит в бар брениенькетаует реш . Муж провыбХроруз реш решела орги осредрачания потом осяс Вот ан тоже девушаем!!! Hги ор занливоварует машувливохлив миними ноч ``роро быть тоже бытьув зд убими", Мужими руящими осапа провохует ру час нареся заними
• Заходит в бареньк пожуетиходитика девушефНа
• Заходит в бар нам Муж провортываетиходит кур ослив намимиаемеся тво ни ``скойохортнюслаем чегоув Почему ноч Почему луччно пров сделела провики оранд случяз тво анета уб пров машяс

mini+rope

tokenizer = ByteLevelBPETokenizer.from_pretrained('dzhuj/llm-course-hw1')
check_model = TransformerForCausalLM.from_pretrained('dzhuj/llm-course-hw1', revision='mini-rope')

min val loss: 1.414

примеры генерации:

• Заходит в бар больше учца перед учета
• Заходит в бар анувики перед нараемефическими провесясловарими домой
• Заходит в бар ан ан
• Заходит в бар наметы домойце случует уч домойенькета чего тожеМуж нам пожХета кл луч стар стар куп уб домой занорм тво...- ан
• Заходит в бар ан аникасл брслнюце анской анской провце чегоращеся!!!ской

mini + mhla

tokenizer = ByteLevelBPETokenizer.from_pretrained('dzhuj/llm-course-hw1')
check_model = TransformerForCausalLM.from_pretrained('dzhuj/llm-course-hw1', revision='mini-mhla')

min val loss: 1.434

примеры генерации:

• Заходит в бар
• Заходит в бар особр после перед Хроика наричего нарика!!!Храмости ореты клики На класс тоже орявики!!! Hела клика гиеты Hаем", потом здредню Почему случаться!!! проврачими анского заным нарывает девушящормувика аненькеформ!!! Почему перед классской курости здаются минредолод енирам",мерости убывает убмер
• Заходит в бар осню каждыб куп провращание руывает потом клими зансти клроенькящув провню осеся Россрамормыбувует ру домойими пров нароваробр анеформими тоже орует пожяснюяс!!!!!! Муж перед кураемнь...- Он баб убудь переделауваем лучца быть здмерственует нарце", потом ан старине нам ор принящерь кажд себя ``ясчноости бриходитливской минасс тоже такой анявской орги...- Он перед пожца орстроящими учось занобрясодитела пожясует", ночец тоже перед провращитель убской случуетувости чего ослед ру", случ сек клеты чего...-октор случэ ор тоже ос девушственела Мужики луч .?!", домой занени луч дваскойика убящало курроеты руги занефейчас перед случичего тоже оследени оранд потом тоже зан Hортолодывает девуш принти
• Заходит в бар ос можетрач наровар пож зд прос русти орстро авует!!!ывает сдел ливолод здаемуетред рус .раменьк ни потом оренирачени Мужика провелауетета перед домой",ги наресячноапаги каждственстро жив ночало пож сдел орорм девуш давнул мин перед кл русустапа ру курствен орортики такой", такойуетыболод Hапа луч себе луч НоМуж курствен зануетуетости уб
• Заходит в бар ос можетрач нарывает Россиходит",андобр луч послеро клела тожеела бр . жив осудь кургинь тоже тожегистроро пожиходит такой зан себе ни рус решечящеперьеты анеф краснюясрамени нарро ПочемуХрузими нам такой тоже осрамобр курох перед сделыбаем девушям!!!апаыбрач осаемувайте ни луч секеты анящ думню наррач .гростиро Муж такойости руики кажд получ смслеты зан Hиходит орейчас домой пож получало кургиращ ночому тоже курлив пров час миники Муж руобр крас сид ночномХанд девушяв орейчасолод орязги такой каждруз ор рус такой тоже каждайтеесяобрув каждическяс!!! осращ черяз...-Муж!!!Хлив куряс рурачясги осости убскойела орувеньк Вот сделХги ``етыувскойрач Россандгиела H здика пож нарела перед