pythia-14m-dd-rus-draft

К сожалению, это весьма неудачная попытка дообучить базовую Pythia 14M Deduped.

При обучении, mean_token_accuracy и loss достигнув значений около 0.555 и 1.9 практически не менялись на протяжении кучи эпох независимо от того, каким был LR.

Полагаю, без хорошего pretrain на русском языке сделать из неё нормальную Instruct модель на нём же не удастся, так что, на данный момент, она заучила лишь слова и форму построения предложений, но генерит лишь полный рандом, и на конкретные инструкции из датасета даже при предсказуемом сэмплировании даёт другие ответы.

Есть некоторые сомнения, что хоть когда-нибудь её получится обучить, так как уже есть хороший пример от OpenAssistant, когда они воспользовались претрейном Pythia-12B, а потом уже обучили его на своём датасете oasst, и в итоге модель получилась слабой.