mt5-base-b16-e16-lr2e-05-126k-jupyter

fresst/mt5-base-b16-e16-lr2e-05-126k-jupyter

mt5-base-b16-e16-lr2e-05-126k-jupyter is a machine learning model from fresst. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers.

should probably proofread and complete it, then remove this comment. --

Downloads · 30 days

9% of all-time downloads

All-time downloads

Public

Parameters

582M

289 GB on disk

Likes

Public

Hugging Face

Repo makeup

Click a slice to open those files.

.safetensors2.3 GB · 100%

At a glance

Library: transformers
Model type: mt5
Access: Public
Created: Apr 8, 2025
Updated: Apr 17, 2025
SHA: 9eb64425

Model card

From the Hugging Face model README

mt5-base-b16-e16-lr2e-05-126k-jupyter

This model was trained from scratch on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.1282
Bleu: 29.9734
Gen Len Ratio: 0.5132

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Use OptimizerNames.ADAFACTOR and the args are: No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 16

Training results

Training Loss	Epoch	Step	Bleu	Gen Len Ratio	Validation Loss
3.4068	0.1269	1000	19.8938	0.5088	0.5614
0.6969	0.2538	2000	25.3888	0.5286	0.3989
0.5394	0.3808	3000	22.9054	0.4986	0.3492
0.4766	0.5077	4000	24.632	0.501	0.3090
0.4333	0.6346	5000	25.1567	0.5092	0.2878
0.4009	0.7615	6000	24.0914	0.4989	0.2654
0.3813	0.8884	7000	27.0927	0.5236	0.2573
0.3587	1.0154	8000	26.7169	0.5184	0.2445
0.3346	1.1423	9000	29.1919	0.537	0.2401
0.327	1.2692	10000	26.7764	0.5197	0.2247
0.3114	1.3961	11000	28.7105	0.5315	0.2219
0.3012	1.5230	12000	28.2877	0.525	0.2190
0.2974	1.6500	13000	28.9001	0.5321	0.2108
0.2906	1.7769	14000	28.3613	0.5284	0.2067
0.2834	1.9038	15000	28.741	0.5314	0.1979
0.2742	2.0307	16000	28.8078	0.5238	0.1979
0.2659	2.1576	17000	27.8199	0.5206	0.1936
0.2561	2.2846	18000	28.3171	0.5175	0.1919
0.2502	2.4115	19000	27.4552	0.5199	0.1873
0.2523	2.5384	20000	28.5047	0.5228	0.1825
0.2452	2.6653	21000	29.5037	0.5236	0.1847
0.245	2.7922	22000	29.3452	0.5219	0.1770
0.2374	2.9192	23000	29.4906	0.5208	0.1738
0.2374	3.0461	24000	29.1592	0.522	0.1746
0.2282	3.1730	25000	29.5952	0.5251	0.1732
0.2249	3.2999	26000	29.7108	0.5228	0.1705
0.2203	3.4268	27000	29.0651	0.5154	0.1686
0.2201	3.5538	28000	30.4303	0.52	0.1695
0.2198	3.6807	29000	30.2258	0.5183	0.1666
0.2161	3.8076	30000	30.2529	0.5204	0.1636
0.2106	3.9345	31000	30.3303	0.5173	0.1620
0.2113	4.0614	32000	30.232	0.5201	0.1623
0.2042	4.1883	33000	30.8617	0.5235	0.1596
0.2038	4.3153	34000	31.7858	0.5269	0.1602
0.2022	4.4422	35000	30.5924	0.5224	0.1566
0.2014	4.5691	36000	30.1609	0.5204	0.1562
0.1989	4.6960	37000	29.3546	0.5222	0.1559
0.1967	4.8229	38000	28.4237	0.5145	0.1523
0.1967	4.9499	39000	28.9459	0.5158	0.1550
0.1955	5.0768	40000	29.2348	0.515	0.1544
0.1901	5.2037	41000	28.89	0.519	0.1510
0.1865	5.3306	42000	28.3	0.5201	0.1511
0.1853	5.4575	43000	28.0106	0.5112	0.1507
0.1875	5.5845	44000	28.2388	0.5129	0.1497
0.1864	5.7114	45000	29.443	0.5176	0.1484
0.1847	5.8383	46000	28.0381	0.5096	0.1471
0.1811	5.9652	47000	30.9225	0.5242	0.1492
0.1766	6.0921	48000	31.3248	0.5235	0.1487
0.1768	6.2191	49000	29.0453	0.5161	0.1458
0.1751	6.3460	50000	29.9715	0.5198	0.1453
0.1754	6.4729	51000	30.2109	0.519	0.1440
0.1753	6.5998	52000	29.9616	0.5204	0.1464
0.1739	6.7267	53000	29.7413	0.5182	0.1443
0.1749	6.8537	54000	30.1923	0.5156	0.1413
0.1726	6.9806	55000	29.6086	0.5106	0.1434
0.1677	7.1075	56000	29.4329	0.513	0.1400
0.1641	7.2344	57000	31.02	0.5191	0.1436
0.1679	7.3613	58000	31.3592	0.5223	0.1416
0.1671	7.4883	59000	29.572	0.5138	0.1420
0.1649	7.6152	60000	30.7185	0.5199	0.1389
0.1663	7.7421	61000	30.0936	0.5142	0.1392
0.1647	7.8690	62000	30.306	0.5166	0.1378
0.1685	7.9959	63000	30.259	0.5167	0.1381
0.1606	8.1229	64000	29.9972	0.515	0.1383
0.1599	8.2498	65000	31.7946	0.5233	0.1389
0.1587	8.3767	66000	31.7521	0.5246	0.1374
0.159	8.5036	67000	30.4545	0.5186	0.1363
0.1596	8.6305	68000	30.4541	0.5168	0.1364
0.1583	8.7575	69000	30.2542	0.5186	0.1361
0.1583	8.8844	70000	31.193	0.5218	0.1363
0.16	9.0113	71000	31.2384	0.519	0.1341
0.1553	9.1382	72000	32.0327	0.5249	0.1365
0.1534	9.2651	73000	31.1618	0.5224	0.1350
0.1529	9.3921	74000	31.3704	0.5225	0.1364
0.1527	9.5190	75000	30.8162	0.5209	0.1333
0.1566	9.6459	76000	30.5296	0.5207	0.1344
0.1524	9.7728	77000	30.4184	0.5171	0.1359
0.1531	9.8997	78000	30.2275	0.516	0.1336
0.1501	10.0267	79000	31.4227	0.5197	0.1355
0.1506	10.1536	80000	31.1216	0.5184	0.1337
0.1489	10.2805	81000	30.5712	0.5157	0.1332
0.1496	10.4074	82000	30.0169	0.5158	0.1325
0.1488	10.5343	83000	30.3729	0.5178	0.1331
0.147	10.6613	84000	31.5107	0.5217	0.1346
0.1481	10.7882	85000	31.0383	0.5206	0.1319
0.1502	10.9151	86000	31.0345	0.5224	0.1322
0.1445	11.0420	87000	31.1584	0.5196	0.1316
0.1467	11.1689	88000	30.1572	0.5163	0.1317
0.1469	11.2958	89000	30.0981	0.5165	0.1309
0.144	11.4228	90000	30.1999	0.5163	0.1326
0.1432	11.5497	91000	30.1888	0.5161	0.1311
0.1436	11.6766	92000	30.212	0.5156	0.1308
0.1456	11.8035	93000	30.0961	0.514	0.1303
0.1433	11.9304	94000	30.4783	0.5184	0.1311
0.1432	12.0574	95000	30.0146	0.5155	0.1305
0.1431	12.1843	96000	29.9571	0.5125	0.1304
0.1421	12.3112	97000	30.172	0.5154	0.1309
0.1444	12.4381	98000	29.9704	0.5145	0.1304
0.1416	12.5650	99000	29.9264	0.5145	0.1305
0.143	12.6920	100000	29.6284	0.5135	0.1297
0.1421	12.8189	101000	29.393	0.5116	0.1306
0.1404	12.9458	102000	29.8764	0.5125	0.1311
0.14	13.0727	103000	29.5522	0.513	0.1288
0.1382	13.1996	104000	30.1934	0.515	0.1292
0.138	13.3266	105000	30.4467	0.5167	0.1296
0.1421	13.4535	106000	30.0406	0.5147	0.1293
0.1406	13.5804	107000	30.216	0.5151	0.1303
0.1384	13.7073	108000	30.2495	0.5146	0.1306
0.1385	13.8342	109000	30.1291	0.5137	0.1293
0.1408	13.9612	110000	30.1277	0.5141	0.1304
0.1379	14.0881	111000	30.0879	0.513	0.1294
0.1376	14.2150	112000	30.1087	0.5136	0.1300
0.138	14.3419	113000	29.9857	0.5132	0.1295
0.1374	14.4688	114000	30.1093	0.5149	0.1288
0.1363	14.5958	115000	29.9734	0.5132	0.1282
0.1388	14.7227	116000	29.9454	0.513	0.1290
0.1367	14.8496	117000	30.0361	0.5134	0.1292
0.1394	14.9765	118000	29.8757	0.5123	0.1291
0.1361	15.1034	119000	29.9772	0.513	0.1290
0.1375	15.2304	120000	29.8804	0.5127	0.1289
0.136	15.3573	121000	29.8483	0.5123	0.1283
0.1369	15.4842	122000	29.88	0.5129	0.1286
0.1367	15.6111	123000	29.7373	0.5123	0.1288
0.1386	15.7380	124000	29.81	0.5122	0.1289
0.1355	15.8650	125000	29.8854	0.5126	0.1291
0.1376	15.9919	126000	29.8695	0.5125	0.1289

Framework versions

Transformers 4.49.0
Pytorch 2.6.0+cu124
Datasets 3.4.1
Tokenizers 0.21.1

Library: transformers
Type: mt5
Created: Apr 8, 2025
Updated: Apr 17, 2025