my_awesome_billsum_model

Rachmaninofffff/my_awesome_billsum_model

my_awesome_billsum_model is a machine learning model from Rachmaninofffff. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers. The card lists the license as apache-2.0.

should probably proofread and complete it, then remove this comment. --

Downloads · 30 days

10% of all-time downloads

All-time downloads

Public

Parameters

60.5M

485 MB on disk

Likes

Public

Hugging Face

Repo makeup

Click a slice to open those files.

.safetensors242 MB · 99%

At a glance

Library: transformers
License: apache-2.0
Model type: t5
Access: Public
Created: Aug 11, 2025
Updated: Aug 11, 2025
SHA: cc8d0548

Base models

google-t5/t5-small

Model card

From the Hugging Face model README

my_awesome_billsum_model

This model is a fine-tuned version of google-t5/t5-small on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.4850
Rouge1: 0.1516
Rouge2: 0.0525
Rougel: 0.1235
Rougelsum: 0.1233
Gen Len: 20.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 4
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
4.6025	0.0323	2	4.3905	0.1451	0.0493	0.1214	0.1215	20.0
4.6391	0.0645	4	4.1843	0.1445	0.0485	0.1205	0.1205	20.0
4.6134	0.0968	6	4.0432	0.1452	0.0485	0.1203	0.1204	20.0
4.524	0.1290	8	3.9155	0.1449	0.0479	0.1202	0.1202	20.0
4.316	0.1613	10	3.7016	0.1457	0.0489	0.1209	0.1209	20.0
3.8839	0.1935	12	3.6427	0.1453	0.048	0.1207	0.1207	20.0
3.7073	0.2258	14	3.5389	0.143	0.0471	0.1191	0.1191	20.0
4.0213	0.2581	16	3.4424	0.1413	0.0449	0.1176	0.1176	20.0
3.6408	0.2903	18	3.3590	0.1417	0.0453	0.1177	0.1177	20.0
3.5079	0.3226	20	3.2958	0.142	0.0454	0.1179	0.1179	20.0
3.5459	0.3548	22	3.2398	0.1404	0.0442	0.1162	0.1161	20.0
3.6465	0.3871	24	3.1787	0.1399	0.0435	0.1158	0.1156	20.0
3.7268	0.4194	26	3.1386	0.1385	0.0424	0.1148	0.1146	20.0
3.4255	0.4516	28	3.1048	0.1384	0.0418	0.1149	0.1147	20.0
3.4005	0.4839	30	3.0698	0.1377	0.0414	0.1143	0.1141	20.0
3.2091	0.5161	32	3.0406	0.1372	0.0416	0.1135	0.1133	20.0
3.1051	0.5484	34	3.0139	0.1372	0.042	0.1138	0.1135	20.0
3.2501	0.5806	36	2.9853	0.1361	0.0407	0.1124	0.1121	20.0
3.163	0.6129	38	2.9594	0.1353	0.04	0.1117	0.1115	20.0
3.2925	0.6452	40	2.9367	0.1351	0.0408	0.1117	0.1114	20.0
3.2167	0.6774	42	2.9150	0.1337	0.0393	0.1108	0.1107	20.0
3.0087	0.7097	44	2.8946	0.1336	0.0395	0.1105	0.1104	20.0
3.1278	0.7419	46	2.8756	0.133	0.0395	0.1102	0.1102	20.0
3.0755	0.7742	48	2.8578	0.1333	0.0397	0.1106	0.1105	20.0
3.2294	0.8065	50	2.8412	0.1335	0.0394	0.1107	0.1105	20.0
3.0096	0.8387	52	2.8254	0.1334	0.039	0.1105	0.1105	20.0
3.0859	0.8710	54	2.8103	0.1325	0.039	0.1106	0.1105	20.0
2.9677	0.9032	56	2.7963	0.1325	0.0392	0.11	0.1098	20.0
3.0279	0.9355	58	2.7832	0.1311	0.0382	0.1091	0.1091	20.0
3.2149	0.9677	60	2.7704	0.13	0.0373	0.1081	0.108	20.0
2.9505	1.0	62	2.7582	0.1295	0.0358	0.1068	0.1066	20.0
2.9576	1.0323	64	2.7467	0.1312	0.0381	0.1084	0.1082	20.0
2.8689	1.0645	66	2.7359	0.1302	0.0372	0.1075	0.1074	20.0
2.9004	1.0968	68	2.7256	0.1302	0.0381	0.1073	0.1072	20.0
3.1511	1.1290	70	2.7158	0.1311	0.0389	0.1078	0.1076	20.0
3.0243	1.1613	72	2.7064	0.1317	0.0394	0.1088	0.1087	20.0
3.0784	1.1935	74	2.6971	0.1328	0.0404	0.1098	0.1097	20.0
2.9897	1.2258	76	2.6884	0.1338	0.0414	0.1106	0.1105	20.0
2.7283	1.2581	78	2.6803	0.1331	0.0409	0.11	0.1099	20.0
3.021	1.2903	80	2.6724	0.1345	0.0421	0.111	0.1108	20.0
3.1158	1.3226	82	2.6645	0.1347	0.0423	0.1109	0.1108	20.0
2.9694	1.3548	84	2.6570	0.1344	0.0419	0.1107	0.1106	20.0
2.8569	1.3871	86	2.6498	0.135	0.0419	0.1108	0.1108	20.0
2.9821	1.4194	88	2.6431	0.1344	0.0412	0.1107	0.1107	20.0
2.9598	1.4516	90	2.6366	0.1351	0.0415	0.111	0.111	20.0
3.0488	1.4839	92	2.6303	0.1357	0.0423	0.1113	0.1112	20.0
2.7617	1.5161	94	2.6244	0.1364	0.0429	0.1114	0.1113	20.0
2.9448	1.5484	96	2.6187	0.1366	0.0431	0.1121	0.1119	20.0
2.6405	1.5806	98	2.6133	0.1373	0.0434	0.1126	0.1123	20.0
3.0242	1.6129	100	2.6079	0.1374	0.0429	0.1129	0.1126	20.0
2.7386	1.6452	102	2.6030	0.1375	0.0431	0.1131	0.1129	20.0
2.9335	1.6774	104	2.5981	0.1381	0.0435	0.1133	0.1131	20.0
2.8766	1.7097	106	2.5933	0.1381	0.0433	0.1135	0.1133	20.0
2.9737	1.7419	108	2.5885	0.138	0.0424	0.113	0.1129	20.0
2.8178	1.7742	110	2.5839	0.1389	0.0443	0.114	0.114	20.0
2.7075	1.8065	112	2.5798	0.1386	0.0442	0.1138	0.1137	20.0
2.9053	1.8387	114	2.5758	0.139	0.0444	0.114	0.1139	20.0
2.8273	1.8710	116	2.5722	0.1393	0.0444	0.1142	0.1141	20.0
2.7953	1.9032	118	2.5688	0.1389	0.0443	0.1138	0.1137	20.0
2.8765	1.9355	120	2.5653	0.1395	0.044	0.114	0.1139	20.0
3.032	1.9677	122	2.5620	0.1399	0.0439	0.1144	0.1142	20.0
2.924	2.0	124	2.5587	0.1398	0.0429	0.1138	0.1136	20.0
2.7613	2.0323	126	2.5553	0.1423	0.0441	0.1155	0.1154	20.0
2.5683	2.0645	128	2.5524	0.1422	0.0438	0.1153	0.1153	20.0
2.9889	2.0968	130	2.5496	0.1435	0.0447	0.1161	0.1161	20.0
2.716	2.1290	132	2.5470	0.1434	0.0452	0.116	0.1159	20.0
2.7641	2.1613	134	2.5446	0.1436	0.0454	0.1162	0.116	20.0
2.7018	2.1935	136	2.5423	0.1445	0.0463	0.1168	0.1167	20.0
2.9242	2.2258	138	2.5399	0.1452	0.0473	0.118	0.1179	20.0
2.8682	2.2581	140	2.5375	0.1454	0.0477	0.1179	0.1178	20.0
2.9252	2.2903	142	2.5350	0.1445	0.0473	0.117	0.1169	20.0
2.7431	2.3226	144	2.5326	0.1451	0.0482	0.1172	0.1171	20.0
2.8954	2.3548	146	2.5301	0.1454	0.048	0.1174	0.1173	20.0
2.8551	2.3871	148	2.5276	0.1458	0.0482	0.1174	0.1173	20.0
2.8506	2.4194	150	2.5253	0.1458	0.0482	0.1174	0.1173	20.0
2.809	2.4516	152	2.5232	0.1464	0.0485	0.1176	0.1176	20.0
2.9892	2.4839	154	2.5212	0.1465	0.0483	0.1174	0.1173	20.0
2.7943	2.5161	156	2.5194	0.1476	0.0496	0.1187	0.1186	20.0
2.9091	2.5484	158	2.5177	0.1474	0.0489	0.1183	0.1182	20.0
2.7993	2.5806	160	2.5159	0.148	0.0493	0.1192	0.119	20.0
2.5604	2.6129	162	2.5144	0.1484	0.0501	0.1197	0.1194	20.0
2.6414	2.6452	164	2.5128	0.1483	0.0499	0.1195	0.1193	20.0
2.8139	2.6774	166	2.5114	0.1481	0.0497	0.1194	0.1192	20.0
2.5727	2.7097	168	2.5100	0.1479	0.0496	0.1194	0.1192	20.0
2.8696	2.7419	170	2.5086	0.1473	0.0491	0.1189	0.1187	20.0
2.5752	2.7742	172	2.5072	0.1475	0.0494	0.1192	0.1189	20.0
2.6993	2.8065	174	2.5061	0.1475	0.0494	0.1192	0.1189	20.0
2.9975	2.8387	176	2.5050	0.1471	0.0491	0.1189	0.1186	20.0
2.742	2.8710	178	2.5040	0.148	0.0497	0.1196	0.1194	20.0
2.9057	2.9032	180	2.5029	0.1484	0.05	0.12	0.1198	20.0
2.6459	2.9355	182	2.5019	0.1485	0.05	0.1203	0.12	20.0
2.8267	2.9677	184	2.5008	0.1482	0.0496	0.12	0.1198	20.0
2.8905	3.0	186	2.4999	0.1486	0.0501	0.1202	0.12	20.0
2.8097	3.0323	188	2.4989	0.149	0.0508	0.1206	0.1204	20.0
2.9053	3.0645	190	2.4979	0.1498	0.0509	0.1214	0.1213	20.0
2.6652	3.0968	192	2.4970	0.1498	0.0509	0.1214	0.1213	20.0
2.6554	3.1290	194	2.4961	0.1501	0.0511	0.1215	0.1214	20.0
2.7374	3.1613	196	2.4952	0.1498	0.0509	0.1214	0.1213	20.0
2.9662	3.1935	198	2.4943	0.15	0.0511	0.1215	0.1213	20.0
2.6848	3.2258	200	2.4936	0.15	0.0514	0.1215	0.1213	20.0
2.8112	3.2581	202	2.4929	0.1501	0.0515	0.1217	0.1215	20.0
3.1429	3.2903	204	2.4923	0.1502	0.0515	0.1216	0.1214	20.0
2.5538	3.3226	206	2.4917	0.1502	0.0515	0.1216	0.1214	20.0
2.783	3.3548	208	2.4911	0.1513	0.0524	0.1225	0.1223	20.0
2.6299	3.3871	210	2.4905	0.1513	0.0521	0.1224	0.1222	20.0
2.8	3.4194	212	2.4900	0.1508	0.0523	0.1224	0.1223	20.0
2.6194	3.4516	214	2.4895	0.1509	0.0523	0.1225	0.1224	20.0
2.6382	3.4839	216	2.4890	0.1509	0.0523	0.1225	0.1224	20.0
2.6625	3.5161	218	2.4886	0.1508	0.0522	0.1226	0.1225	20.0
2.583	3.5484	220	2.4882	0.1507	0.0522	0.1226	0.1225	20.0
2.9198	3.5806	222	2.4878	0.1506	0.0522	0.1225	0.1224	20.0
2.9293	3.6129	224	2.4875	0.151	0.0522	0.1229	0.1228	20.0
2.9123	3.6452	226	2.4871	0.1511	0.0525	0.1233	0.1231	20.0
2.6949	3.6774	228	2.4867	0.1508	0.0522	0.1228	0.1227	20.0
2.7701	3.7097	230	2.4864	0.1509	0.0522	0.1229	0.1228	20.0
2.584	3.7419	232	2.4861	0.1511	0.0524	0.1231	0.123	20.0
2.7498	3.7742	234	2.4859	0.1512	0.0522	0.123	0.1229	20.0
2.85	3.8065	236	2.4856	0.1515	0.0527	0.1236	0.1235	20.0
2.7835	3.8387	238	2.4855	0.1512	0.0524	0.1232	0.1231	20.0
2.7089	3.8710	240	2.4853	0.1513	0.0525	0.1234	0.1232	20.0
2.7233	3.9032	242	2.4852	0.1514	0.0525	0.1234	0.1232	20.0
2.653	3.9355	244	2.4851	0.1518	0.0526	0.1237	0.1235	20.0
2.7108	3.9677	246	2.4850	0.1519	0.0528	0.1238	0.1237	20.0
2.7351	4.0	248	2.4850	0.1516	0.0525	0.1235	0.1233	20.0

Framework versions

Transformers 4.55.0
Pytorch 2.6.0+cu124
Datasets 4.0.0
Tokenizers 0.21.4

Library: transformers
Type: t5
License: apache-2.0
Created: Aug 11, 2025
Updated: Aug 11, 2025