my_awesome_summary_comments_model

MathBart/my_awesome_summary_comments_model

my_awesome_summary_comments_model is a machine learning model from MathBart. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers. The card lists the license as apache-2.0.

should probably proofread and complete it, then remove this comment. --

Downloads · 30 days

3% of all-time downloads

All-time downloads

278

Public

Parameters

60.5M

29.3 GB on disk

Likes

Public

Hugging Face

Repo makeup

Click a slice to open those files.

.safetensors242 MB · 99%

At a glance

Library: transformers
License: apache-2.0
Model type: t5
Access: Public
Created: Feb 10, 2024
Updated: Feb 18, 2024
SHA: 3b484847

Base models

Model card

From the Hugging Face model README

my_awesome_summary_comments_model

This model is a fine-tuned version of t5-small on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.1630
Rouge1: 0.2925
Rouge2: 0.0932
Rougel: 0.2267
Rougelsum: 0.2267
Gen Len: 42.2205

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 4
eval_batch_size: 16
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 16
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 100
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
No log	1.0	173	0.2730	0.0	0.0	0.0	0.0	0.0
No log	2.0	347	0.2393	0.0	0.0	0.0	0.0	0.0
0.7591	3.0	520	0.2242	0.0528	0.0164	0.0415	0.0416	7.2291
0.7591	4.0	694	0.2160	0.2167	0.065	0.1656	0.1655	31.0418
0.7591	5.0	867	0.2108	0.2698	0.082	0.2064	0.2067	38.9496
0.2414	6.0	1041	0.2069	0.2798	0.0861	0.2151	0.2149	40.1513
0.2414	7.0	1214	0.2036	0.281	0.0866	0.218	0.218	40.6931
0.2414	8.0	1388	0.2006	0.286	0.0876	0.2211	0.2208	41.5821
0.2255	9.0	1561	0.1982	0.2855	0.0875	0.2212	0.221	41.072
0.2255	10.0	1735	0.1962	0.2848	0.0857	0.2207	0.2206	41.7349
0.2255	11.0	1908	0.1941	0.2838	0.0869	0.2197	0.2198	41.585
0.2154	12.0	2082	0.1922	0.286	0.0878	0.2212	0.2213	40.7176
0.2154	13.0	2255	0.1904	0.2887	0.0867	0.2211	0.2211	41.7637
0.2154	14.0	2429	0.1890	0.288	0.0858	0.2205	0.2206	42.0231
0.2091	15.0	2602	0.1875	0.2844	0.0837	0.2181	0.2181	42.1628
0.2091	16.0	2776	0.1863	0.2947	0.0913	0.2251	0.2252	42.1902
0.2091	17.0	2949	0.1852	0.2907	0.0884	0.2231	0.2233	41.9539
0.2029	18.0	3123	0.1841	0.2881	0.087	0.222	0.2218	42.5432
0.2029	19.0	3296	0.1830	0.2925	0.0904	0.225	0.2248	42.1527
0.2029	20.0	3470	0.1820	0.2913	0.0907	0.2252	0.2253	42.0504
0.1996	21.0	3643	0.1811	0.2953	0.0922	0.2271	0.2268	42.1888
0.1996	22.0	3817	0.1802	0.2867	0.087	0.2215	0.2214	42.8026
0.1996	23.0	3990	0.1795	0.2936	0.0916	0.2266	0.2266	42.1268
0.1948	24.0	4164	0.1787	0.2933	0.0919	0.2271	0.2272	41.9006
0.1948	25.0	4337	0.1779	0.2914	0.0892	0.2235	0.2233	42.683
0.1914	26.0	4511	0.1773	0.2916	0.0882	0.2235	0.2236	42.6902
0.1914	27.0	4684	0.1767	0.291	0.0882	0.2238	0.2238	42.804
0.1914	28.0	4858	0.1760	0.2959	0.0914	0.2267	0.2265	42.3372
0.1888	29.0	5031	0.1753	0.2895	0.0878	0.2218	0.2218	43.1772
0.1888	30.0	5205	0.1748	0.2959	0.0916	0.2285	0.2284	42.7464
0.1888	31.0	5378	0.1742	0.2946	0.0903	0.2265	0.2263	42.8862
0.1864	32.0	5552	0.1738	0.2927	0.0892	0.2242	0.2238	42.8559
0.1864	33.0	5725	0.1732	0.2936	0.0905	0.2265	0.2263	42.7536
0.1864	34.0	5899	0.1728	0.2943	0.0931	0.2275	0.2273	42.4135
0.1837	35.0	6072	0.1722	0.2978	0.0935	0.2289	0.229	42.2248
0.1837	36.0	6246	0.1719	0.294	0.0912	0.2264	0.2262	42.3948
0.1837	37.0	6419	0.1714	0.297	0.0929	0.2287	0.2283	42.6412
0.1823	38.0	6593	0.1711	0.2961	0.0944	0.2286	0.2283	42.098
0.1823	39.0	6766	0.1708	0.2963	0.0925	0.2265	0.2262	42.755
0.1823	40.0	6940	0.1704	0.2969	0.0935	0.2281	0.2279	42.8617
0.1792	41.0	7113	0.1700	0.2978	0.0933	0.228	0.2278	42.536
0.1792	42.0	7287	0.1698	0.2981	0.0943	0.2291	0.2289	42.7421
0.1792	43.0	7460	0.1694	0.2944	0.093	0.2271	0.227	42.4135
0.1786	44.0	7634	0.1691	0.2993	0.0965	0.2307	0.2304	42.536
0.1786	45.0	7807	0.1689	0.2962	0.0943	0.2274	0.2275	42.6282
0.1786	46.0	7981	0.1687	0.2947	0.0934	0.2272	0.2271	42.549
0.1764	47.0	8154	0.1683	0.2966	0.0945	0.2293	0.2293	42.3674
0.1764	48.0	8328	0.1681	0.2947	0.0951	0.2281	0.2282	42.1888
0.1755	49.0	8501	0.1678	0.291	0.0925	0.225	0.2248	42.0922
0.1755	50.0	8675	0.1675	0.2938	0.0923	0.2252	0.2251	42.8141
0.1755	51.0	8848	0.1674	0.2924	0.0925	0.2256	0.2254	42.098
0.1741	52.0	9022	0.1671	0.2949	0.0937	0.2268	0.2266	42.2853
0.1741	53.0	9195	0.1668	0.2934	0.0924	0.2257	0.2259	42.7305
0.1741	54.0	9369	0.1667	0.2922	0.0929	0.2263	0.226	41.9222
0.1727	55.0	9542	0.1664	0.2916	0.0919	0.2256	0.2255	42.6383
0.1727	56.0	9716	0.1664	0.2933	0.0932	0.2262	0.226	42.3444
0.1727	57.0	9889	0.1662	0.2911	0.0909	0.2257	0.2255	42.1427
0.1718	58.0	10063	0.1660	0.2932	0.0937	0.2284	0.2281	41.7968
0.1718	59.0	10236	0.1657	0.2938	0.0929	0.2274	0.2272	42.3991
0.1718	60.0	10410	0.1656	0.2933	0.0926	0.2261	0.2259	42.438
0.1706	61.0	10583	0.1654	0.2944	0.0947	0.2278	0.2278	42.2939
0.1706	62.0	10757	0.1653	0.2928	0.0926	0.2259	0.2257	42.2248
0.1706	63.0	10930	0.1652	0.2936	0.0936	0.2275	0.2273	42.0389
0.1689	64.0	11104	0.1650	0.2928	0.0931	0.2265	0.2264	42.1484
0.1689	65.0	11277	0.1649	0.2921	0.0914	0.2255	0.2254	42.8703
0.1689	66.0	11451	0.1649	0.2911	0.0909	0.2243	0.2243	42.5259
0.1698	67.0	11624	0.1648	0.2902	0.0908	0.2246	0.2243	42.1542
0.1698	68.0	11798	0.1646	0.2907	0.0919	0.2253	0.2253	42.5706
0.1698	69.0	11971	0.1644	0.2928	0.0919	0.2259	0.226	42.7651
0.1679	70.0	12145	0.1644	0.2926	0.0925	0.2269	0.2268	42.2392
0.1679	71.0	12318	0.1643	0.2934	0.093	0.2261	0.226	42.5865
0.1679	72.0	12492	0.1641	0.2931	0.0933	0.2255	0.2254	42.5432
0.1674	73.0	12665	0.1640	0.2927	0.0928	0.2263	0.2262	42.2277
0.1674	74.0	12839	0.1640	0.2917	0.0914	0.225	0.225	42.2176
0.1668	75.0	13012	0.1640	0.2911	0.0913	0.2228	0.2229	42.5648
0.1668	76.0	13186	0.1638	0.2935	0.0944	0.2277	0.2277	41.8804
0.1668	77.0	13359	0.1638	0.2943	0.094	0.2278	0.2276	42.0202
0.1664	78.0	13533	0.1637	0.293	0.0929	0.2266	0.2267	42.2378
0.1664	79.0	13706	0.1636	0.2914	0.0917	0.2253	0.2253	42.098
0.1664	80.0	13880	0.1636	0.2933	0.0928	0.2271	0.227	42.389
0.1656	81.0	14053	0.1634	0.2935	0.0928	0.2264	0.2263	42.4006
0.1656	82.0	14227	0.1635	0.2926	0.0919	0.2261	0.2258	42.1412
0.1656	83.0	14400	0.1634	0.2935	0.0928	0.2265	0.2263	42.353
0.1654	84.0	14574	0.1633	0.2935	0.0929	0.2269	0.2271	42.3372
0.1654	85.0	14747	0.1633	0.2918	0.0922	0.2263	0.2263	42.0749
0.1654	86.0	14921	0.1633	0.2918	0.092	0.2257	0.2259	42.2911
0.1651	87.0	15094	0.1632	0.2919	0.0928	0.2258	0.226	42.1398
0.1651	88.0	15268	0.1632	0.2914	0.0935	0.2266	0.2268	41.964
0.1651	89.0	15441	0.1631	0.2917	0.0928	0.2267	0.2267	42.1499
0.1648	90.0	15615	0.1631	0.293	0.0932	0.2264	0.2265	42.2752
0.1648	91.0	15788	0.1631	0.2923	0.0932	0.2266	0.2268	42.2219
0.1648	92.0	15962	0.1631	0.2936	0.0947	0.2278	0.228	42.1744
0.1652	93.0	16135	0.1631	0.2932	0.0938	0.227	0.227	42.3948
0.1652	94.0	16309	0.1631	0.2938	0.0939	0.2275	0.2275	42.3977
0.1652	95.0	16482	0.1631	0.2921	0.0931	0.2264	0.2265	42.281
0.1641	96.0	16656	0.1630	0.2921	0.0928	0.2262	0.2263	42.268
0.1641	97.0	16829	0.1630	0.2919	0.0933	0.2263	0.2264	42.255
0.1643	98.0	17003	0.1630	0.2927	0.0931	0.2267	0.2267	42.2795
0.1643	99.0	17176	0.1630	0.2927	0.0934	0.2268	0.2269	42.245
0.1643	99.71	17300	0.1630	0.2925	0.0932	0.2267	0.2267	42.2205

Framework versions

Transformers 4.35.2
Pytorch 2.1.0+cu121
Datasets 2.17.0
Tokenizers 0.15.2

Library: transformers
Type: t5
License: apache-2.0
Created: Feb 10, 2024
Updated: Feb 18, 2024