Public100_1L_BERT_20epoch_notweettokenizer

Youssef320/Public100_1L_BERT_20epoch_notweettokenizer

Public100_1L_BERT_20epoch_notweettokenizer is a text classification model from Youssef320. Use it when you need a label for a piece of text. It is set up for transformers.

should probably proofread and complete it, then remove this comment. --

Downloads · 30 days

1% of all-time downloads

All-time downloads

652

Public

Repo size

7.5 GB

Likes

Public

Hugging Face

Repo makeup

Click a slice to open those files.

.bin46.6 MB · 97%

At a glance

Task: Text Classification
Library: transformers
Model type: bert
Access: Public
Created: Sep 6, 2023
Updated: Sep 11, 2023
SHA: d8db4564

Try a prompt

Model card

From the Hugging Face model README

Public100_1L_BERT_20epoch_notweettokenizer

This model is a fine-tuned version of Youssef320/LSTM-finetuned-50label-15epoch on the None dataset. It achieves the following results on the evaluation set:

Loss: 3.5924
Top 1 Macro F1 Score: 0.1416
Top 1 Weighted F1score: 0.1916
Top 3 Macro F1 Score: 0.2701
Top3 3 Weighted F1 Score : 0.3431

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0002
train_batch_size: 64
eval_batch_size: 64
seed: 42
gradient_accumulation_steps: 32
total_train_batch_size: 2048
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: constant
num_epochs: 20.0

Training results

Training Loss	Epoch	Step	Validation Loss	Top 1 Macro F1 Score	Top 1 Weighted F1score	Top 3 Macro F1 Score	Top3 3 Weighted F1 Score
3.9476	0.12	64	3.8956	0.0154	0.0435	0.0778	0.1518
3.7671	0.25	128	3.7204	0.0321	0.0730	0.1125	0.1998
3.6435	0.38	192	3.6285	0.0470	0.0933	0.1347	0.2295
3.6113	0.5	256	3.5790	0.0511	0.1013	0.1452	0.2450
3.5837	0.62	320	3.5457	0.0557	0.1080	0.1501	0.2515
3.5886	0.75	384	3.5189	0.0630	0.1166	0.1633	0.2631
3.5612	0.88	448	3.5018	0.0665	0.1207	0.1666	0.2677
3.5261	1.0	512	3.4790	0.0710	0.1259	0.1736	0.2763
3.4758	1.12	576	3.4725	0.0734	0.1287	0.1763	0.2780
3.4484	1.25	640	3.4608	0.0761	0.1318	0.1776	0.2808
3.4559	1.38	704	3.4483	0.0800	0.1357	0.1827	0.2846
3.4483	1.5	768	3.4403	0.0790	0.1340	0.1831	0.2839
3.4488	1.62	832	3.4306	0.0833	0.1394	0.1888	0.2917
3.4398	1.75	896	3.4241	0.0825	0.1383	0.1880	0.2908
3.4068	1.88	960	3.4159	0.0807	0.1364	0.1890	0.2898
3.4246	2.0	1024	3.4081	0.0864	0.1426	0.1965	0.2976
3.3525	2.12	1088	3.4119	0.0897	0.1473	0.1990	0.3016
3.3207	2.25	1152	3.4120	0.0882	0.1445	0.1986	0.2991
3.3495	2.38	1216	3.4062	0.0896	0.1460	0.1993	0.2999
3.3679	2.5	1280	3.3947	0.0922	0.1489	0.2028	0.3023
3.3537	2.62	1344	3.3908	0.0919	0.1484	0.2050	0.3043
3.3593	2.75	1408	3.3848	0.0938	0.1514	0.2056	0.3066
3.3545	2.88	1472	3.3797	0.0931	0.1506	0.2057	0.3042
3.3591	3.0	1536	3.3719	0.0960	0.1534	0.2087	0.3105
3.2401	3.12	1600	3.3882	0.0976	0.1548	0.2111	0.3093
3.2436	3.25	1664	3.3915	0.0966	0.1532	0.2081	0.3081
3.2566	3.38	1728	3.3859	0.0966	0.1529	0.2111	0.3076
3.284	3.5	1792	3.3851	0.0979	0.1543	0.2144	0.3104
3.2874	3.62	1856	3.3747	0.0997	0.1577	0.2164	0.3130
3.2583	3.75	1920	3.3705	0.0975	0.1543	0.2135	0.3101
3.2894	3.88	1984	3.3630	0.0993	0.1558	0.2168	0.3125
3.2938	4.0	2048	3.3581	0.1002	0.1579	0.2194	0.3163
3.1876	4.12	2112	3.3837	0.1020	0.1606	0.2183	0.3148
3.1862	4.25	2176	3.3821	0.1006	0.1578	0.2167	0.3124
3.2146	4.38	2240	3.3766	0.0999	0.1571	0.2203	0.3142
3.2184	4.5	2304	3.3691	0.1039	0.1603	0.2236	0.3181
3.1851	4.62	2368	3.3677	0.1007	0.1584	0.2207	0.3144
3.2276	4.75	2432	3.3640	0.1044	0.1631	0.2242	0.3185
3.2099	4.88	2496	3.3576	0.1057	0.1615	0.2293	0.3186
3.2162	5.0	2560	3.3523	0.1071	0.1635	0.2296	0.3223
3.1196	5.12	2624	3.3784	0.1082	0.1649	0.2268	0.3204
3.1171	5.25	2688	3.3842	0.1061	0.1629	0.2270	0.3189
3.1548	5.38	2752	3.3796	0.1066	0.1630	0.2293	0.3198
3.1555	5.5	2816	3.3660	0.1093	0.1659	0.2295	0.3223
3.151	5.62	2880	3.3707	0.1078	0.1646	0.2242	0.3195
3.1547	5.75	2944	3.3622	0.1079	0.1639	0.2310	0.3212
3.1672	5.88	3008	3.3592	0.1090	0.1658	0.2316	0.3224
3.1675	6.0	3072	3.3489	0.1110	0.1668	0.2320	0.3243
3.0247	6.12	3136	3.3832	0.1111	0.1656	0.2320	0.3214
3.0598	6.25	3200	3.3871	0.1089	0.1672	0.2330	0.3224
3.0756	6.38	3264	3.3814	0.1070	0.1648	0.2309	0.3214
3.0705	6.5	3328	3.3747	0.1123	0.1675	0.2343	0.3235
3.1081	6.62	3392	3.3693	0.1138	0.1686	0.2328	0.3239
3.1071	6.75	3456	3.3693	0.1144	0.1688	0.2373	0.3253
3.0873	6.88	3520	3.3653	0.1134	0.1686	0.2391	0.3255
3.0756	7.0	3584	3.3604	0.1135	0.1691	0.2368	0.3260
2.9902	7.12	3648	3.3951	0.1159	0.1685	0.2380	0.3237
2.9916	7.25	3712	3.3906	0.1171	0.1705	0.2385	0.3263
2.9935	7.38	3776	3.3849	0.1159	0.1700	0.2390	0.3258
3.0519	7.5	3840	3.3888	0.1149	0.1694	0.2372	0.3249
3.0453	7.62	3904	3.3777	0.1156	0.1697	0.2378	0.3256
3.0489	7.75	3968	3.3689	0.1180	0.1725	0.2381	0.3281
3.0915	7.88	4032	3.3688	0.1176	0.1710	0.2422	0.3284
3.068	8.0	4096	3.3630	0.1196	0.1737	0.2440	0.3311
2.936	8.12	4160	3.4107	0.1174	0.1718	0.2414	0.3276
2.9538	8.25	4224	3.4067	0.1194	0.1725	0.2418	0.3271
2.9462	8.38	4288	3.4039	0.1177	0.1736	0.2406	0.3275
2.9749	8.5	4352	3.3934	0.1187	0.1739	0.2426	0.3286
2.9765	8.62	4416	3.3843	0.1197	0.1739	0.2432	0.3296
3.0085	8.75	4480	3.3747	0.1191	0.1741	0.2425	0.3304
3.011	8.88	4544	3.3753	0.1197	0.1742	0.2421	0.3306
3.0206	9.0	4608	3.3720	0.1207	0.1744	0.2445	0.3307
2.8646	9.12	4672	3.4271	0.1209	0.1736	0.2459	0.3280
2.901	9.25	4736	3.4206	0.1208	0.1743	0.2458	0.3288
2.9068	9.38	4800	3.4083	0.1210	0.1756	0.2453	0.3305
2.9034	9.5	4864	3.4071	0.1226	0.1753	0.2471	0.3307
2.9234	9.62	4928	3.4125	0.1232	0.1754	0.2483	0.3307
2.9476	9.75	4992	3.3911	0.1232	0.1759	0.2499	0.3324
2.9721	9.88	5056	3.3894	0.1224	0.1750	0.2500	0.3323
2.9635	10.0	5120	3.3853	0.1232	0.1757	0.2473	0.3319
2.8175	10.12	5184	3.4355	0.1234	0.1752	0.2482	0.3302
2.8413	10.25	5248	3.4343	0.1252	0.1776	0.2516	0.3321
2.8334	10.38	5312	3.4430	0.1260	0.1769	0.2509	0.3312
2.8687	10.5	5376	3.4307	0.1240	0.1763	0.2467	0.3298
2.8712	10.62	5440	3.4227	0.1254	0.1777	0.2519	0.3330
2.932	10.75	5504	3.4023	0.1244	0.1791	0.2523	0.3353
2.9086	10.88	5568	3.4013	0.1260	0.1791	0.2505	0.3344
2.9175	11.0	5632	3.4031	0.1241	0.1773	0.2509	0.3337
2.7496	11.12	5696	3.4659	0.1259	0.1777	0.2528	0.3319
2.789	11.25	5760	3.4639	0.1271	0.1779	0.2540	0.3319
2.8063	11.38	5824	3.4506	0.1241	0.1773	0.2534	0.3320
2.8347	11.5	5888	3.4467	0.1257	0.1783	0.2548	0.3333
2.86	11.62	5952	3.4319	0.1261	0.1784	0.2533	0.3341
2.8587	11.75	6016	3.4353	0.1292	0.1805	0.2573	0.3355
2.8614	11.88	6080	3.4346	0.1271	0.1804	0.2548	0.3361
2.8685	12.0	6144	3.4163	0.1284	0.1810	0.2558	0.3361
2.7086	12.12	6208	3.4749	0.1299	0.1812	0.2554	0.3351
2.7243	12.25	6272	3.4758	0.1309	0.1802	0.2575	0.3341
2.7587	12.38	6336	3.4686	0.1269	0.1793	0.2553	0.3340
2.7425	12.5	6400	3.4612	0.1297	0.1800	0.2565	0.3341
2.8271	12.62	6464	3.4618	0.1310	0.1806	0.2578	0.3343
2.8029	12.75	6528	3.4484	0.1318	0.1821	0.2596	0.3362
2.7919	12.88	6592	3.4504	0.1277	0.1797	0.2540	0.3347
2.8563	13.0	6656	3.4359	0.1302	0.1827	0.2576	0.3373
2.64	13.12	6720	3.5101	0.1317	0.1816	0.2598	0.3350
2.6662	13.25	6784	3.5056	0.1319	0.1822	0.2585	0.3347
2.6846	13.38	6848	3.5022	0.1319	0.1824	0.2586	0.3355
2.7247	13.5	6912	3.4979	0.1308	0.1819	0.2575	0.3342
2.765	13.62	6976	3.4800	0.1308	0.1820	0.2592	0.3362
2.7755	13.75	7040	3.4690	0.1319	0.1835	0.2614	0.3385
2.7942	13.88	7104	3.4701	0.1307	0.1834	0.2596	0.3382
2.7924	14.0	7168	3.4530	0.1315	0.1833	0.2612	0.3384
2.629	14.12	7232	3.5201	0.1325	0.1843	0.2576	0.3369
2.6385	14.25	7296	3.5230	0.1319	0.1830	0.2605	0.3366
2.6686	14.38	7360	3.5289	0.1350	0.1833	0.2611	0.3360
2.6554	14.5	7424	3.5077	0.1330	0.1834	0.2615	0.3359
2.6983	14.62	7488	3.5098	0.1341	0.1838	0.2624	0.3372
2.7053	14.75	7552	3.4997	0.1337	0.1850	0.2643	0.3391
2.7072	14.88	7616	3.4865	0.1326	0.1831	0.2622	0.3385
2.7289	15.0	7680	3.4797	0.1315	0.1832	0.2607	0.3382
2.5489	15.12	7744	3.5449	0.1321	0.1831	0.2605	0.3354
2.5588	15.25	7808	3.5659	0.1327	0.1844	0.2621	0.3368
2.6278	15.38	7872	3.5455	0.1345	0.1856	0.2609	0.3372
2.6577	15.5	7936	3.5211	0.1356	0.1858	0.2627	0.3392
2.6756	15.62	8000	3.5211	0.1345	0.1849	0.2624	0.3386
2.6792	15.75	8064	3.5099	0.1349	0.1860	0.2636	0.3387
2.7076	15.88	8128	3.5140	0.1364	0.1864	0.2663	0.3394
2.6966	16.0	8192	3.5095	0.1363	0.1872	0.2660	0.3412
2.5254	16.12	8256	3.5661	0.1326	0.1850	0.2626	0.3374
2.5661	16.25	8320	3.5637	0.1341	0.1862	0.2618	0.3377
2.6016	16.38	8384	3.5735	0.1349	0.1860	0.2646	0.3384
2.599	16.5	8448	3.5743	0.1361	0.1870	0.2660	0.3396
2.5939	16.62	8512	3.5511	0.1354	0.1849	0.2665	0.3389
2.6532	16.75	8576	3.5462	0.1362	0.1868	0.2660	0.3401
2.6507	16.88	8640	3.5305	0.1354	0.1867	0.2661	0.3405
2.6816	17.0	8704	3.5186	0.1371	0.1883	0.2682	0.3427
2.5029	17.12	8768	3.5992	0.1370	0.1865	0.2662	0.3386
2.5321	17.25	8832	3.5813	0.1359	0.1873	0.2647	0.3390
2.5431	17.38	8896	3.6024	0.1378	0.1869	0.2675	0.3396
2.5516	17.5	8960	3.5993	0.1362	0.1863	0.2676	0.3386
2.5854	17.62	9024	3.5717	0.1359	0.1875	0.2644	0.3398
2.6053	17.75	9088	3.5717	0.1361	0.1875	0.2660	0.3402
2.5922	17.88	9152	3.5571	0.1374	0.1889	0.2671	0.3417
2.6054	18.0	9216	3.5500	0.1385	0.1893	0.2680	0.3419
2.4719	18.12	9280	3.6322	0.1388	0.1885	0.2681	0.3392
2.5108	18.25	9344	3.6259	0.1382	0.1876	0.2689	0.3384
2.5403	18.38	9408	3.6152	0.1387	0.1889	0.2684	0.3408
2.5282	18.5	9472	3.6076	0.1384	0.1905	0.2686	0.3425
2.5471	18.62	9536	3.5930	0.1388	0.1895	0.2693	0.3417
2.5404	18.75	9600	3.6039	0.1386	0.1905	0.2686	0.3426
2.5889	18.88	9664	3.5814	0.1393	0.1890	0.2681	0.3420
2.6072	19.0	9728	3.5757	0.1405	0.1915	0.2694	0.3436
2.4302	19.12	9792	3.6515	0.1404	0.1893	0.2675	0.3399
2.4458	19.25	9856	3.6381	0.1398	0.1892	0.2679	0.3407
2.4839	19.38	9920	3.6380	0.1407	0.1903	0.2698	0.3413
2.4615	19.5	9984	3.6431	0.1416	0.1909	0.2699	0.3422
2.5243	19.62	10048	3.6180	0.1400	0.1891	0.2709	0.3408
2.4949	19.75	10112	3.6116	0.1387	0.1899	0.2685	0.3421
2.5115	19.88	10176	3.6154	0.1404	0.1900	0.2711	0.3428
2.5604	20.0	10240	3.5924	0.1416	0.1916	0.2701	0.3431

Framework versions

Transformers 4.20.1
Pytorch 1.12.1+cu102
Datasets 2.0.0
Tokenizers 0.11.0

Task: Text Classification
Library: transformers
Type: bert
Created: Sep 6, 2023
Updated: Sep 11, 2023