beto-finetuned-token-reqadjinsiders

mnavas/beto-finetuned-token-reqadjinsiders

beto-finetuned-token-reqadjinsiders is a token classification model from mnavas. Use it when you need labels on individual words, such as names. It is set up for transformers.

should probably proofread and complete it, then remove this comment. --

Downloads · 30 days

8% of all-time downloads

All-time downloads

318

Public

Repo size

54.2 GB

Likes

Public

Hugging Face

Repo makeup

Click a slice to open those files.

.bin437 MB · 100%

At a glance

Task: Token Classification
Library: transformers
Model type: bert
Access: Public
Created: Jun 7, 2023
Updated: Jun 8, 2023
SHA: ee7b0a0a

Try a prompt

Model card

From the Hugging Face model README

beto-finetuned-token-reqadjinsiders

This model is a fine-tuned version of dccuchile/bert-base-spanish-wwm-cased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.7385
Precision: 0.0833
Recall: 0.1
F1: 0.0909
Accuracy: 0.9092

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 200

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.5869	1.0	10	0.4001	0.0	0.0	0.0	0.8196
0.2986	2.0	20	0.4095	0.0	0.0	0.0	0.8876
0.2215	3.0	30	0.3336	0.0	0.0	0.0	0.8643
0.1356	4.0	40	0.3362	0.0	0.0	0.0	0.8954
0.0717	5.0	50	0.3489	0.0	0.0	0.0	0.8987
0.0424	6.0	60	0.4066	0.0	0.0	0.0	0.9044
0.0301	7.0	70	0.3172	0.0741	0.1	0.0851	0.9227
0.0191	8.0	80	0.5007	0.0435	0.05	0.0465	0.9050
0.0155	9.0	90	0.5146	0.1	0.05	0.0667	0.9133
0.0174	10.0	100	0.3293	0.0465	0.1	0.0635	0.9122
0.0113	11.0	110	0.4793	0.0714	0.1	0.0833	0.9179
0.0136	12.0	120	0.4758	0.1905	0.2	0.1951	0.9259
0.0095	13.0	130	0.3407	0.0571	0.1	0.0727	0.9231
0.0113	14.0	140	0.3864	0.0833	0.1	0.0909	0.9076
0.0036	15.0	150	0.4718	0.0741	0.1	0.0851	0.9096
0.0036	16.0	160	0.5261	0.0882	0.15	0.1111	0.8965
0.0021	17.0	170	0.6655	0.0417	0.05	0.0455	0.8902
0.0033	18.0	180	0.5417	0.1212	0.2	0.1509	0.9054
0.0023	19.0	190	0.6521	0.1111	0.1	0.1053	0.9083
0.0021	20.0	200	0.4450	0.0909	0.15	0.1132	0.9214
0.0038	21.0	210	0.5652	0.1429	0.1	0.1176	0.9194
0.0088	22.0	220	0.5791	0.0833	0.1	0.0909	0.8874
0.0036	23.0	230	0.4630	0.1034	0.15	0.1224	0.9063
0.003	24.0	240	0.5352	0.12	0.15	0.1333	0.9144
0.0028	25.0	250	0.5582	0.1111	0.1	0.1053	0.9107
0.0016	26.0	260	0.6038	0.075	0.15	0.1	0.9009
0.0024	27.0	270	0.5846	0.0909	0.1	0.0952	0.9124
0.0011	28.0	280	0.5600	0.125	0.15	0.1364	0.8993
0.0007	29.0	290	0.5614	0.0938	0.15	0.1154	0.8954
0.0006	30.0	300	0.5480	0.1176	0.1	0.1081	0.9129
0.006	31.0	310	0.5170	0.1176	0.2	0.1481	0.9039
0.0012	32.0	320	0.5699	0.0769	0.05	0.0606	0.8961
0.0004	33.0	330	0.6046	0.0476	0.05	0.0488	0.8928
0.0002	34.0	340	0.6708	0.0556	0.05	0.0526	0.8919
0.0001	35.0	350	0.7087	0.0435	0.05	0.0465	0.8948
0.0002	36.0	360	0.7225	0.05	0.05	0.0500	0.8976
0.0	37.0	370	0.7294	0.0435	0.05	0.0465	0.8985
0.0003	38.0	380	0.7182	0.0370	0.05	0.0426	0.9026
0.0002	39.0	390	0.7298	0.05	0.05	0.0500	0.9061
0.0003	40.0	400	0.7313	0.0588	0.05	0.0541	0.9068
0.0	41.0	410	0.7412	0.0526	0.05	0.0513	0.9068
0.0	42.0	420	0.7447	0.0556	0.05	0.0526	0.9068
0.0	43.0	430	0.7465	0.0588	0.05	0.0541	0.9076
0.0	44.0	440	0.7500	0.0455	0.05	0.0476	0.9070
0.0	45.0	450	0.7525	0.0435	0.05	0.0465	0.9065
0.0002	46.0	460	0.7540	0.0476	0.05	0.0488	0.9068
0.0003	47.0	470	0.7422	0.0455	0.05	0.0476	0.9068
0.0	48.0	480	0.7378	0.0435	0.05	0.0465	0.9070
0.0	49.0	490	0.7384	0.0417	0.05	0.0455	0.9068
0.0	50.0	500	0.7414	0.0455	0.05	0.0476	0.9070
0.0	51.0	510	0.7446	0.0455	0.05	0.0476	0.9070
0.0	52.0	520	0.7432	0.0385	0.05	0.0435	0.9061
0.0003	53.0	530	0.7474	0.0417	0.05	0.0455	0.9065
0.0002	54.0	540	0.7513	0.04	0.05	0.0444	0.9068
0.0	55.0	550	0.7505	0.0455	0.05	0.0476	0.9076
0.0003	56.0	560	0.7419	0.0417	0.05	0.0455	0.9072
0.0	57.0	570	0.7352	0.04	0.05	0.0444	0.9070
0.0	58.0	580	0.7330	0.04	0.05	0.0444	0.9068
0.0	59.0	590	0.7330	0.04	0.05	0.0444	0.9063
0.0	60.0	600	0.7343	0.04	0.05	0.0444	0.9061
0.0	61.0	610	0.7370	0.0385	0.05	0.0435	0.9063
0.0003	62.0	620	0.7303	0.04	0.05	0.0444	0.9063
0.0	63.0	630	0.7275	0.04	0.05	0.0444	0.9059
0.0	64.0	640	0.7283	0.04	0.05	0.0444	0.9057
0.0	65.0	650	0.7312	0.04	0.05	0.0444	0.9059
0.0002	66.0	660	0.7243	0.0345	0.05	0.0408	0.9074
0.0001	67.0	670	0.7195	0.05	0.05	0.0500	0.9081
0.0001	68.0	680	0.7350	0.0714	0.05	0.0588	0.9061
0.0001	69.0	690	0.7750	0.0625	0.05	0.0556	0.9061
0.0005	70.0	700	0.6559	0.0571	0.1	0.0727	0.9031
0.0003	71.0	710	0.6497	0.0385	0.05	0.0435	0.9131
0.0002	72.0	720	0.6621	0.0588	0.05	0.0541	0.9133
0.0007	73.0	730	0.6093	0.0741	0.1	0.0851	0.9126
0.0004	74.0	740	0.6184	0.0909	0.1	0.0952	0.9135
0.0005	75.0	750	0.5911	0.0952	0.1	0.0976	0.9142
0.0001	76.0	760	0.5567	0.0625	0.1	0.0769	0.9102
0.0002	77.0	770	0.5670	0.0571	0.1	0.0727	0.9096
0.0002	78.0	780	0.5940	0.0588	0.1	0.0741	0.9129
0.0001	79.0	790	0.6299	0.0455	0.05	0.0476	0.9139
0.0	80.0	800	0.6449	0.0455	0.05	0.0476	0.9135
0.0	81.0	810	0.6519	0.0417	0.05	0.0455	0.9131
0.0002	82.0	820	0.6378	0.0690	0.1	0.0816	0.9118
0.0	83.0	830	0.6267	0.0588	0.1	0.0741	0.9046
0.0004	84.0	840	0.6174	0.0625	0.1	0.0769	0.9065
0.0002	85.0	850	0.6174	0.0714	0.1	0.0833	0.9124
0.0001	86.0	860	0.6225	0.0909	0.1	0.0952	0.9135
0.0001	87.0	870	0.6384	0.0526	0.05	0.0513	0.9144
0.0	88.0	880	0.6604	0.0625	0.05	0.0556	0.9139
0.0	89.0	890	0.6694	0.0625	0.05	0.0556	0.9137
0.0	90.0	900	0.6711	0.0588	0.05	0.0541	0.9133
0.0001	91.0	910	0.6526	0.0435	0.05	0.0465	0.9124
0.0	92.0	920	0.6450	0.0417	0.05	0.0455	0.9124
0.0002	93.0	930	0.6504	0.0417	0.05	0.0455	0.9113
0.0	94.0	940	0.6711	0.0455	0.05	0.0476	0.9118
0.0	95.0	950	0.6789	0.0417	0.05	0.0455	0.9118
0.0	96.0	960	0.6828	0.0476	0.05	0.0488	0.9111
0.0	97.0	970	0.6863	0.0455	0.05	0.0476	0.9111
0.0001	98.0	980	0.6811	0.04	0.05	0.0444	0.9115
0.0	99.0	990	0.6787	0.0833	0.1	0.0909	0.9133
0.0001	100.0	1000	0.6914	0.0476	0.05	0.0488	0.9120
0.0	101.0	1010	0.7028	0.0588	0.05	0.0541	0.9118
0.0	102.0	1020	0.7089	0.0556	0.05	0.0526	0.9109
0.0	103.0	1030	0.7152	0.0588	0.05	0.0541	0.9111
0.0	104.0	1040	0.7151	0.0625	0.05	0.0556	0.9107
0.0	105.0	1050	0.7126	0.0556	0.05	0.0526	0.9105
0.0	106.0	1060	0.7065	0.0526	0.05	0.0513	0.9094
0.0002	107.0	1070	0.7154	0.05	0.05	0.0500	0.9089
0.0001	108.0	1080	0.6777	0.12	0.15	0.1333	0.9078
0.0	109.0	1090	0.6683	0.1	0.15	0.12	0.9074
0.0001	110.0	1100	0.6622	0.0909	0.15	0.1132	0.9070
0.0003	111.0	1110	0.6750	0.08	0.1	0.0889	0.9057
0.0001	112.0	1120	0.7000	0.1053	0.1	0.1026	0.9061
0.0001	113.0	1130	0.7136	0.1053	0.1	0.1026	0.9046
0.0001	114.0	1140	0.7234	0.1	0.1	0.1000	0.9037
0.0	115.0	1150	0.7643	0.0870	0.1	0.0930	0.8998
0.0001	116.0	1160	0.7801	0.0769	0.1	0.0870	0.9002
0.0	117.0	1170	0.7872	0.0769	0.1	0.0870	0.9009
0.0003	118.0	1180	0.7597	0.0690	0.1	0.0816	0.8983
0.0002	119.0	1190	0.7564	0.0606	0.1	0.0755	0.8989
0.0	120.0	1200	0.7558	0.0606	0.1	0.0755	0.8998
0.0	121.0	1210	0.7566	0.0625	0.1	0.0769	0.9002
0.0	122.0	1220	0.7579	0.0606	0.1	0.0755	0.8991
0.0	123.0	1230	0.7603	0.0606	0.1	0.0755	0.8989
0.0	124.0	1240	0.7626	0.0667	0.1	0.08	0.8980
0.0	125.0	1250	0.7645	0.0690	0.1	0.0816	0.8980
0.0	126.0	1260	0.7666	0.0625	0.1	0.0769	0.8978
0.0	127.0	1270	0.7689	0.0645	0.1	0.0784	0.8976
0.0	128.0	1280	0.7707	0.0645	0.1	0.0784	0.8974
0.0	129.0	1290	0.7718	0.0645	0.1	0.0784	0.8967
0.0	130.0	1300	0.7730	0.0606	0.1	0.0755	0.8976
0.0	131.0	1310	0.7738	0.0606	0.1	0.0755	0.8989
0.0003	132.0	1320	0.7744	0.0588	0.1	0.0741	0.9002
0.0	133.0	1330	0.7762	0.0606	0.1	0.0755	0.9013
0.0	134.0	1340	0.7784	0.0606	0.1	0.0755	0.9037
0.0	135.0	1350	0.7798	0.0667	0.1	0.08	0.9048
0.0002	136.0	1360	0.7357	0.0588	0.1	0.0741	0.9002
0.0002	137.0	1370	0.6891	0.08	0.1	0.0889	0.9
0.0001	138.0	1380	0.6732	0.0769	0.1	0.0870	0.9065
0.0001	139.0	1390	0.6808	0.0870	0.1	0.0930	0.9096
0.0	140.0	1400	0.6845	0.0833	0.1	0.0909	0.9098
0.0	141.0	1410	0.6880	0.0870	0.1	0.0930	0.9096
0.0	142.0	1420	0.6915	0.0870	0.1	0.0930	0.9096
0.0	143.0	1430	0.6945	0.08	0.1	0.0889	0.9096
0.0	144.0	1440	0.6966	0.0769	0.1	0.0870	0.9094
0.0	145.0	1450	0.6986	0.0909	0.1	0.0952	0.9109
0.0	146.0	1460	0.7015	0.0952	0.1	0.0976	0.9109
0.0	147.0	1470	0.7036	0.1	0.1	0.1000	0.9113
0.0	148.0	1480	0.7054	0.1	0.1	0.1000	0.9113
0.0	149.0	1490	0.7078	0.1	0.1	0.1000	0.9113
0.0	150.0	1500	0.7091	0.1	0.1	0.1000	0.9113
0.0	151.0	1510	0.7111	0.1	0.1	0.1000	0.9113
0.0	152.0	1520	0.7127	0.1	0.1	0.1000	0.9113
0.0	153.0	1530	0.7141	0.1	0.1	0.1000	0.9113
0.0	154.0	1540	0.7160	0.1	0.1	0.1000	0.9113
0.0	155.0	1550	0.7191	0.1053	0.1	0.1026	0.9109
0.0	156.0	1560	0.7205	0.1053	0.1	0.1026	0.9109
0.0	157.0	1570	0.7217	0.1053	0.1	0.1026	0.9109
0.0	158.0	1580	0.7225	0.1	0.1	0.1000	0.9113
0.0	159.0	1590	0.7231	0.1	0.1	0.1000	0.9113
0.0	160.0	1600	0.7238	0.1	0.1	0.1000	0.9113
0.0	161.0	1610	0.7245	0.1	0.1	0.1000	0.9113
0.0	162.0	1620	0.7252	0.1	0.1	0.1000	0.9113
0.0	163.0	1630	0.7258	0.1	0.1	0.1000	0.9113
0.0	164.0	1640	0.7261	0.1	0.1	0.1000	0.9113
0.0	165.0	1650	0.7266	0.1	0.1	0.1000	0.9113
0.0	166.0	1660	0.7273	0.1	0.1	0.1000	0.9113
0.0	167.0	1670	0.7278	0.1	0.1	0.1000	0.9113
0.0	168.0	1680	0.7286	0.1	0.1	0.1000	0.9113
0.0	169.0	1690	0.7295	0.1	0.1	0.1000	0.9113
0.0	170.0	1700	0.7303	0.1	0.1	0.1000	0.9113
0.0	171.0	1710	0.7310	0.1	0.1	0.1000	0.9113
0.0	172.0	1720	0.7316	0.1	0.1	0.1000	0.9113
0.0002	173.0	1730	0.7248	0.1	0.1	0.1000	0.9107
0.0	174.0	1740	0.7180	0.0909	0.1	0.0952	0.9096
0.0003	175.0	1750	0.7154	0.0909	0.1	0.0952	0.9096
0.0	176.0	1760	0.7161	0.0909	0.1	0.0952	0.9094
0.0	177.0	1770	0.7251	0.0870	0.1	0.0930	0.9094
0.0	178.0	1780	0.7282	0.0870	0.1	0.0930	0.9094
0.0	179.0	1790	0.7297	0.0870	0.1	0.0930	0.9094
0.0	180.0	1800	0.7304	0.0870	0.1	0.0930	0.9094
0.0	181.0	1810	0.7308	0.0870	0.1	0.0930	0.9094
0.0	182.0	1820	0.7315	0.0870	0.1	0.0930	0.9094
0.0	183.0	1830	0.7334	0.0833	0.1	0.0909	0.9092
0.0	184.0	1840	0.7345	0.0833	0.1	0.0909	0.9092
0.0	185.0	1850	0.7349	0.0833	0.1	0.0909	0.9092
0.0	186.0	1860	0.7353	0.0833	0.1	0.0909	0.9092
0.0	187.0	1870	0.7356	0.0833	0.1	0.0909	0.9092
0.0	188.0	1880	0.7360	0.0833	0.1	0.0909	0.9092
0.0	189.0	1890	0.7365	0.0833	0.1	0.0909	0.9092
0.0	190.0	1900	0.7368	0.0833	0.1	0.0909	0.9092
0.0	191.0	1910	0.7370	0.0833	0.1	0.0909	0.9092
0.0	192.0	1920	0.7374	0.0833	0.1	0.0909	0.9092
0.0	193.0	1930	0.7375	0.0833	0.1	0.0909	0.9092
0.0	194.0	1940	0.7378	0.0833	0.1	0.0909	0.9092
0.0	195.0	1950	0.7379	0.0833	0.1	0.0909	0.9092
0.0	196.0	1960	0.7378	0.0833	0.1	0.0909	0.9092
0.0	197.0	1970	0.7381	0.0833	0.1	0.0909	0.9092
0.0	198.0	1980	0.7384	0.0833	0.1	0.0909	0.9092
0.0	199.0	1990	0.7385	0.0833	0.1	0.0909	0.9092
0.0	200.0	2000	0.7385	0.0833	0.1	0.0909	0.9092

Framework versions

Transformers 4.31.0.dev0
Pytorch 2.0.0
Datasets 2.1.0
Tokenizers 0.13.3

Task: Token Classification
Library: transformers
Type: bert
Created: Jun 7, 2023
Updated: Jun 8, 2023