wav2vec2-large-danish-npsc-nst

NbAiLab/wav2vec2-large-danish-npsc-nst

wav2vec2-large-danish-npsc-nst is a automatic speech recognition model from NbAiLab. Use it when you need speech turned into text. It is set up for transformers. The card lists the license as apache-2.0.

should probably proofread and complete it, then remove this comment. --

Downloads · 30 days

4.3K

1% of all-time downloads

All-time downloads

295K

Public

Parameters

315M

379 GB on disk

Likes

Public

Hugging Face

Repo makeup

Click a slice to open those files.

.bin1.3 GB · 42%

At a glance

Task: Automatic Speech Recognition
Library: transformers
License: apache-2.0
Model type: wav2vec2
Access: Public
Created: Aug 19, 2022
Updated: Jan 6, 2025
SHA: cc62398a

Base models

chcaa/xls-r-300m-danish

Spaces

Model card

From the Hugging Face model README

wav2vec2-large-danish-npsc-nst

This model is a fine-tuned version of chcaa/xls-r-300m-danish on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.0587
Wer: 0.0669

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 16
eval_batch_size: 16
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 32
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 2000
num_epochs: 15.0
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
3.0474	0.05	500	2.9879	1.0
1.7255	0.11	1000	1.1271	0.9732
0.8932	0.16	1500	0.5474	0.5983
0.7358	0.21	2000	0.4152	0.4584
0.5939	0.26	2500	0.3455	0.3860
0.5437	0.32	3000	0.3024	0.3473
0.5128	0.37	3500	0.2708	0.3043
0.4682	0.42	4000	0.2462	0.2841
0.4392	0.47	4500	0.2374	0.2639
0.4022	0.53	5000	0.2182	0.2457
0.4106	0.58	5500	0.2066	0.2331
0.3883	0.63	6000	0.1997	0.2267
0.3701	0.69	6500	0.1862	0.2164
0.3628	0.74	7000	0.1817	0.2051
0.3468	0.79	7500	0.1716	0.1963
0.3311	0.84	8000	0.1704	0.1924
0.3329	0.9	8500	0.1620	0.1873
0.3179	0.95	9000	0.1575	0.1811
0.3162	1.0	9500	0.1519	0.1729
0.296	1.05	10000	0.1503	0.1701
0.2912	1.11	10500	0.1473	0.1673
0.296	1.16	11000	0.1422	0.1649
0.3615	1.21	11500	0.1373	0.1607
0.276	1.26	12000	0.1376	0.1572
0.2719	1.32	12500	0.1349	0.1540
0.2717	1.37	13000	0.1306	0.1524
0.2742	1.42	13500	0.1280	0.1515
0.261	1.48	14000	0.1246	0.1480
0.2532	1.53	14500	0.1266	0.1460
0.2501	1.58	15000	0.1227	0.1435
0.2705	1.63	15500	0.1202	0.1400
0.2433	1.69	16000	0.1190	0.1396
0.2526	1.74	16500	0.1182	0.1381
0.2362	1.79	17000	0.1169	0.1363
0.2359	1.84	17500	0.1166	0.1362
0.2341	1.9	18000	0.1133	0.1336
0.2347	1.95	18500	0.1121	0.1311
0.2428	2.0	19000	0.1109	0.1293
0.229	2.06	19500	0.1104	0.1275
0.2307	2.11	20000	0.1084	0.1278
0.2287	2.16	20500	0.1070	0.1260
0.217	2.21	21000	0.1066	0.1242
0.2056	2.27	21500	0.1058	0.1235
0.2039	2.32	22000	0.1013	0.1211
0.192	2.37	22500	0.1028	0.1198
0.2129	2.42	23000	0.1035	0.1202
0.1972	2.48	23500	0.1002	0.1197
0.2136	2.53	24000	0.1014	0.1183
0.2176	2.58	24500	0.0990	0.1181
0.2029	2.64	25000	0.0975	0.1170
0.2015	2.69	25500	0.0981	0.1168
0.2	2.74	26000	0.0960	0.1145
0.2018	2.79	26500	0.0966	0.1152
0.1935	2.85	27000	0.0936	0.1144
0.1944	2.9	27500	0.0931	0.1129
0.1862	2.95	28000	0.0920	0.1126
0.1805	3.0	28500	0.0941	0.1103
0.1764	3.06	29000	0.0940	0.1103
0.1859	3.11	29500	0.0915	0.1095
0.1865	3.16	30000	0.0925	0.1099
0.1713	3.21	30500	0.0907	0.1085
0.1917	3.27	31000	0.0898	0.1075
0.1708	3.32	31500	0.0909	0.1067
0.1754	3.37	32000	0.0892	0.1078
0.1813	3.43	32500	0.0895	0.1063
0.1842	3.48	33000	0.0882	0.1059
0.1834	3.53	33500	0.0883	0.1048
0.1746	3.58	34000	0.0866	0.1037
0.1765	3.64	34500	0.0860	0.1047
0.1747	3.69	35000	0.0873	0.1038
0.1741	3.74	35500	0.0851	0.1028
0.1589	3.79	36000	0.0851	0.1026
0.1659	3.85	36500	0.0844	0.1017
0.1716	3.9	37000	0.0831	0.1008
0.1728	3.95	37500	0.0828	0.1015
0.1877	4.01	38000	0.0847	0.1007
0.166	4.06	38500	0.0834	0.1005
0.151	4.11	39000	0.0836	0.0998
0.1614	4.16	39500	0.0848	0.1008
0.161	4.22	40000	0.0818	0.1005
0.162	4.27	40500	0.0822	0.0990
0.1702	4.32	41000	0.0806	0.0976
0.1585	4.37	41500	0.0807	0.0983
0.1682	4.43	42000	0.0792	0.0972
0.1607	4.48	42500	0.0797	0.0966
0.161	4.53	43000	0.0817	0.0978
0.1562	4.59	43500	0.0781	0.0965
0.1556	4.64	44000	0.0800	0.0962
0.1516	4.69	44500	0.0779	0.0948
0.1518	4.74	45000	0.0786	0.0945
0.1587	4.8	45500	0.0782	0.0939
0.1653	4.85	46000	0.0772	0.0935
0.1592	4.9	46500	0.0768	0.0933
0.1517	4.95	47000	0.0772	0.0928
0.1515	5.01	47500	0.0780	0.0917
0.2077	5.06	48000	0.0780	0.0925
0.1531	5.11	48500	0.0758	0.0909
0.155	5.16	49000	0.0757	0.0901
0.1501	5.22	49500	0.0767	0.0895
0.1435	5.27	50000	0.0759	0.0890
0.1449	5.32	50500	0.0762	0.0896
0.1489	5.38	51000	0.0743	0.0880
0.1456	5.43	51500	0.0757	0.0883
0.1515	5.48	52000	0.0751	0.0891
0.1446	5.53	52500	0.0739	0.0870
0.1503	5.59	53000	0.0731	0.0872
0.1405	5.64	53500	0.0731	0.0865
0.1385	5.69	54000	0.0737	0.0859
0.1439	5.74	54500	0.0732	0.0860
0.1378	5.8	55000	0.0750	0.0859
0.1441	5.85	55500	0.0713	0.0855
0.1288	5.9	56000	0.0733	0.0851
0.1484	5.96	56500	0.0718	0.0848
0.1437	6.01	57000	0.0714	0.0843
0.138	6.06	57500	0.0722	0.0848
0.1356	6.11	58000	0.0717	0.0845
0.1291	6.17	58500	0.0713	0.0843
0.1269	6.22	59000	0.0720	0.0840
0.133	6.27	59500	0.0709	0.0839
0.1402	6.32	60000	0.0706	0.0833
0.1332	6.38	60500	0.0709	0.0836
0.1271	6.43	61000	0.0705	0.0825
0.1279	6.48	61500	0.0710	0.0828
0.1317	6.54	62000	0.0699	0.0831
0.133	6.59	62500	0.0699	0.0826
0.1259	6.64	63000	0.0703	0.0818
0.1377	6.69	63500	0.0701	0.0817
0.136	6.75	64000	0.0701	0.0817
0.1218	6.8	64500	0.0699	0.0816
0.1239	6.85	65000	0.0687	0.0817
0.1331	6.9	65500	0.0696	0.0810
0.1252	6.96	66000	0.0679	0.0806
0.1381	7.01	66500	0.0688	0.0804
0.1232	7.06	67000	0.0688	0.0808
0.1288	7.11	67500	0.0686	0.0803
0.1223	7.17	68000	0.0684	0.0795
0.1344	7.22	68500	0.0679	0.0799
0.1272	7.27	69000	0.0683	0.0798
0.129	7.33	69500	0.0689	0.0799
0.118	7.38	70000	0.0684	0.0788
0.1351	7.43	70500	0.0681	0.0792
0.1213	7.48	71000	0.0671	0.0781
0.1311	7.54	71500	0.0666	0.0787
0.1194	7.59	72000	0.0665	0.0789
0.1216	7.64	72500	0.0664	0.0779
0.1188	7.69	73000	0.0665	0.0783
0.1161	7.75	73500	0.0661	0.0777
0.1279	7.8	74000	0.0654	0.0782
0.1243	7.85	74500	0.0664	0.0776
0.1223	7.91	75000	0.0648	0.0778
0.123	7.96	75500	0.0650	0.0772
0.1182	8.01	76000	0.0663	0.0773
0.1199	8.06	76500	0.0662	0.0776
0.1158	8.12	77000	0.0667	0.0772
0.1142	8.17	77500	0.0672	0.0773
0.1174	8.22	78000	0.0668	0.0765
0.1204	8.27	78500	0.0661	0.0769
0.1121	8.33	79000	0.0666	0.0769
0.1211	8.38	79500	0.0652	0.0758
0.1214	8.43	80000	0.0656	0.0764
0.1159	8.49	80500	0.0653	0.0762
0.2059	8.54	81000	0.0664	0.0765
0.1145	8.59	81500	0.0653	0.0759
0.1162	8.64	82000	0.0650	0.0761
0.1142	8.7	82500	0.0651	0.0764
0.1183	8.75	83000	0.0649	0.0753
0.112	8.8	83500	0.0657	0.0756
0.1175	8.85	84000	0.0639	0.0753
0.1154	8.91	84500	0.0640	0.0752
0.107	8.96	85000	0.0651	0.0747
0.1105	9.01	85500	0.0646	0.0745
0.1129	9.07	86000	0.0651	0.0743
0.1112	9.12	86500	0.0643	0.0743
0.108	9.17	87000	0.0639	0.0743
0.1114	9.22	87500	0.0643	0.0738
0.1136	9.28	88000	0.0635	0.0747
0.1086	9.33	88500	0.0633	0.0742
0.1097	9.38	89000	0.0629	0.0745
0.1094	9.43	89500	0.0632	0.0734
0.1107	9.49	90000	0.0637	0.0737
0.1072	9.54	90500	0.0633	0.0734
0.101	9.59	91000	0.0633	0.0733
0.1076	9.64	91500	0.0631	0.0730
0.1135	9.7	92000	0.0623	0.0725
0.1168	9.75	92500	0.0625	0.0727
0.1047	9.8	93000	0.0625	0.0731
0.0992	9.86	93500	0.0628	0.0726
0.1026	9.91	94000	0.0630	0.0724
0.1129	9.96	94500	0.0615	0.0725
0.1088	10.01	95000	0.0623	0.0726
0.107	10.07	95500	0.0630	0.0719
0.115	10.12	96000	0.0623	0.0722
0.1037	10.17	96500	0.0622	0.0715
0.1028	10.22	97000	0.0612	0.0717
0.1025	10.28	97500	0.0618	0.0715
0.1075	10.33	98000	0.0610	0.0719
0.1035	10.38	98500	0.0627	0.0715
0.1038	10.44	99000	0.0608	0.0721
0.0968	10.49	99500	0.0618	0.0712
0.1095	10.54	100000	0.0621	0.0713
0.1957	10.59	100500	0.0606	0.0717
0.1032	10.65	101000	0.0613	0.0708
0.1104	10.7	101500	0.0622	0.0709
0.1071	10.75	102000	0.0612	0.0707
0.1133	10.8	102500	0.0618	0.0703
0.1017	10.86	103000	0.0616	0.0703
0.0943	10.91	103500	0.0613	0.0704
0.1067	10.96	104000	0.0602	0.0704
0.1078	11.02	104500	0.0602	0.0705
0.1088	11.07	105000	0.0617	0.0704
0.101	11.12	105500	0.0609	0.0703
0.0956	11.17	106000	0.0608	0.0701
0.0995	11.23	106500	0.0614	0.0702
0.0917	11.28	107000	0.0611	0.0698
0.1023	11.33	107500	0.0608	0.0697
0.1107	11.38	108000	0.0607	0.0699
0.0945	11.44	108500	0.0610	0.0695
0.1043	11.49	109000	0.0603	0.0697
0.1007	11.54	109500	0.0606	0.0699
0.0997	11.59	110000	0.0596	0.0696
0.0958	11.65	110500	0.0602	0.0695
0.1011	11.7	111000	0.0602	0.0698
0.0996	11.75	111500	0.0605	0.0695
0.0993	11.81	112000	0.0610	0.0691
0.0958	11.86	112500	0.0603	0.0693
0.0997	11.91	113000	0.0600	0.0695
0.0991	11.96	113500	0.0596	0.0691
0.096	12.02	114000	0.0603	0.0688
0.0971	12.07	114500	0.0605	0.0688
0.0948	12.12	115000	0.0601	0.0687
0.0981	12.17	115500	0.0596	0.0690
0.0928	12.23	116000	0.0599	0.0689
0.0959	12.28	116500	0.0602	0.0686
0.0925	12.33	117000	0.0598	0.0686
0.0998	12.39	117500	0.0593	0.0689
0.0996	12.44	118000	0.0600	0.0685
0.0981	12.49	118500	0.0600	0.0685
0.1045	12.54	119000	0.0593	0.0684
0.0944	12.6	119500	0.0594	0.0684
0.0874	12.65	120000	0.0590	0.0686
0.092	12.7	120500	0.0597	0.0681
0.0931	12.75	121000	0.0599	0.0678
0.092	12.81	121500	0.0604	0.0679
0.1033	12.86	122000	0.0591	0.0684
0.0935	12.91	122500	0.0594	0.0680
0.1062	12.97	123000	0.0594	0.0677
0.0948	13.02	123500	0.0600	0.0679
0.0939	13.07	124000	0.0599	0.0677
0.0962	13.12	124500	0.0602	0.0676
0.1015	13.18	125000	0.0594	0.0676
0.0976	13.23	125500	0.0586	0.0676
0.0876	13.28	126000	0.0595	0.0679
0.0864	13.33	126500	0.0597	0.0675
0.1756	13.39	127000	0.0583	0.0678
0.0963	13.44	127500	0.0584	0.0677
0.0956	13.49	128000	0.0593	0.0676
0.0927	13.54	128500	0.0594	0.0674
0.0969	13.6	129000	0.0588	0.0674
0.1005	13.65	129500	0.0586	0.0674
0.097	13.7	130000	0.0593	0.0674
0.0944	13.76	130500	0.0596	0.0673
0.0908	13.81	131000	0.0593	0.0674
0.0928	13.86	131500	0.0594	0.0673
0.0934	13.91	132000	0.0592	0.0674
0.0967	13.97	132500	0.0589	0.0672
0.0921	14.02	133000	0.0585	0.0671
0.0927	14.07	133500	0.0590	0.0673
0.0908	14.12	134000	0.0588	0.0672
0.0875	14.18	134500	0.0591	0.0672
0.097	14.23	135000	0.0589	0.0670
0.0915	14.28	135500	0.0586	0.0670
0.094	14.34	136000	0.0587	0.0672
0.09	14.39	136500	0.0589	0.0672
0.0969	14.44	137000	0.0586	0.0670
0.0925	14.49	137500	0.0585	0.0670
0.1005	14.55	138000	0.0584	0.0668
0.0907	14.6	138500	0.0584	0.0669
0.0891	14.65	139000	0.0587	0.0669
0.0907	14.7	139500	0.0588	0.0669
0.0948	14.76	140000	0.0586	0.0668
0.0907	14.81	140500	0.0585	0.0670
0.0914	14.86	141000	0.0586	0.0669
0.0867	14.92	141500	0.0587	0.0669
0.0877	14.97	142000	0.0587	0.0669

Framework versions

Transformers 4.18.0
Pytorch 1.11.0+cu113
Datasets 2.1.0
Tokenizers 0.12.1

Task: Automatic Speech Recognition
Library: transformers
Type: wav2vec2
License: apache-2.0
Created: Aug 19, 2022
Updated: Jan 6, 2025