wav2vec2-large-mms-1b-tatar-v2

AigizK/wav2vec2-large-mms-1b-tatar-v2

wav2vec2-large-mms-1b-tatar-v2 is a automatic speech recognition model from AigizK. Use it when you need speech turned into text. It is set up for transformers. The card lists the license as cc-by-nc-4.0.

should probably proofread and complete it, then remove this comment. --

Downloads · 30 days

3% of all-time downloads

All-time downloads

926

Public

Parameters

965M

3.9 GB on disk

Likes

Public

Hugging Face

Repo makeup

Click a slice to open those files.

.safetensors3.9 GB · 100%

At a glance

Task: Automatic Speech Recognition
Library: transformers
License: cc-by-nc-4.0
Model type: wav2vec2
Access: Public
Created: Jan 15, 2024
Updated: Jan 18, 2024
SHA: c6c73c7d

Base models

facebook/mms-1b-all

Model card

From the Hugging Face model README

wav2vec2-large-mms-1b-tatar-v2

This model is a fine-tuned version of facebook/mms-1b-all on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.3343
Wer: 0.1031

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.001
train_batch_size: 16
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 100
training_steps: 100000
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.2883	0.01	500	0.4093	0.2206
0.2907	0.01	1000	0.3651	0.2219
0.2668	0.01	1500	0.3595	0.2088
0.2618	0.02	2000	0.3754	0.2062
0.2825	0.03	2500	0.3776	0.2108
0.2573	0.03	3000	0.4372	0.2160
0.2814	0.04	3500	0.3888	0.2016
0.267	0.04	4000	0.3607	0.2055
0.2509	0.04	4500	0.4021	0.1983
0.246	0.05	5000	0.3579	0.1852
0.2612	0.06	5500	0.4055	0.1878
0.2474	1.0	6000	0.3764	0.1891
0.2309	1.01	6500	0.3670	0.1773
0.2365	1.01	7000	0.3392	0.1871
0.2624	1.02	7500	0.3744	0.1898
0.2538	1.02	8000	0.3845	0.1930
0.2391	1.03	8500	0.3557	0.1793
0.26	1.03	9000	0.3932	0.1819
0.2619	1.04	9500	0.3546	0.1878
0.243	1.04	10000	0.3547	0.1970
0.2449	1.05	10500	0.3784	0.1720
0.2234	1.05	11000	0.3795	0.1747
0.2369	1.06	11500	0.3527	0.1720
0.2617	2.0	12000	0.3360	0.1812
0.2399	2.01	12500	0.3593	0.1773
0.2273	2.01	13000	0.3327	0.1655
0.2283	2.02	13500	0.3503	0.1707
0.228	2.02	14000	0.3797	0.1681
0.239	2.03	14500	0.3341	0.1714
0.228	2.03	15000	0.3562	0.1694
0.2285	2.04	15500	0.3373	0.1720
0.2226	2.04	16000	0.3546	0.1812
0.2287	2.05	16500	0.3573	0.1740
0.2315	2.05	17000	0.3740	0.1714
0.2242	2.06	17500	0.3755	0.1655
0.2309	3.0	18000	0.3525	0.1694
0.2204	3.01	18500	0.3532	0.1720
0.2297	3.01	19000	0.3312	0.1687
0.2243	3.02	19500	0.3218	0.1609
0.2309	3.02	20000	0.3459	0.1681
0.229	3.03	20500	0.3374	0.1701
0.2275	3.03	21000	0.3899	0.1727
0.2221	3.04	21500	0.3800	0.1622
0.2293	3.04	22000	0.3599	0.1668
0.2328	3.05	22500	0.3651	0.1707
0.2216	3.05	23000	0.3238	0.1609
0.224	3.06	23500	0.3520	0.1628
0.2142	4.0	24000	0.3336	0.1550
0.2356	4.01	24500	0.3398	0.1648
0.224	4.01	25000	0.3458	0.1622
0.2052	4.02	25500	0.3538	0.1641
0.2258	4.02	26000	0.3613	0.1615
0.2251	4.03	26500	0.3601	0.1556
0.2291	4.03	27000	0.3761	0.1596
0.223	4.04	27500	0.3426	0.1609
0.2175	4.04	28000	0.3690	0.1582
0.2144	4.05	28500	0.3498	0.1641
0.2202	4.05	29000	0.3432	0.1550
0.2127	5.0	29500	0.3536	0.1661
0.2069	5.01	30000	0.3818	0.1694
0.2083	5.01	30500	0.3351	0.1582
0.2327	5.02	31000	0.3355	0.1510
0.2179	5.02	31500	0.3432	0.1576
0.2194	5.03	32000	0.3378	0.1523
0.2236	5.03	32500	0.3417	0.1543
0.2263	5.04	33000	0.3500	0.1490
0.2205	5.04	33500	0.3649	0.1536
0.2168	5.05	34000	0.3549	0.1425
0.2034	5.05	34500	0.3567	0.1477
0.2036	5.06	35000	0.3559	0.1451
0.2328	6.0	35500	0.3496	0.1543
0.2155	6.01	36000	0.3637	0.1484
0.2031	6.01	36500	0.3497	0.1477
0.2053	6.02	37000	0.3476	0.1530
0.2008	6.02	37500	0.3561	0.1517
0.205	6.03	38000	0.3265	0.1431
0.2083	6.03	38500	0.3438	0.1418
0.2041	6.04	39000	0.3395	0.1366
0.2051	6.04	39500	0.3451	0.1405
0.2045	6.05	40000	0.3386	0.1399
0.2016	6.05	40500	0.3555	0.1497
0.2042	6.06	41000	0.3586	0.1484
0.2015	7.0	41500	0.3521	0.1451
0.1995	7.01	42000	0.3535	0.1438
0.2102	7.01	42500	0.3276	0.1438
0.2037	7.02	43000	0.3363	0.1445
0.2102	7.02	43500	0.3209	0.1431
0.2007	7.03	44000	0.3306	0.1353
0.2063	7.03	44500	0.3373	0.1333
0.1985	7.04	45000	0.3530	0.1280
0.2071	7.04	45500	0.3565	0.1333
0.2052	7.05	46000	0.3515	0.1353
0.2	7.05	46500	0.3506	0.1392
0.1966	7.06	47000	0.3557	0.1366
0.202	8.0	47500	0.3451	0.1339
0.2047	8.01	48000	0.3393	0.1300
0.204	8.01	48500	0.3259	0.1307
0.1885	8.02	49000	0.3391	0.1372
0.2153	8.02	49500	0.3279	0.1339
0.1983	8.03	50000	0.3389	0.1339
0.1994	8.03	50500	0.3308	0.1267
0.2014	8.04	51000	0.3476	0.1366
0.1963	8.04	51500	0.3432	0.1267
0.2016	8.05	52000	0.3463	0.1359
0.202	8.05	52500	0.3464	0.1307
0.2011	9.0	53000	0.3392	0.1399
0.1884	9.01	53500	0.3296	0.1346
0.1841	9.01	54000	0.3490	0.1287
0.216	9.02	54500	0.3403	0.1293
0.203	9.02	55000	0.3401	0.1241
0.1994	9.03	55500	0.3377	0.1287
0.2	9.03	56000	0.3408	0.1261
0.2011	9.04	56500	0.3363	0.1293
0.1945	9.04	57000	0.3318	0.1234
0.199	9.05	57500	0.3385	0.1261
0.1905	9.05	58000	0.3600	0.1280
0.1934	9.06	58500	0.3425	0.1293
0.1969	10.0	59000	0.3266	0.1234
0.1883	10.01	59500	0.3371	0.1234
0.189	10.01	60000	0.3528	0.1221
0.187	10.02	60500	0.3268	0.1280
0.1799	10.02	61000	0.3421	0.1248
0.1954	10.03	61500	0.3224	0.1228
0.189	10.03	62000	0.3400	0.1215
0.1814	10.04	62500	0.3354	0.1261
0.1936	10.04	63000	0.3404	0.1215
0.1869	10.05	63500	0.3439	0.1188
0.188	10.05	64000	0.3689	0.1274
0.1919	10.06	64500	0.3549	0.1274
0.1888	11.0	65000	0.3310	0.1228
0.1805	11.01	65500	0.3390	0.1228
0.1845	11.01	66000	0.3294	0.1123
0.1912	11.02	66500	0.3253	0.1215
0.1901	11.02	67000	0.3438	0.1182
0.1973	11.03	67500	0.3326	0.1254
0.1923	11.03	68000	0.3461	0.1254
0.1769	11.04	68500	0.3489	0.1202
0.188	11.04	69000	0.3311	0.1169
0.1894	11.05	69500	0.3312	0.1156
0.1835	11.05	70000	0.3541	0.1228
0.18	11.06	70500	0.3480	0.1248
0.174	12.0	71000	0.3312	0.1156
0.1846	12.01	71500	0.3530	0.1234
0.1862	12.01	72000	0.3252	0.1182
0.1807	12.02	72500	0.3537	0.1182
0.1855	12.02	73000	0.3396	0.1142
0.1855	12.03	73500	0.3350	0.1208
0.1825	12.03	74000	0.3347	0.1169
0.1762	12.04	74500	0.3296	0.1208
0.1737	12.04	75000	0.3456	0.1156
0.1809	12.05	75500	0.3433	0.1182
0.1848	12.05	76000	0.3440	0.1208
0.1791	13.0	76500	0.3434	0.1208
0.1741	13.01	77000	0.3446	0.1169
0.1659	13.01	77500	0.3463	0.1142
0.1994	13.02	78000	0.3222	0.1175
0.1858	13.02	78500	0.3413	0.1162
0.1929	13.03	79000	0.3397	0.1169
0.1889	13.03	79500	0.3363	0.1142
0.1888	13.04	80000	0.3287	0.1103
0.1688	13.04	80500	0.3445	0.1116
0.1831	13.05	81000	0.3444	0.1136
0.1661	13.05	81500	0.3461	0.1123
0.1823	13.06	82000	0.3335	0.1149
0.1838	14.0	82500	0.3465	0.1188
0.1782	14.01	83000	0.3439	0.1149
0.1765	14.01	83500	0.3498	0.1142
0.1763	14.02	84000	0.3409	0.1083
0.1642	14.02	84500	0.3414	0.1070
0.1688	14.03	85000	0.3328	0.1090
0.1788	14.03	85500	0.3302	0.1083
0.1669	14.04	86000	0.3339	0.1083
0.1734	14.04	86500	0.3315	0.1103
0.1727	14.05	87000	0.3403	0.1136
0.1778	14.05	87500	0.3473	0.1110
0.1801	14.06	88000	0.3349	0.1123
0.1717	15.0	88500	0.3348	0.1103
0.1689	15.01	89000	0.3368	0.1103
0.1706	15.01	89500	0.3351	0.1090
0.1784	15.02	90000	0.3339	0.1090
0.1756	15.02	90500	0.3359	0.1057
0.1814	15.03	91000	0.3230	0.1051
0.1691	15.03	91500	0.3330	0.1064
0.1704	15.04	92000	0.3379	0.1057
0.1807	15.04	92500	0.3323	0.1031
0.184	15.05	93000	0.3286	0.1024
0.1752	15.05	93500	0.3381	0.1044
0.1761	15.06	94000	0.3340	0.1077
0.1695	16.0	94500	0.3321	0.1051
0.1689	16.01	95000	0.3342	0.1057
0.1784	16.01	95500	0.3334	0.1044
0.1602	16.02	96000	0.3321	0.1044
0.1743	16.02	96500	0.3348	0.1051
0.1777	16.03	97000	0.3296	0.1037
0.1759	16.03	97500	0.3348	0.1031
0.1646	16.04	98000	0.3348	0.1031
0.1619	16.04	98500	0.3314	0.1044
0.1708	16.05	99000	0.3322	0.1024
0.1704	16.05	99500	0.3344	0.1024
0.174	17.0	100000	0.3343	0.1031

Framework versions

Transformers 4.36.0
Pytorch 2.1.1+cu121
Datasets 2.15.0
Tokenizers 0.15.0

Task: Automatic Speech Recognition
Library: transformers
Type: wav2vec2
License: cc-by-nc-4.0
Created: Jan 15, 2024
Updated: Jan 18, 2024