whisper-small-vi

dolphinnlp/whisper-small-vi

whisper-small-vi is a automatic speech recognition model from dolphinnlp. Use it when you need speech turned into text. It is set up for transformers.

should probably proofread and complete it, then remove this comment. --

Downloads · 30 days

3% of all-time downloads

All-time downloads

745

Public

Parameters

242M

72.5 GB on disk

Likes

Public

Hugging Face

Repo makeup

Click a slice to open those files.

.safetensors967 MB · 100%

At a glance

Task: Automatic Speech Recognition
Library: transformers
Model type: whisper
Access: Public
Created: Sep 25, 2024
Updated: Jan 8, 2025
SHA: 60366a21

Base models

weights/whisper-small-vi

Model card

From the Hugging Face model README

Whisper small vi - Ox

This model is a fine-tuned version of weights/whisper-small-vi on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.1208
Wer: 22.6497

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 3.0
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.3871	0.0211	1000	0.4327	23.4515
0.3696	0.0422	2000	0.3824	23.7588
0.3576	0.0632	3000	0.3596	22.4671
0.3467	0.0843	4000	0.3394	20.5368
0.36	0.1054	5000	0.3254	18.4529
0.3182	0.1265	6000	0.3107	18.0351
0.3293	0.1476	7000	0.2972	17.0268
0.2692	0.1686	8000	0.2888	18.8514
0.3061	0.1897	9000	0.2854	17.1612
0.2654	0.2108	10000	0.2766	16.8539
0.2954	0.2319	11000	0.2692	16.1481
0.2703	0.2529	12000	0.2632	15.1733
0.2523	0.2740	13000	0.2594	15.1541
0.265	0.2951	14000	0.2556	14.9669
0.246	0.3162	15000	0.2515	15.7784
0.2249	0.3373	16000	0.2484	14.2514
0.2478	0.3583	17000	0.2414	14.8996
0.2246	0.3794	18000	0.2432	14.8468
0.2291	0.4005	19000	0.2333	15.4038
0.2336	0.4216	20000	0.2321	13.8577
0.2448	0.4427	21000	0.2287	12.9694
0.2174	0.4637	22000	0.2237	13.2479
0.2239	0.4848	23000	0.2255	12.7197
0.2065	0.5059	24000	0.2245	12.4316
0.2467	0.5270	25000	0.2215	13.4015
0.2257	0.5480	26000	0.2200	14.3955
0.229	0.5691	27000	0.2172	12.9021
0.2431	0.5902	28000	0.2134	13.4927
0.2258	0.6113	29000	0.2128	12.1819
0.2025	0.6324	30000	0.2117	11.9850
0.2014	0.6534	31000	0.2055	11.5193
0.2341	0.6745	32000	0.2038	11.5097
0.2136	0.6956	33000	0.2040	11.4760
0.2348	0.7167	34000	0.2034	11.5337
0.1944	0.7378	35000	0.2005	11.9610
0.1646	0.7588	36000	0.2005	11.3656
0.197	0.7799	37000	0.1938	11.0199
0.1877	0.8010	38000	0.1945	11.7209
0.2122	0.8221	39000	0.1910	10.8470
0.1736	0.8432	40000	0.1905	11.1831
0.1548	0.8642	41000	0.1907	11.2215
0.1754	0.8853	42000	0.1875	11.1207
0.2125	0.9064	43000	0.1864	10.5925
0.1975	0.9275	44000	0.1834	11.1639
0.18	0.9485	45000	0.1827	10.7414
0.2067	0.9696	46000	0.1828	10.5589
0.1728	0.9907	47000	0.1810	10.5493
0.1253	1.0118	48000	0.1822	10.6453
0.1284	1.0329	49000	0.1818	10.9238
0.1412	1.0539	50000	0.1812	10.4677
0.1266	1.0750	51000	0.1809	10.6838
0.1093	1.0961	52000	0.1808	10.2708
0.1293	1.1172	53000	0.1809	10.5973
0.1377	1.1383	54000	0.1779	9.9443
0.1135	1.1593	55000	0.1750	10.0595
0.1029	1.1804	56000	0.1739	9.6658
0.0959	1.2015	57000	0.1776	10.7030
0.1335	1.2226	58000	0.1736	10.1268
0.1166	1.2437	59000	0.1755	11.6873
0.1079	1.2647	60000	0.1741	9.8579
0.124	1.2858	61000	0.1719	9.6706
0.1279	1.3069	62000	0.1725	10.9094
0.1546	1.3280	63000	0.1740	10.0643
0.0961	1.3490	64000	0.1726	9.6514
0.1167	1.3701	65000	0.1715	9.9971
0.1072	1.3912	66000	0.1691	9.5410
0.1052	1.4123	67000	0.1708	10.0067
0.1234	1.4334	68000	0.1682	10.5589
0.1131	1.4544	69000	0.1665	10.6838
0.1188	1.4755	70000	0.1668	11.1159
0.1106	1.4966	71000	0.1666	9.3777
0.0984	1.5177	72000	0.1645	9.6754
0.1206	1.5388	73000	0.1636	10.6982
0.1369	1.5598	74000	0.1625	9.5554
0.1164	1.5809	75000	0.1619	9.4881
0.1326	1.6020	76000	0.1603	11.4184
0.1168	1.6231	77000	0.1607	10.6550
0.107	1.6441	78000	0.1613	10.0980
0.1222	1.6652	79000	0.1611	9.6562
0.1304	1.6863	80000	0.1615	9.7186
0.1288	1.7074	81000	0.1615	9.6466
0.1101	1.7285	82000	0.1587	12.8925
0.1256	1.7495	83000	0.1577	11.4760
0.1167	1.7706	84000	0.1564	9.0992
0.114	1.7917	85000	0.1533	11.4424
0.0918	1.8128	86000	0.1528	15.9896
0.1338	1.8339	87000	0.1521	15.8168
0.1009	1.8549	88000	0.1514	15.3078
0.1124	1.8760	89000	0.1511	14.3330
0.1161	1.8971	90000	0.1507	10.4389
0.102	1.9182	91000	0.1495	9.4209
0.0921	1.9393	92000	0.1473	12.5660
0.1142	1.9603	93000	0.1477	11.5865
0.0971	1.9814	94000	0.1482	17.4493
0.0562	2.0025	95000	0.1484	23.0769
0.0697	2.0236	96000	0.1491	20.2007
0.0691	2.0446	97000	0.1487	14.3234
0.0707	2.0657	98000	0.1486	15.2694
0.0529	2.0868	99000	0.1486	16.5322
0.061	2.1079	100000	0.1466	17.9343
0.077	2.1290	101000	0.1465	17.1852
0.0748	2.1500	102000	0.1474	15.5767
0.0624	2.1711	103000	0.1471	15.2118
0.0625	2.1922	104000	0.1452	27.2352
0.0876	2.2133	105000	0.1476	27.5137
0.0683	2.2344	106000	0.1468	20.1911
0.0539	2.2554	107000	0.1459	19.6101
0.0627	2.2765	108000	0.1462	19.4997
0.0548	2.2976	109000	0.1469	18.6546
0.0559	2.3187	110000	0.1453	15.9224
0.0667	2.3397	111000	0.1447	20.4312
0.0611	2.3608	112000	0.1442	19.0963
0.0672	2.3819	113000	0.1441	19.7349
0.0517	2.4030	114000	0.1435	17.6894
0.0584	2.4241	115000	0.1439	21.5884
0.0634	2.4451	116000	0.1428	22.2942
0.0754	2.4662	117000	0.1420	25.4346
0.0537	2.4873	118000	0.1413	29.4440
0.0478	2.5084	119000	0.1412	21.6796
0.0509	2.5295	120000	0.1414	22.2414
0.0749	2.5505	121000	0.1405	18.5153
0.069	2.5716	122000	0.1391	17.9679
0.0614	2.5927	123000	0.1395	19.7157
0.0628	2.6138	124000	0.1382	19.7926
0.0518	2.6349	125000	0.1390	19.3172
0.078	2.6559	126000	0.1379	23.3458
0.0578	2.6770	127000	0.1388	21.2427
0.0406	2.6981	128000	0.1384	24.9832
0.0494	2.7192	129000	0.1373	21.6124
0.0714	2.7402	130000	0.1375	22.4671
0.0646	2.7613	131000	0.1369	23.7203
0.0582	2.7824	132000	0.1372	22.2462
0.0594	2.8035	133000	0.1368	22.1646
0.0435	2.8246	134000	0.1364	21.4684
0.0509	2.8456	135000	0.1361	19.0243
0.0553	2.8667	136000	0.1365	21.0506
0.0716	2.8878	137000	0.1360	21.2859
0.0621	2.9089	138000	0.1359	19.7926
0.0597	2.9300	139000	0.1358	21.4011
0.0476	2.9510	140000	0.1357	21.3195
0.0483	2.9721	141000	0.1355	21.3195
0.0504	2.9932	142000	0.1355	22.1166
0.1197	2.8636	143000	0.1315	21.4829
0.1389	2.8836	144000	0.1266	22.1632
0.1242	2.9036	145000	0.1244	23.1137
0.1355	2.9236	146000	0.1228	21.0505
0.1257	2.9437	147000	0.1218	20.4334
0.1027	2.9637	148000	0.1212	21.6541
0.1186	2.9837	149000	0.1208	22.6497

Framework versions

Transformers 4.47.0
Pytorch 2.5.1+cu121
Datasets 3.1.0
Tokenizers 0.21.0

Task: Automatic Speech Recognition
Library: transformers
Type: whisper
Languages: vi
Created: Sep 25, 2024
Updated: Jan 8, 2025