bart-cnndm

baek26/bart-cnndm

bart-cnndm is a machine learning model from baek26. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers. The card lists the license as apache-2.0.

should probably proofread and complete it, then remove this comment. --

Downloads · 30 days

32% of all-time downloads

All-time downloads

Public

Parameters

139M

2.8 GB on disk

Likes

Public

Hugging Face

Repo makeup

Click a slice to open those files.

.safetensors4.5 GB · 99%

At a glance

Library: transformers
License: apache-2.0
Model type: bart
Access: Public
Created: Apr 20, 2024
Updated: Apr 22, 2024
SHA: a34d30b6

Base models

facebook/bart-base

Model card

From the Hugging Face model README

cnn_dailymail_8824_bart-base

This model is a fine-tuned version of facebook/bart-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.9201
Rouge1: 0.2472
Rouge2: 0.1256
Rougel: 0.2063
Rougelsum: 0.2331
Gen Len: 20.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
gradient_accumulation_steps: 16
total_train_batch_size: 64
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
1.2077	0.11	500	1.0668	0.2378	0.1128	0.1955	0.2228	20.0
1.1503	0.22	1000	1.0418	0.2376	0.1145	0.1964	0.223	20.0
1.1191	0.33	1500	1.0109	0.2409	0.1187	0.1995	0.2268	20.0
1.0828	0.45	2000	1.0048	0.2408	0.1192	0.2004	0.227	20.0
1.0546	0.56	2500	0.9911	0.2417	0.1206	0.2008	0.2278	20.0
1.0537	0.67	3000	0.9891	0.2418	0.1201	0.2014	0.2277	20.0
1.0643	0.78	3500	0.9895	0.2396	0.1194	0.1997	0.2259	20.0
1.0375	0.89	4000	0.9775	0.2434	0.122	0.2025	0.2293	20.0
1.013	1.0	4500	0.9728	0.244	0.1218	0.2029	0.2298	20.0
1.0247	1.11	5000	0.9705	0.243	0.1206	0.2019	0.2287	20.0
1.0374	1.23	5500	0.9642	0.2432	0.1217	0.2022	0.2292	20.0
1.0084	1.34	6000	0.9609	0.2437	0.1235	0.204	0.2299	20.0
1.0195	1.45	6500	0.9603	0.243	0.1221	0.2029	0.2291	20.0
0.9642	1.56	7000	0.9559	0.2438	0.1228	0.2035	0.2301	20.0
0.9903	1.67	7500	0.9540	0.243	0.1225	0.2029	0.2293	20.0
0.976	1.78	8000	0.9518	0.2434	0.1224	0.2025	0.2297	19.9997
1.0101	1.89	8500	0.9460	0.2452	0.1235	0.2042	0.231	20.0
0.9711	2.01	9000	0.9446	0.2431	0.1226	0.2032	0.2295	19.9995
0.9137	2.12	9500	0.9463	0.2459	0.1239	0.205	0.2318	20.0
0.9631	2.23	10000	0.9410	0.2451	0.1234	0.2043	0.2309	19.9999
0.9309	2.34	10500	0.9399	0.2446	0.1236	0.2042	0.2308	19.9991
0.9653	2.45	11000	0.9363	0.2444	0.1233	0.2039	0.2308	19.9999
0.9338	2.56	11500	0.9413	0.2439	0.1224	0.2028	0.2294	20.0
0.9373	2.67	12000	0.9334	0.245	0.1241	0.2047	0.2312	19.9996
0.9661	2.79	12500	0.9334	0.2456	0.1241	0.2051	0.2318	19.9999
0.9446	2.9	13000	0.9340	0.2447	0.1239	0.2045	0.2309	19.9999
0.9109	3.01	13500	0.9340	0.2445	0.1234	0.2041	0.2308	19.9999
0.8955	3.12	14000	0.9357	0.2459	0.1249	0.2055	0.2318	20.0
0.9163	3.23	14500	0.9319	0.2461	0.1239	0.205	0.2319	20.0
0.9059	3.34	15000	0.9320	0.2446	0.124	0.2044	0.2309	19.9997
0.8893	3.46	15500	0.9288	0.2462	0.1247	0.2053	0.2322	19.9999
0.8963	3.57	16000	0.9301	0.2441	0.124	0.2043	0.2306	20.0
0.8924	3.68	16500	0.9295	0.2431	0.1236	0.2038	0.2296	19.9997
0.8832	3.79	17000	0.9267	0.2457	0.1237	0.2049	0.2316	19.9999
0.8874	3.9	17500	0.9263	0.2458	0.125	0.2054	0.232	20.0
0.8464	4.01	18000	0.9272	0.2446	0.1234	0.2039	0.2305	20.0
0.8391	4.12	18500	0.9253	0.2453	0.1245	0.205	0.2313	20.0
0.8602	4.24	19000	0.9273	0.2464	0.1248	0.2055	0.2322	19.9997
0.8674	4.35	19500	0.9260	0.2449	0.1242	0.2047	0.2309	20.0
0.8634	4.46	20000	0.9261	0.2462	0.1248	0.2053	0.2322	20.0
0.8522	4.57	20500	0.9259	0.2456	0.1242	0.2052	0.2316	20.0
0.8532	4.68	21000	0.9256	0.2452	0.1242	0.2049	0.2315	20.0
0.8608	4.79	21500	0.9218	0.2446	0.1242	0.2049	0.2309	19.9997
0.8649	4.9	22000	0.9239	0.2461	0.1243	0.2047	0.2317	19.9997
0.8329	5.02	22500	0.9260	0.2456	0.1248	0.2052	0.2315	19.9999
0.8475	5.13	23000	0.9247	0.2449	0.1241	0.2045	0.2309	20.0
0.8595	5.24	23500	0.9246	0.2443	0.1239	0.2044	0.2306	20.0
0.8707	5.35	24000	0.9228	0.2458	0.1246	0.2054	0.2318	19.9997
0.8565	5.46	24500	0.9243	0.245	0.1241	0.2047	0.231	20.0
0.848	5.57	25000	0.9232	0.2464	0.1256	0.206	0.2324	20.0
0.8251	5.68	25500	0.9212	0.2465	0.1253	0.2057	0.2327	20.0
0.8352	5.8	26000	0.9203	0.245	0.1242	0.2043	0.2309	19.9996
0.837	5.91	26500	0.9178	0.2464	0.1247	0.2055	0.2321	19.9999
0.8233	6.02	27000	0.9204	0.2456	0.1247	0.2052	0.2318	20.0
0.8169	6.13	27500	0.9246	0.2454	0.1242	0.205	0.2314	20.0
0.8351	6.24	28000	0.9194	0.2453	0.1248	0.2052	0.2312	20.0
0.8275	6.35	28500	0.9221	0.2468	0.1255	0.2062	0.2329	19.9999
0.818	6.46	29000	0.9244	0.2456	0.1243	0.205	0.2316	20.0
0.8262	6.58	29500	0.9194	0.2471	0.1256	0.2064	0.233	20.0
0.8138	6.69	30000	0.9225	0.2469	0.1257	0.2062	0.233	20.0
0.8476	6.8	30500	0.9188	0.2467	0.1254	0.2059	0.2328	20.0
0.8376	6.91	31000	0.9216	0.2473	0.1255	0.2064	0.2331	20.0
0.7947	7.02	31500	0.9218	0.2471	0.1256	0.2061	0.2329	19.9999
0.7937	7.13	32000	0.9241	0.2465	0.1249	0.2057	0.2324	19.9996
0.8194	7.24	32500	0.9230	0.2471	0.1259	0.2063	0.2329	20.0
0.8122	7.36	33000	0.9204	0.2458	0.125	0.2055	0.232	19.9996
0.7676	7.47	33500	0.9232	0.2468	0.1253	0.206	0.2327	20.0
0.7772	7.58	34000	0.9226	0.2463	0.1251	0.2057	0.2323	20.0
0.809	7.69	34500	0.9197	0.2469	0.1255	0.2061	0.2329	19.9997
0.7839	7.8	35000	0.9205	0.2475	0.1261	0.2067	0.2334	19.9997
0.7936	7.91	35500	0.9186	0.2469	0.1254	0.2061	0.2327	19.9997
0.8108	8.02	36000	0.9215	0.2472	0.1253	0.206	0.2329	20.0
0.7987	8.14	36500	0.9219	0.2473	0.1254	0.2062	0.2331	19.9999
0.7881	8.25	37000	0.9213	0.2474	0.1253	0.206	0.233	20.0
0.8007	8.36	37500	0.9215	0.2474	0.1258	0.2064	0.2332	20.0
0.7789	8.47	38000	0.9226	0.2462	0.1252	0.2054	0.2321	20.0
0.8155	8.58	38500	0.9182	0.2465	0.1254	0.206	0.2325	19.9999
0.7863	8.69	39000	0.9187	0.2465	0.1252	0.2059	0.2323	19.9999
0.796	8.8	39500	0.9201	0.2469	0.1254	0.206	0.2327	19.9999
0.8003	8.92	40000	0.9197	0.2463	0.1252	0.2057	0.2323	20.0
0.803	9.03	40500	0.9206	0.2465	0.1253	0.2058	0.2323	19.9997
0.79	9.14	41000	0.9221	0.2467	0.1251	0.206	0.2326	19.9997
0.7605	9.25	41500	0.9211	0.247	0.1254	0.2059	0.2329	20.0
0.7543	9.36	42000	0.9214	0.2473	0.1258	0.2065	0.2333	19.9999
0.7959	9.47	42500	0.9203	0.2471	0.1255	0.2061	0.2332	19.9999
0.7826	9.58	43000	0.9205	0.2469	0.1256	0.206	0.2329	20.0
0.7835	9.7	43500	0.9198	0.2466	0.1252	0.2057	0.2326	20.0
0.7809	9.81	44000	0.9205	0.2469	0.1253	0.206	0.2328	20.0
0.7899	9.92	44500	0.9201	0.2472	0.1256	0.2063	0.2331	20.0

Framework versions

Transformers 4.38.2
Pytorch 2.0.0+cu117
Datasets 2.18.0
Tokenizers 0.15.2

Library: transformers
Type: bart
License: apache-2.0
Created: Apr 20, 2024
Updated: Apr 22, 2024