Old_News_Segmentation_SBERT_V0.1

SentenceTransformer based on CALDISS-AAU/DA-BERT_Old_News_V1

This is a sentence-transformers model finetuned from CALDISS-AAU/DA-BERT_Old_News_V1. It is an initial version of a model meant to assist in segmenting ENO. It can also be used as a general purpose embedding model for eighteenth- and early nineteenth-century Danish. It has been trained from newspaper data, covering a wide range of genres and topics.

Model Description

• Model Type: Sentence Transformer
• Base model: CALDISS-AAU/DA-BERT_Old_News_V1 <!-- at revision bc4fe96db0c5398c708397ccee7340a71d47fa2c -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Training Details

Training Dataset

Unnamed Dataset

• Size: 20,502 training samples
• Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	<ul><li>min: 4 tokens</li><li>mean: 27.64 tokens</li><li>max: 314 tokens</li></ul>	<ul><li>min: 4 tokens</li><li>mean: 27.19 tokens</li><li>max: 218 tokens</li></ul>	<ul><li>min: 0.0</li><li>mean: 0.45</li><li>max: 1.0</li></ul>

• Samples:

  sentence_0	sentence_1	label
  <code>Slagelse den 31te Januar 1818. Vastholm.</code>	<code>Sølv til Amtets Fattigkasse forbudt, efter privat Overeenskomst med vedkommende Ægtpligtige at modtage Vederlag, enten i Penge, eller andre Præstationer, istedet for Befordring en naturg.</code>	<code>0.0</code>
  <code>– Ved Opholdet i Louisenlund har Hs. Majestæt Kongen den 10de dennes allernaadigst egenhændigen overlevet Storcommandeurkorset af Dannebrogen til Allerhøistsammes Svigerfader Hs. Durchl.</code>	<code>Landgreve Carl til Churbessen, Generalfeldtmarskal Stadtholder i Hertugdømmene Slesvig og Holsteen, Ridder af Elefanten og Dannebrogsmand.</code>	<code>1.0</code>
  <code>, samt Eieren af Riignorgaard i Amtet Gottorf, H. Petersen, udnævnte til Landmaalere.</code>	<code>Under Finants-Collegiet: Til Kasserer for de specielle Oppebørseler i Hertugdommene, har Hs. Majestæt, under 26de Juli dette Aar, udnævnt C. Schleth, Kasserer, Bogholder og Regnskabsfører ved Travensalzer Salme; forhenværende Revisor ved den grønlandske Handel, N. Døller, udnævnt til General-Revisor ved Lottoet i Kjøbenhavn.</code>	<code>0.0</code>

• Loss: <code>CosineSimilarityLoss</code> with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }