Downloads · 30 days
48
2% of all-time downloads
Jerteh-81
jerteh/Jerteh-81
Jerteh-81 is a fill-mask model from jerteh. Use it when you need the model to fill a missing word. It is set up for transformers. The card lists the license as cc-by-sa-4.0.
<h4 <i class="highlight-container"<b class="highlight"jerteh-81</b</i — BERT model specijalno obučen za srpski jezik.</h4
All-time downloads
2.3K
Public
Parameters
81.3M
651 MB on disk
Likes
3
Public
Repo makeup
Click a slice to open those files.
.bin325 MB · 50%
Parameter types
How the weights are stored.
F3281.3M · 100%
Try a prompt
Model card
From the Hugging Face model README
<h4>
<i class="highlight-container"><b class="highlight">jerteh-81</b></i> —
BERT model specijalno obučen za srpski jezik.</h4>
<img src="cover.png" class="cover">
<!--div id="zastava">
<div class="grb">
<img src="https://www.ai.gov.rs/img/logo_60x120-2.png" style="position:relative; left:30px; z-index:10; height:85px">
</div>
<table width=100% style="border:0px">
<tr style=
"background-color:#C6363C;width:100%;border:0px;height:30px"><td></td></tr>
<tr style="background-color:#0C4076;width:100%;border:0px;height:30px"><td></td></tr>
<tr style="background-color:#ffffff;width:100%;border:0px;height:30px"><td></td></tr>
</table>
</div-->
<ul style="font-weight:bold">
<li>Vektorizuje reči, ili dopunjava nedostajuće reči u tekstu</li>
<li>Zasnovan na RoBERTa-base arhitekturi, 81 milion parametara</li>
<li>Obučavan na korpusu srpskog jezika veličine 4 milijarde tokena</li>
<li>Među najboljim rezultatima u modelovanju maskiranog jezika za srpski!</li>
<li>Jednaka podrška unosa i na ćirilici i na latinici!</li>
</ul>
Pored skupova navedenih u metapodacima, model je obučavan i na ostalim korpusima Društva za jezičke resurse i tehnologije, uključujući korpuse savremenog srpskog jezika: SrpKor2013 i SrpKor2021, kao i korpus PDRS 1.0 razvijen od strane Instituta za Srpski jezik SANU.
Upotreba
>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='jerteh/jerteh-81')
>>> unmasker("Kada bi čovek znao gde će pasti on bi<mask>.")
[{'score': 0.16073498129844666, 'token': 11379, 'token_str': ' pao', 'sequence': 'Kada bi čovek znao gde će pasti on bi pao.'},
{'score': 0.14656540751457214, 'token': 10799, 'token_str': ' umro', 'sequence': 'Kada bi čovek znao gde će pasti on bi umro.'},
{'score': 0.11459200084209442, 'token': 7797, 'token_str': ' otišao', 'sequence': 'Kada bi čovek znao gde će pasti on bi otišao.'},
{'score': 0.061787571758031845, 'token': 7103, 'token_str': ' znao', 'sequence': 'Kada bi čovek znao gde će pasti on bi znao.'},
{'score': 0.0532902330160141, 'token': 998, 'token_str': ' rekao', 'sequence': 'Kada bi čovek znao gde će pasti on bi rekao.'}]
>>> from transformers import AutoTokenizer, AutoModelForMaskedLM
>>> from torch import LongTensor, no_grad
>>> from scipy import spatial
>>> tokenizer = AutoTokenizer.from_pretrained('jerteh/jerteh-81')
>>> model = AutoModelForMaskedLM.from_pretrained('jerteh/jerteh-81', output_hidden_states=True)
>>> x = " pas"
>>> y = " mačka"
>>> z = " svemir"
>>> tensor_x = LongTensor(tokenizer.encode(x, add_special_tokens=False)).unsqueeze(0)
>>> tensor_y = LongTensor(tokenizer.encode(y, add_special_tokens=False)).unsqueeze(0)
>>> tensor_z = LongTensor(tokenizer.encode(z, add_special_tokens=False)).unsqueeze(0)
>>> model.eval()
>>> with no_grad():
>>> vektor_x = model(input_ids=tensor_x).hidden_states[-1].squeeze()
>>> vektor_y = model(input_ids=tensor_y).hidden_states[-1].squeeze()
>>> vektor_z = model(input_ids=tensor_z).hidden_states[-1].squeeze()
>>> print(spatial.distance.cosine(vektor_x, vektor_y))
>>> print(spatial.distance.cosine(vektor_x, vektor_z))
0.09954947233200073
0.21845555305480957
Citiranje
@article{skoric24modeli,
author = {Mihailo \vSkori\'c},
title = {Novi jezi\vcki modeli za srpski jezik},
journal = {Infoteka},
volume = {24},
issue = {1},
year = {2024},
publisher = {Zajednica biblioteka univerziteta u Srbiji, Beograd},
url = {https://arxiv.org/abs/2402.14379}
}
- Task
- Fill-Mask
- Library
- transformers
- Type
- roberta
- License
- cc-by-sa-4.0
- Languages
- sr
- Created
- Jul 21, 2023
- Updated
- May 23, 2025