Downloads · 30 days
58
1% of all-time downloads
Jerteh-355
jerteh/Jerteh-355
Jerteh-355 is a fill-mask model from jerteh. Use it when you need the model to fill a missing word. It is set up for transformers. The card lists the license as cc-by-sa-4.0.
<h4<i class="highlight-container"<b class="highlight"jerteh-355</b</i — Najveći BERT model specijalno obučen za srpski jezik.</h4
All-time downloads
4.1K
Public
Parameters
354M
2.8 GB on disk
Likes
5
Public
Repo makeup
Click a slice to open those files.
.bin1.4 GB · 50%
Parameter types
How the weights are stored.
F32354M · 100%
Try a prompt
Model card
From the Hugging Face model README
<h4><i class="highlight-container"><b class="highlight">jerteh-355</b></i> —
Najveći BERT model specijalno obučen za srpski jezik.</h4>
<img src="cover.png" class="cover">
<!--div id="zastava">
<div class="grb">
<img src="https://www.ai.gov.rs/img/logo_60x120-2.png" style="position:relative; left:30px; z-index:10; height:85px">
</div>
<table width=100% style="border:0px">
<tr style=
"background-color:#C6363C;width:100%;border:0px;height:30px"><td></td></tr
>
<tr style="background-color:#0C4076;width:100%;border:0px;height:30px"><td></td></tr>
<tr style="background-color:#ffffff;width:100%;border:0px;height:30px"><td></td></tr>
</table>
</div-->
<ul style="font-weight:bold">
<li>Vektorizuje reči, ili dopunjava nedostajuće reči u tekstu</li>
<li>Zasnovan na RoBERTa-large arhitekturi, 355 miliona parametara</li>
<li>Obučavan na korpusu srpskog jezika veličine 4 milijarde tokena</li>
<li>Najbolji rezultati u modelovanju maskiranog jezika za srpski!</li>
<li>Jednaka podrška unosa i na ćirilici i na latinici!</li>
</ul>
</div>
Pored skupova navedenih u metapodacima, model je obučavan i na ostalim korpusima Društva za jezičke resurse i tehnologije, uključujući korpuse savremenog srpskog jezika: SrpKor2013 i SrpKor2021, kao i korpus PDRS 1.0 razvijen od strane Instituta za Srpski jezik SANU.
Upotreba
>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='jerteh/jerteh-355')
>>> unmasker("Kada bi čovek znao gde će pasti on bi<mask>.")
>>>
[{'score': 0.2131326049566269, 'token': 11379, 'token_str': ' pao', 'sequence': 'Kada bi čovek znao gde će pasti on bi pao.'},
{'score': 0.18836458027362823, 'token': 20536, 'token_str': ' pobegao', 'sequence': 'Kada bi čovek znao gde će pasti on bi pobegao.'},
{'score': 0.07937008887529373, 'token': 10799, 'token_str': ' umro', 'sequence': 'Kada bi čovek znao gde će pasti on bi umro.'},
{'score': 0.04340635612607002, 'token': 7797, 'token_str': ' otišao', 'sequence': 'Kada bi čovek znao gde će pasti on bi otišao.'},
{'score': 0.038474686443805695, 'token': 25984, 'token_str': ' odustao', 'sequence': 'Kada bi čovek znao gde će pasti on bi odustao.'}]
>>> from transformers import AutoTokenizer, AutoModelForMaskedLM
>>> from torch import LongTensor, no_grad
>>> from scipy import spatial
>>> tokenizer = AutoTokenizer.from_pretrained('jerteh/jerteh-355')
>>> model = AutoModelForMaskedLM.from_pretrained('jerteh/jerteh-355', output_hidden_states=True)
>>> x = " pas"
>>> y = " mačka"
>>> z = " svemir"
>>> tensor_x = LongTensor(tokenizer.encode(x, add_special_tokens=False)).unsqueeze(0)
>>> tensor_y = LongTensor(tokenizer.encode(y, add_special_tokens=False)).unsqueeze(0)
>>> tensor_z = LongTensor(tokenizer.encode(z, add_special_tokens=False)).unsqueeze(0)
>>> model.eval()
>>> with no_grad():
>>> vektor_x = model(input_ids=tensor_x).hidden_states[-1].squeeze()
>>> vektor_y = model(input_ids=tensor_y).hidden_states[-1].squeeze()
>>> vektor_z = model(input_ids=tensor_z).hidden_states[-1].squeeze()
>>> print(spatial.distance.cosine(vektor_x, vektor_y))
>>> print(spatial.distance.cosine(vektor_x, vektor_z))
>>>
0.029090166091918945
0.0369451642036438
Citiranje
@article{skoric24modeli,
author = {Mihailo \vSkori\'c},
title = {Novi jezi\vcki modeli za srpski jezik},
journal = {Infoteka},
volume = {24},
issue = {1},
year = {2024},
publisher = {Zajednica biblioteka univerziteta u Srbiji, Beograd},
url = {https://arxiv.org/abs/2402.14379}
}
- Task
- Fill-Mask
- Library
- transformers
- Type
- roberta
- License
- cc-by-sa-4.0
- Languages
- sr
- Created
- Jul 3, 2023
- Updated
- May 23, 2025