yoitsmeyusuf

felsefe-bpe-tokenizer

yoitsmeyusuf/felsefe-bpe-tokenizer

felsefe-bpe-tokenizer is a machine learning model from yoitsmeyusuf. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers.

önceki datasetimde ki verileri texte dönüştürüp daha sonra bir bpe tokenizer ile eğitim yaptım kelime genişliği 8000 bu modelin https://huggingface.co/datasets/yoitsmeyusuf/felsefefinetune