nl_meningen

Introduction

Als data scientist nam ik deel aan de hackathon georganiseerd door de Ministeries van BZK en VWS. Ik toelegde mij op Challenge 2: het verbeteren van de gebruikerservaring op de website en het optimaliseren van relevante informatieverschaffing met behulp van design en data science. Een belangrijk onderdeel van mijn bijdrage was de implementatie van een text classification model. Dit model analyseert meningen over de overheidssite en classificeert ze als positief of negatief. Het biedt een waardevol instrument om de gebruikerservaring te monitoren en te verbeteren. De hackathon bood een vruchtbare omgeving om innovatieve oplossingen te ontwikkelen die de interactie tussen de overheid en haar burgers verbeteren. Mijn text classification model draagt bij aan een meer gepersonaliseerde en efficiënte gebruikerservaring op overheidswebsites.

Prompt with Prodigy

Go to folder envs (home/anaconda3/envs) and open the terminal (Ctl+ALT+T) run: source prodi-env/bin/activate where prodi-env is the folder of processing

run: prodigy textcat.manual meningen_dataset ./meningen.txt --label Positief,Negatief

run to create model : prodigy train /home/gebruiker/anaconda3/hack_model --textcat meningen_dataset --lang "nl" --label-stats --verbose or to export data to spacy

Type: prodigy data-to-spacy /home/gebruiker/anaconda3/envs/corpus --textcat meningen_dataset --lang "nl" --eval-split 0.1

To use this data for training with spaCy, you can run: python -m spacy train --output /home/gebruiker/anaconda3/meningen_model /home/gebruiker/anaconda3/envs/corpus/config.cfg --paths.train /home/gebruiker/anaconda3/envs/corpus/train.spacy --paths.dev /home/gebruiker/anaconda3/envs/corpus/dev.spacy

Upload model to huggingface

huggingface-cli login python -m spacy package /home/gebruiker/anaconda3/meningen_model/model-last /home/gebruiker/anaconda3/output --build wheel cd /home/gebruiker/anaconda3/output/nl_meningen-0.0.0/dist/ python -m spacy huggingface-hub push nl_meningen-0.0.0-py3-none-any.whl

To download the data set from the database run: python -m prodigy db-out meningen_dataset > meningen_dataset.jsonl

Label Scheme

<details> <summary>View label scheme (2 labels for 1 components)</summary> </details>

Accuracy