ner-lanuk-luftqualitaet

ner-lanuk-luftqualitaet — Domänenmodell und Hybrid für Luftqualitätstexte des LANUK NRW

Ein spaCy-EntityRecognizer für sechs Fachklassen (SCHADSTOFF, ORGANISATION, MESSWERT, MESSSTATION, RECHTSNORM, GRENZWERT), trainiert auf dem Silberstandard des Datensatzes fhswf/lanuk-luftqualitaet-ner, plus die Regel- und Gazetteer-Schicht, mit der zusammen es das Hybrid bildet — das beste System der zugehörigen Studienarbeit (micro-F₁ 0,844 auf dem menschlich annotierten Testsplit).

Autor: Simeon Ehmer, Fachhochschule Südwestfalen, September 2026. Lizenz: CC BY 4.0 (Gewichte, Regelschicht, laden.py); der Trainingsdatensatz fhswf/lanuk-luftqualitaet-ner steht unter CC BY-NC 4.0.

Was enthalten ist

Laden

Die Gewichte brauchen die statischen Vektoren aus de_core_news_lg 3.8.0 (500.000 Schlüssel, 300 Dimensionen), genau wie im Training:

pip install -r requirements-cpu.txt
pip install https://github.com/explosion/spacy-models/releases/download/de_core_news_lg-3.8.0/de_core_news_lg-3.8.0-py3-none-any.whl
python laden.py "Für Benzol ist in der 39. BImSchV ein Grenzwert von 5 µg/m³ festgesetzt."

from laden import domaenenmodell, regelschicht, hybrid
nlp = domaenenmodell()                 # spaCy-Pipeline mit NER
pred_r = regelschicht()                # text -> [[start, end, label], ...]
pred_h = hybrid(nlp, pred_r)           # Hybrid: SCHADSTOFF aus Regeln, Rest aus dem Modell, Regeln haben Vorrang
pred_h("Für Benzol ist in der 39. BImSchV ein Grenzwert von 5 µg/m³ festgesetzt.")

Training

Ergebnisse (Testsplit, 80 Sätze, 79 Goldspannen; seqeval strict, IOB2)

Je Klasse (F₁, Hybrid): SCHADSTOFF 0,989 · ORGANISATION 0,824 · RECHTSNORM 0,500 · MESSWERT 0,000 (siehe Grenzen). Der Vorsprung des Hybrids ist im gepaarten Bootstrap (1.000 Ziehungen) belegt: +0,061 gegen die Regeln (p = 0,026), +0,140 gegen das Domänenmodell (p < 0,002), +0,051 gegen gbert-large (p = 0,040). Vollständig in eval_test.json und im Belegexemplar (Notebook, Kapitel 9–10).

Bekannte Grenzen

• ppb-Lücke. Das Messwertmuster der Regeln kennt Massenkonzentrationen (µg/m³), keine Volumenmischungsverhältnisse (ppb, nmol/mol); das Training enthält keinen ppb-Wert. Auf dem Testsplit (elf ppb-Werte) ist MESSWERT für Regeln, Modell und Hybrid 0,000. Die Lücke wurde in der Arbeit bewusst nicht geschlossen, um sie messen zu können; eine Regelzeile behebt sie.
• Zwei Klassen ungemessen. MESSSTATION und GRENZWERT kommen im Testsplit nicht vor; die Leistung darauf ist unbekannt.
• Silber-Deckel. Das Modell hat aus Annotationen gelernt, die zu 0,765 (span-F₁) mit menschlicher Annotation übereinstimmen.
• Ein Dokumenttyp im Test. Alle Testsätze stammen aus einem Ringversuchsbericht; die Übertragbarkeit auf Jahresberichte oder Luftreinhaltepläne ist nicht gemessen.
• Falschfunde der Regeln sind selten, Auslassungen häufig (P 1,000, R 0,646): Wer belegbare Extraktion braucht, nimmt Regeln oder Hybrid; wer Vollständigkeit braucht, ein großes feinabgestimmtes Modell.

Zitation

Ehmer, S. (2026): Domänenspezifische Named Entity Recognition auf deutschen Luftqualitäts- und Behördentexten. Studienarbeit, Fachhochschule Südwestfalen. Modell: https://huggingface.co/fhswf/ner-lanuk-luftqualitaet · Datensatz: https://huggingface.co/datasets/fhswf/lanuk-luftqualitaet-ner