Für Fachanwender in Statik, Buchhaltung oder Verwaltung zählt nicht nur, wie oft ein System die richtige Antwort liefert. Ebenso wichtig ist, was es tut, wenn eine Angabe fehlt. Genau diesen Fall misst die Halluzinationsrate.
Was eine Halluzinationsrate misst
Der Benchmark StatikBench enthält in Version 0.4 unter 5.888 Aufgaben 138 sogenannte Negativ-Items: Aufgaben, denen bewusst eine für die Lösung notwendige Angabe fehlt. Die korrekte Antwort lautet in diesen Fällen „keine Angabe möglich“. Ein Sprachmodell kann diesen Fall erkennen und so benennen, oder es kann einen plausibel wirkenden Wert erfinden. Der Anteil der erfundenen Werte an diesen Aufgaben ist die Halluzinationsrate. Sie misst damit nicht Wissen, sondern Zurückhaltung unter Unsicherheit.
Warum Genauigkeit allein nicht reicht
Die bisherigen Auswertungen von StatikBench zeigen, warum diese zweite Kennzahl nötig ist. Rohe Sprachmodelle ohne zusätzliche Absicherung erreichen 22 bis 26 Prozent Feldgenauigkeit und erfinden in vier von zehn Fällen mit fehlender Angabe einen Wert. Reasoning-Modi heben die Feldgenauigkeit auf bis zu 75 Prozent, ohne das Sicherheitsproblem bei fehlenden Angaben zu lösen. Ein Modell kann also merklich genauer werden und trotzdem bei fehlenden Angaben weiterhin Werte erfinden. Für einen Tragwerksplaner oder einen Sachbearbeiter, der sich auf eine Ausgabe verlässt, ist diese Unterscheidung wichtig: Eine falsche Zahl, die als Ergebnis ausgegeben wird, ist riskanter als eine ehrlich ausgewiesene Lücke.
Die gleiche Disziplin in der Dokumentenverarbeitung
Dasselbe Prinzip gilt außerhalb von Sprachmodell-Benchmarks. German-OCR folgt der Regel „lieber null als geraten“: Ist ein Feld in einem Beleg oder Plan nicht eindeutig zu lesen, bleibt es leer, statt einen wahrscheinlichen Wert einzusetzen. Belegant wendet für Schweizer Belege eine vergleichbare NULL-Disziplin an: Was nicht eindeutig im Bild steht, wird als null ausgegeben, nicht ergänzt. In beiden Fällen ist die Zurückhaltung keine Schwäche des Systems, sondern eine geprüfte Eigenschaft.
Wie sich das prüfen lässt
Eine Halluzinationsrate lässt sich nur messen, wenn ein Prüfverfahren gezielt Fälle mit fehlender oder widersprüchlicher Information enthält, statt ausschließlich vollständige, lösbare Aufgaben zu stellen. StatikBench führt dafür neben der Halluzinationsrate die Kennzahl Verify-Catch, die erfasst, wie zuverlässig ein nachgeschalteter Prüfschritt falsche Werte erkennt, bevor sie weitergegeben werden. Für Fachanwender ist diese Kombination aus Feldgenauigkeit, Halluzinationsrate und Verify-Catch aussagekräftiger als ein einzelner Gesamtscore.
Die vollständige Methodik und aktuelle Zahlen zur Halluzinationsrate stehen unter statikbench.de bereit.
