BelegBench ist ein offener Datensatz zur Prüfung, wie zuverlässig Systeme Belege aus dem deutschsprachigen Raum lesen. Version 2, veröffentlicht im August 2026, vergrößert den Datensatz von 300 Dokumenten in der ersten Fassung auf 10.002 Belege aus der Schweiz, Deutschland und Österreich. Der Datensatz steht unter Apache-2.0-Lizenz auf Hugging Face bereit.

Drei Länder, drei Regelwerke

Der Schweizer Teil bildet Swiss-QR-Rechnungen in Deutsch, Französisch und Italienisch ab. Der deutsche Teil folgt Rechnungen nach § 14 UStG mit GiroCode, der österreichische Teil Rechnungen nach § 11 UStG mit dem Verfahren „Zahlen mit Code“. Jeder Teil folgt damit nicht nur einem anderen Layout, sondern einer eigenen rechtlichen und technischen Grundlage.

Synthetisch, aber arithmetisch konsistent

Alle 10.002 Belege sind zu 100 Prozent synthetisch erzeugt. Das erlaubt eine vollständige und arithmetisch konsistente Ground Truth: Summen, Steuerbeträge und Positionen passen exakt zusammen, Kennungen wie IBAN oder Referenznummern sind prüfsummenkorrekt gebildet. Die eingebetteten QR-Codes sind echte, scannbare Codes und keine Platzhalter-Grafiken. Ein System, das auf BelegBench getestet wird, arbeitet damit an Belegen, die sich wie echte Dokumente verhalten, ohne dass dafür echte Belegdaten verwendet werden mussten.

Verteilung der Belege

Jede der drei Länderkonfigurationen umfasst 3.334 Belege. Innerhalb des Schweizer Teils verteilen sich die Sprachen auf 2.090 deutsche, 826 französische und 418 italienische Belege. Neben klassischen Rechnungen enthält der Datensatz auch Gutschriften und Kleinbeträge. Der Anteil an Belegen mit QR-Code liegt bei 72 Prozent in der Schweiz, 38 Prozent in Deutschland und 43 Prozent in Österreich und spiegelt damit den unterschiedlichen Verbreitungsgrad der jeweiligen Verfahren.

Scan-Degradation als Realitätstest

Ein Teil der Belege wird zusätzlich mit einer simulierten Scan-Degradation von rund 24 bis 26 Prozent bereitgestellt. Damit lässt sich prüfen, wie stabil eine Erkennung bleibt, wenn Dokumente nicht als perfektes PDF, sondern als eingescanntes, leicht verschlechtertes Bild vorliegen, wie es im Posteingang eines Unternehmens eher die Regel als die Ausnahme ist.

BelegBench steht vollständig offen zur Verfügung und eignet sich damit auch für Vergleiche unabhängig von Hardani. Der Datensatz liegt unter der Kennung keyvan-ai/belegbench auf Hugging Face.