Prüfstände
Zahlen statt Adjektive. Zu jedem Produkt ein Benchmark.
Zu jedem Produkt gehört ein Prüfstand oder ein Benchmark. Aufgaben, Musterlösungen und Auswertungen sind dokumentiert; Lizenznehmer können sämtliche Läufe eigenständig nachvollziehen.
/ BelegBench
Der offene Benchmark für Belege aus CH, DE und AT.
BelegBench ist der Benchmark hinter Belegant und German-OCR: 10.002 synthetische Belege aus der Schweiz (QR-Rechnungen in Deutsch, Französisch und Italienisch), Deutschland (Rechnungen nach § 14 UStG, GiroCode) und Österreich (Rechnungen nach § 11 UStG). Jeder Beleg hat eine vollständige, arithmetisch konsistente Ground Truth, prüfsummenkorrekte Kennungen und echte, scannbare QR-Codes.
Rund ein Viertel der Belege ist mit Scan-Degradation versehen. Bewertet wird feldweise; leere Felder müssen leer bleiben. Der Datensatz ist unter Apache 2.0 veröffentlicht.
/ E-Rechnungs-Prüfstand
XRechnung und ZUGFeRD prüfen, kostenlos.
Der Prüfstand nimmt eingehende E-Rechnungen entgegen und prüft sie auf Formatkonformität. Bei ZUGFeRD gleicht er zusätzlich das sichtbare PDF mit dem eingebetteten XML ab: Beträge, Positionen und Steuersätze müssen übereinstimmen.
Der Prüfstand ist kostenlos und wird unter German-OCR betrieben. Er dient zugleich als Referenz für German-OCR: Was aus dem PDF gelesen wird, muss zum XML passen.
/ Einblick
Der E-Rechnungs-Prüfstand im Betrieb.
demo.german-ocr.de
Zugang auf Anfrage
/ Methodik
Wie gemessen wird.
Musterlösung aus dem Rechenkern
Die Referenz kommt nicht aus einem Sprachmodell, sondern aus deterministischer Berechnung oder aus dem Beleg selbst. Wo möglich, wird mit unabhängiger Software gegengerechnet.
Feld statt Fließtext
Bewertet wird der Wert im Lösungsfeld, nicht die Formulierung. Fehlende Angaben müssen als fehlend erkannt werden; erfundene Werte zählen als Halluzination.
Gleiche Testmenge, gleiche Metrik
Vor und nach jeder Modellanpassung wird auf derselben Menge gemessen. In Kundenprojekten ist die Abnahme eine dokumentierte Kennzahl.