Benchmark & Praxis

Wie evaluiert man rechtliche KI?

Eine flüssige Antwort ist noch keine gute juristische Antwort. Wer KI für deutsches Recht beurteilen will, muss Korrektheit, Quellenarbeit, Subsumtion und Zuverlässigkeit getrennt messen.

2 Fragen kostenlos testen Zu den Ergebnissen

Warum allgemeine KI-Tests nicht ausreichen

Juristische Arbeit besteht nicht nur darin, einen plausiblen Text zu erzeugen. Eine belastbare Evaluierung muss prüfen, ob das System die richtige Norm findet, Tatbestandsmerkmale sauber anwendet, Gegenargumente erkennt und seine Aussage mit überprüfbaren Quellen verbindet.

Korrektheit

Ist das Ergebnis im konkreten Fall richtig – und nicht nur sprachlich überzeugend?

Subsumtion

Verknüpft das System Norm, Tatbestand und Sachverhalt nachvollziehbar?

Zuverlässigkeit

Bleibt die Antwort vollständig, wenn Recherche, lange Kontexte oder Tool-Aufrufe beteiligt sind?

Was der BenGER-Benchmark misst

BenGER („Benchmarking LLM Systems on Subsumption-Based Legal Reasoning in German Law“) ist ein Benchmark für rechtliches Schlussfolgern im deutschen Recht. Das Paper kombiniert 596 klausurartige Freitext-Fallaufgaben mit 531 kurzen Aufgaben zu juristischen Grundprinzipien und vergleicht zwölf Systeme anhand einer offengelegten Bewertungsmethodik.

Zu den Autor:innen gehören Sebastian Nagl, Ann-Kristin Mayrhofer, Martin Heidebach, Aleyna Koçak, Anne Zettelmeier, Elly Breu, Angelina Greiner, Sofija Milijas und Matthias Grabmair. Die Projektleitung liegt bei Sebastian Nagl und Matthias Grabmair an der Technischen Universität München (TUM).

Bewertet wird nicht nur ein Ja oder Nein. Ein LLM-Judge beurteilt die Antworten anhand einer Rubrik; die Judge-Ergebnisse wurden zusätzlich mit menschlichen Bewertungen gegengeprüft. Im Paper wird für den Judge eine Korrelation von r=0,76 mit menschlichen Bewertungen berichtet. Das macht den Test nützlich – aber nicht unfehlbar.

  • 531 kurze Aufgaben zu juristischen Grundprinzipien
  • 596 klausurartige Freitext-Fallaufgaben im Datensatz
  • offengelegte Prompts, Rubriken und Vergleichswerte

Unsere eigene Messung auf BenGER

Für die Messung wurde der ausgelieferte LegalGenius-Recherche-Agent nach dem Protokoll des Papers ausgeführt: ein offenes GLM-5.2-Modell, in der EU gehostet, mit mehrstufiger Recherche in einem rechtlichen Korpus aus rund 318.000 deutschen Gerichtsentscheidungen, 96.000 Normabschnitten und 2.062 Abschnitten offen lizenzierter juristischer Literatur aus OpenRewi und dem Examensrepetitorium Jura. Bewertet wurde mit demselben Judge und denselben Aufgaben. Es handelt sich um eine eigene Replikation des BenGER-Protokolls, nicht um eine offizielle BenGER-Evaluierung. Im Zentrum steht der Vergleich mit der Frontier-Gruppe des Benchmarks: Gemini 3.1 Pro, Claude Opus 4.7 und Claude Sonnet 4.6.

BenGER-Grundprinzipien: Judge-Score (0–100)
  • LegalGenius 82,6
  • Gemini 3.1 Pro 83,2
  • Claude Opus 4.7 83,1
  • Claude Sonnet 4.6 81,6

LegalGenius: n=363; die Frontier-Werte stammen aus dem veröffentlichten BenGER-Leaderboard.

Test Ergebnis Einordnung
Grundprinzipien 82,6/100
95%-KI: 80,2–85,0; n=363		 82,6 liegt im Bereich der Frontier-Werte: Gemini 83,2, Opus 83,1, Sonnet 81,6.
Benchathon 6,60/18 Punkte
87% bestanden; 15 klausurartige Aufgaben		 Struktur und Methode waren stärker als fachliche Tiefe und Subsumtion.

Die faire Aussage lautet daher: Im getesteten BenGER-Subset war LegalGenius auf dem Judge-Score statistisch nicht von den dortigen Spitzenwerten zu unterscheiden. Daraus folgt weder, dass LegalGenius allgemein so gut wie ein bestimmtes Flagship- Modell ist, noch dass Antworten ohne Prüfung übernommen werden sollten.

Der schwierigere Test: lange Klausurantworten

Bei 15 klausurartigen Aufgaben erreichte der Agent 6,6 von 18 Punkten und eine Bestehensquote von 87%. Das liegt unter den geschlossenen Spitzenmodellen (9,0–9,6 Punkte), aber über der traditionellen Human-Baseline ohne KI (4,72 Punkte; 52% bestanden). Die Benchathon-Teilnehmenden waren überwiegend Jurastudierende; hinzu kamen Referendar:innen, Absolvent:innen und wenige Personen ohne formale juristische Ausbildung. Die Fehleranalyse ist aufschlussreicher als die eine Gesamtnote: Gliederung und methodischer Stil waren relativ stark, Rechtskenntnis, Subsumtionstiefe und Schwerpunktsetzung lagen deutlich niedriger.

BenGER-Benchathon: Klausurpunkte (0–18)
  • Human-Baseline ohne KI 4,72
  • LegalGenius 6,60
  • Gemini 3.1 Pro 9,6
  • Claude Opus 4.7 9,5

LegalGenius: 15 klausurartige Aufgaben; Human-Baseline und Frontier-Werte: veröffentlichte BenGER-Vergleichswerte.

Eine praktische Checkliste für juristische KI

Wer ein System für Kanzlei oder Rechtsabteilung evaluiert, sollte mindestens diese fünf Fragen beantworten:

  1. Gibt es echte, domänenspezifische Aufgaben statt nur allgemeiner Chatfragen?
  2. Werden Korrektheit, Subsumtion, Quellen und Vollständigkeit getrennt bewertet?
  3. Wird die Recherchequalität getrennt von der Sprachqualität bewertet?
  4. Werden leere, abgeschnittene oder erfundene Antworten als Zuverlässigkeitsfehler sichtbar?
  5. Sind Aufgaben, Prompts, Rubrik und Unsicherheiten so dokumentiert, dass andere den Test wiederholen können?

Rechtliche KI selbst mit einer Frage ausprobieren

Ein Benchmark zeigt Aggregate. Für den eigenen Workflow zählt zusätzlich, ob die Recherche eine konkrete erste Quellenlage schneller und kontrollierbarer macht. Testen Sie LegalGenius mit zwei kostenlosen Fragen – bitte ohne personenbezogene Mandantendaten.

2 Fragen kostenlos testen

Quellen und Methodik