Legal AI Intelligence
Welche Modelle können juristisch arbeiten?
Ein fortlaufender Vergleich von KI-Modellen in echter agentischer Rechtsrecherche und klausurartigem juristischem Denken. Gemessen werden Qualität, Zuverlässigkeit und Laufzeit statt bloßer Sprachgewandtheit.
Was hier anders ist
Nicht nur das Modell, sondern das ganze Arbeitssystem zählt.
Juristische Agenten müssen recherchieren, Quellen lesen, nach Werkzeugaufrufen weiterdenken und eine belastbare Antwort fertigstellen. Deshalb veröffentlichen wir neben dem Qualitätsscore auch die Erfolgsquote und die Laufzeit.
Ergebnisse sind nur innerhalb desselben Benchmarks direkt vergleichbar. Ältere Harness-Versionen bleiben als historischer Kontext sichtbar, werden aber klar markiert.
LegalGenius Praxistest
Arbeitsrecht Agent Eval
Zehn anspruchsvolle Fälle mit Recherche in Gesetzen, Rechtsprechung und Literatur. Jeder Fall wird von einem unabhängigen Judge mit 0 bis 10 Punkten bewertet.
- Aufgaben
- 10
- Maximum
- 100
- Agentenlimit
- 50 Schritte
Muse Glimmer 30B streute in Wiederholungen zwischen 38 und 87 Punkten. Sein Einzelwert ist deshalb nicht als stabiler Produktionswert zu lesen.
Anbieter-Abdeckung
Geschlossene Modelle im selben Arbeitsrecht-Test
Pro Anbieter zeigen wir den besten bisher gemessenen vollständigen 10-Fälle-Lauf. Fehlende Werte sind bewusst als offen markiert.
Offene Gewichte wie GLM, Qwen und DeepSeek stehen bereits in der normalen Modelltabelle. Diese Übersicht ergänzt nur Anbieter mit proprietären Modellgewichten; OpenRouter und Nebius sind dabei lediglich Inferenzrouten.
Qualität und Geschwindigkeit
Vollständige Läufe der aktuellen Harness-Familie. Weiter oben ist besser, weiter links ist schneller.
Spitzengruppe
Weitere Modelle
Provider-spezifische Reasoning-Einstellungen werden je Lauf ausgewiesen. Einen Kostenvergleich ergänzen wir erst, wenn Listenpreis, Cache und Abrechnungsfaktor über alle Provider einheitlich normalisiert sind.
| Rang |
|---|
Externer Benchmark
BenGER Benchathon
Fünfzehn klausurartige Aufgaben mit Experten-Musterlösungen. Die Tabelle kombiniert veröffentlichte BenGER-Referenzwerte mit klar markierten eigenen Replikationen.
- Aufgaben
- 15
- Notenskala
- 0–18
- Judge
- 0–100
LegalGenius Baseline
6,60/18
Über der traditionellen Human-Baseline, unter der geschlossenen Spitzengruppe.
Der im Juli getestete GLM-5.2-Rechercheagent bestand 87 Prozent der Aufgaben. Der Abstand zur Spitze lag vor allem bei Rechtskenntnis, Subsumtionstiefe und Schwerpunktsetzung.
| Rang | Typ | Quelle |
|---|
Transparenz vor Rang
So sollten die Werte gelesen werden.
Ein Lauf ist noch keine Naturkonstante.
Der 10-Fälle-Test ist bewusst praxisnah, aber klein. Modell- und Provider-Varianz kann einzelne Plätze verschieben. Besonders auffällige Varianz wird markiert.
Agenten sind mehr als Basismodelle.
Prompt, Recherchewerkzeuge, Korpus, Tokenbudget, Wiederholungslogik und Provider beeinflussen das Ergebnis. Die Seite benennt deshalb Modell und Systemkonfiguration.
Zuverlässigkeit gehört zum Score.
Eine fachlich starke Antwort hilft nicht, wenn der Lauf abbricht. Fehler werden nicht stillschweigend durch spätere Einzel-Retries ersetzt, sondern als null Punkte und in der Erfolgsquote sichtbar.
Benchmarks ersetzen keine Einzelfallprüfung.
Die Werte beschreiben Testleistung. Sie sind weder Rechtsberatung noch ein Versprechen, dass ein System in jedem Rechtsgebiet oder Sachverhalt gleich gut arbeitet.
Methodik und Primärquellen
Prompts, Bewertungslogik, Konfidenzintervalle und bekannte Grenzen.