Legal AI Leaderboard

Welche Modelle können juristisch arbeiten?

Juristische KI muss zweierlei leisten: Sie muss in einem Arbeitsablauf selbstständig die richtigen Quellen finden und auswerten, und sie muss einen komplexen Sachverhalt methodisch sauber lösen. Deshalb verbinden wir zwei getrennte Tests. „Agent (Arbeitsrecht)“ prüft an zehn Fällen, ob ein Modell recherchieren, Quellen einordnen und zu einer belastbaren arbeitsrechtlichen Antwort kommen kann. Dabei dient LegalGenius als einheitlicher Agent; ausgetauscht wird jeweils nur das in der Tabelle genannte Sprachmodell.

Der BenGER Benchathon prüft das reine Sprachmodell ohne Recherche, Werkzeuge oder Dokumentensammlung anhand von 15 klausurartigen Fällen aus Zivilrecht, Strafrecht und öffentlichem Recht. Bewertet werden unter anderem Ergebnis, Rechtsgrundlagen, Problemerkennung und Subsumtion. Der LegalGenius Score ist der gleich gewichtete Mittelwert beider Tests. Er zeigt, welche Modelle sowohl im praktischen juristischen Arbeitsablauf als auch im eigenständigen rechtlichen Denken überzeugen. Die gemittelten Modellinferenzkosten je Aufgabe dienen als zusätzlicher Effizienzindikator.

Libra ist als externer Agent mit beiden Testergebnissen im Qualitätsvergleich enthalten.

LG-Score

Maximum 100

Modellvergleich

Daten als CSV
Rang Modell Thinking Agent (Arbeitsrecht) BenGER Benchathon Klausurnote LG-Score Inferenzkosten / Kundenpreis*

Agentenhinweis: Im Arbeitsrechtstest verwenden alle Modelle den LegalGenius-Agenten, außer Libra mit seinem eigenen Agenten. BenGER wird jeweils ohne Recherchewerkzeuge bearbeitet.

Beide Tests werden im LG-Score gleich gewichtet. Die Inferenzkosten sind No-Cache-Listenpreise je Aufgabe, gemittelt über 25 Aufgaben einschließlich Wiederholungen, ohne Bewertung und Produktbetrieb. „≈“ kennzeichnet eine Kostenschätzung.

DeepSeek V4.1 Flash 1017 wurde am 17. Oktober 2026 mit allen zehn Agentenfällen und 15 direkten BenGER-Fällen gemessen. Sein Benchathon-Limit beträgt 64.000 Ausgabetokens statt der bisher verwendeten 32.000; die Ergebnisse sind deshalb nur eingeschränkt vergleichbar. Die Kosten verwenden TensorX-Listenpreise für die 25 gewerteten Aufgaben; der abgebrochene Vorversuch mit 16.000 Tokens ist nicht enthalten. Einzelwerte und Laufdetails.

Qwen3.8 27B erreicht im BenGER-Lauf vom 19. Oktober 2026 mit Thinking Medium 49,6 Punkte bei 15 Antworten aus 15 Fällen und einem Limit von 32.000 Tokens. Der Agentenwert von 91 Punkten stammt weiterhin aus dem Xhigh-Lauf vom 18. August 2026; der LG-Score von 70,3 kombiniert damit unterschiedliche Thinking-Einstellungen. Der Agent wurde nicht erneut gemessen. Medium war die beste der vier an denselben 15 Fällen getesteten Stufen. Die Kosten verwenden aktuelle TensorX-Listenpreise für diese 25 gewerteten Aufgaben; andere Thinking-Stufen und unterbrochene Zusatzanfragen ohne Verbrauchsdaten sind nicht enthalten. Einzelwerte, Thinking-Vergleich und Kosten.

* Libra Starter kostet 900 € netto pro Nutzer und Jahr; bei vollständiger Nutzung von 100 Nachrichten monatlich entspricht das 0,75 € netto je Nachricht, ohne separates Content-Abonnement. Dieser Kundenpreis ist keine Inferenzkostenmessung und bleibt außerhalb des Kostenvergleichs im Diagramm.

Der Webapp-Kundenpreis bei GLM-5.3 Flash beträgt geschätzt 0,13 € je Recherche: Durchschnitt der zehn Arbeitsrechtsfälle zum aktiven LegalGenius-Tarif vom 18. Oktober 2026, ohne Cache-Rabatte. Die tatsächliche Abrechnung richtet sich nach dem Tokenverbrauch; dies ist kein fester Preis pro Anfrage. Tarif und Rechenweg.

Qualität und Modellinferenzkosten

Links oben ist besser. Die Linie verbindet Modelle, die von keinem anderen Modell zugleich bei Modellinferenzkosten und Score übertroffen werden.

Pareto-Grenze

Streudiagramm des LegalGenius Score im Verhältnis zu den Modellinferenzkosten je Aufgabe.

Referenzen