Legal AI Leaderboard

Welche Modelle können juristisch arbeiten?

Juristische KI muss zweierlei leisten: Sie muss in einem Arbeitsablauf selbstständig die richtigen Quellen finden und auswerten, und sie muss einen komplexen Sachverhalt methodisch sauber lösen. Deshalb verbinden wir zwei getrennte Tests. „Agent (Arbeitsrecht)“ prüft an zehn Fällen, ob ein Modell recherchieren, Quellen einordnen und zu einer belastbaren arbeitsrechtlichen Antwort kommen kann. Dabei dient LegalGenius als einheitlicher Agent; ausgetauscht wird jeweils nur das in der Tabelle genannte Sprachmodell.

Der BenGER Benchathon prüft das reine Sprachmodell ohne Recherche, Werkzeuge oder Dokumentensammlung anhand von 15 klausurartigen Fällen aus Zivilrecht, Strafrecht und öffentlichem Recht. Bewertet werden unter anderem Ergebnis, Rechtsgrundlagen, Problemerkennung und Subsumtion. Der LegalGenius Score ist der gleich gewichtete Mittelwert beider Tests. Er zeigt, welche Modelle sowohl im praktischen juristischen Arbeitsablauf als auch im eigenständigen rechtlichen Denken überzeugen. Die gemittelten Modellinferenzkosten je Aufgabe dienen als zusätzlicher Effizienzindikator.

Libra ist als externer Agent mit beiden Testergebnissen im Qualitätsvergleich enthalten.

LG-Score

Maximum 100

Modellvergleich

Daten als CSV
Rang Modell Thinking Agent (Arbeitsrecht) BenGER Benchathon Klausurnote LG-Score Inferenzkosten / Kundenpreis*

Agentenhinweis: Im Arbeitsrechtstest verwenden alle Modelle den LegalGenius-Agenten, außer Libra mit seinem eigenen Agenten. BenGER wird jeweils ohne Recherchewerkzeuge bearbeitet.

Beide Tests werden im LG-Score gleich gewichtet. Die Inferenzkosten sind No-Cache-Listenpreise je Aufgabe, gemittelt über 25 Aufgaben einschließlich Wiederholungen, ohne Bewertung und Produktbetrieb. „≈“ kennzeichnet eine Kostenschätzung.

* Libra Starter kostet 900 € netto pro Nutzer und Jahr; bei vollständiger Nutzung von 100 Nachrichten monatlich entspricht das 0,75 € netto je Nachricht, ohne separates Content-Abonnement. Dieser Kundenpreis ist keine Inferenzkostenmessung und bleibt außerhalb des Kostenvergleichs im Diagramm.

Qualität und Modellinferenzkosten

Links oben ist besser. Die Linie verbindet Modelle, die von keinem anderen Modell zugleich bei Modellinferenzkosten und Score übertroffen werden.

Pareto-Grenze

Streudiagramm des LegalGenius Score im Verhältnis zu den Modellinferenzkosten je Aufgabe.

Referenzen