Veröffentlicht am
GitHub hat am 5. Oktober 2026 ReviewBench als Forschungsvorschau vorgestellt. Der Benchmark soll KI-Systeme vergleichen, die Codeänderungen prüfen. Laut Ankündigung umfasst der Test 219 Pull Requests aus 187 öffentlichen Repositories in 19 Programmiersprachen. Die zusätzlich genannten 103,9 Millionen Pull Requests dienten zur Analyse typischer Verteilungen; sie bilden nicht den eigentlichen Testumfang. GitHubs Ankündigung
Was der Benchmark misst
Die Referenzbefunde entstehen laut GitHub aus menschlichen Reviews, späteren Korrekturen, statischer Analyse und mehreren Modellfamilien. Kandidaten werden zusammengeführt und anhand gemeinsamer Kriterien geprüft. Für Vergleiche verwendet GitHub insbesondere die Trefferquote gegenüber diesem festgelegten Bestand. Eine ergänzende Auswertung berücksichtigt zusätzliche, als gültig bewertete Funde eines Systems. Deren Bezugsgröße kann sich jedoch verändern. GitHub veröffentlicht zudem Aufschlüsselungen nach Schweregrad und Fehlerkategorie.
Die Auswertung nutzt selbst ein Sprachmodell als Richter. GitHub berichtet über einen Abgleich mit erfahrenen Ingenieuren, die nicht am Aufbau des Benchmarks beteiligt waren. Das ist eine vom Anbieter beschriebene Qualitätskontrolle, kein hier durchgeführter unabhängiger Test. Datensatz und Auswertungskonfiguration werden versioniert. Methodik und Forschungsstatus
Warum das für Agenten relevant ist
Wie agentische Reviews praktisch arbeiten, zeigt die bestehende Copilot-Dokumentation: Das System kann zusätzlichen Projektkontext sammeln und Korrekturvorschläge an einen Programmieragenten weiterreichen. Die agentischen Funktionen verwenden GitHub Actions; die Weitergabe von Vorschlägen ist als öffentliche Vorschau gekennzeichnet. Das beschreibt den Produktkontext, keine weitere Neuankündigung vom 5. Oktober. GitHub-Dokumentation zu Code-Reviews
GitHub weist außerdem ausdrücklich darauf hin, dass Copilot Probleme übersehen und falsche Hinweise liefern kann. Rückmeldungen sollen geprüft und durch menschliche Reviews ergänzt werden. Für die Nutzung nennt die Dokumentation zwei Kostenbestandteile: KI-Credits für die Modellinteraktion und Actions-Minuten für agentische Funktionen. Ein Benchmarkwert beantwortet damit noch nicht die Frage nach dem betrieblichen Aufwand. Funktionsumfang, Kostenstruktur und Grenzen
Unsere Einordnung: mit eigenen Änderungen gegenprüfen
Relevant ist ReviewBench vor allem für Entwicklungsteams, die Review-Agenten auswählen oder deren Konfiguration verändern. Wir würden einen öffentlichen Vergleich als Ausgangspunkt für einen kleinen eigenen Versuch nutzen: bereits abgeschlossene Codeänderungen auswählen, bekannte Fehler verdeckt zurückhalten und die Hinweise mehrerer Systeme nach denselben Regeln bewerten.
Dabei sollten die Teams getrennt erfassen, welche wichtigen Fehler gefunden wurden, wie viele Hinweise sich als falsch erwiesen und wie lange die Nachprüfung dauerte. Ein ausführlicher Kommentar hilft wenig, wenn eine Entwicklerin ihn erst mühsam widerlegen muss. Umgekehrt kann ein knapper, reproduzierbarer Hinweis unmittelbar nützlich sein.
Vor dem Versuch gehören auch erlaubte Repository-Zugriffe und der Umgang mit internem Quellcode auf den Prüfzettel. Eine gute Platzierung rechtfertigt aus unserer Sicht keine zusätzlichen Schreibrechte. Für produktive Änderungen sollten Verantwortliche festlegen, wer Befunde bestätigt und die Übernahme freigibt. Grundlagen dazu bieten unsere Beiträge zu Human-in-the-Loop und Berechtigungen.
Quelle: Offizielle Quelle