Ereignis
Wie misst man die Wirkung von KI beim Programmieren?
Nach der Studie von Anfang 2025 untersuchte METR ab August erneut die Bearbeitungszeit von Programmieraufgaben mit und ohne erlaubte KI. Am 24. Februar 2026 berichtete das Team über 57 Entwickelnde, 143 Repositories und über 800 Aufgaben. Die Aufgaben wurden nach Auswahl durch die Teilnehmenden zufällig einer Bedingung zugewiesen. Forschungsbericht
METR hält die Ergebnisse selbst für keinen zuverlässigen Maßstab der tatsächlichen Wirkung: Manche Personen oder Aufgaben fehlten, weil die Betroffenen nicht ohne KI arbeiten wollten; außerdem erschwerten parallele Agenten die Zeitmessung. Das Team vermutete Anfang 2026 größere Zeitgewinne als Anfang 2025, bezeichnete die Daten aber als sehr schwache Grundlage für deren Größe und plante Änderungen am Studiendesign. Die Folgestudie belegt daher keinen allgemeinen Produktivitätswert. Forschungsbericht
Belege
Offen
Spätere Ergebnisse mit geändertem Studiendesign und unabhängig untersuchte Arbeitsumgebungen prüfen. / Check later results with revised study design and independently studied work settings.