Neue Studie zeigt Grenzen von Sprachmodellen bei mehrstufigen Aufgaben (Cybersecurity, Test 11)

Ein Forschungsteam hat 1.200 Aufgaben aus der Praxis durchgerechnet. Die Modelle loesen einfache Schritte sicher, verlieren aber den Faden, sobald zwei Bedingungen gleichzeitig gelten.

Die Auswertung trennt erstmals sauber zwischen Verstehen und Ausfuehren: Bei einstufigen Aufgaben liegen die Fehlerraten im einstelligen Bereich, bei verketteten Aufgaben steigen sie auf ueber vierzig Prozent. Die Autoren fuehren das weniger auf fehlendes Wissen als auf fehlende Zwischenkontrolle zurueck.