OpenAIs BioBasicsBench prüft Agenten an 100 echten Laboraufgaben, GPT-6 Astra erreicht 66,7 %
Victoria Shinder1 Min. LesezeitOpenAI hat BioBasicsBench veröffentlicht, einen Benchmark, der misst, wie gut KI-Agenten die Rohdaten des biologischen Laboralltags deuten. Der Beitrag vom 6. November argumentiert, dass bestehende Benchmarks auf Diagrammen und Bildern beruhen, die für Fachartikel ausgewählt wurden, während echte Laborarbeit aus gescheiterten Experimenten, mehrdeutigen Bildern und widersprüchlichen Beobachtungen besteht.
Der Benchmark umfasst 100 Aufgaben aus fünf Bereichen der Routinearbeit: Proteinmethoden, Bildgebung und Zytometrie, Quantifizierung und Assays, Nukleinsäuremethoden sowie molekulares Klonen. Die Eingaben behalten die Form, mit der Forschende tatsächlich arbeiten: Gel- und Blotbilder, Fotos von Platten, Mikroskopiestapel, Sequenzierdaten, Exporte von Plattenlesegeräten und Videos von Arbeiten am Labortisch. Die Aufgaben stammen aus eigenen Experimenten der Wissenschaftler, jede mit einer Bewertungsrubrik; jede wurde intern von einer Person geprüft, die sie nicht geschrieben hatte, extern von einer promovierten Laborwissenschaftlerin oder einem Laborwissenschaftler und abschließend noch einmal intern.
Bewertet wird je Kriterium der Rubrik, sodass eine richtige Schlussfolgerung von einer teilweise richtigen Analyse unterschieden wird; manche Aufgaben belohnen die Erkenntnis, dass die Daten nicht ausreichen. OpenAI testete sieben Modelle in 37 Kombinationen aus Modell und Denkaufwand, mit fünf Versuchen pro Aufgabe, insgesamt 18.500 Ergebnisse. Bei der Stufe xhigh erzielte GPT-6 Astra 66,7 % der möglichen Punkte, GPT-5.6 Sol 43,8 %. Laut OpenAI hält der Vorsprung auch bei niedrigem Denkaufwand, wahrscheinlich wegen stärkerer nativer Multimodalität.
Der Beitrag nennt auch die Schwächen: Bilder deuten, Kontrollen prüfen, die ein Experiment absichern, und experimentellen Kontext anwenden.
Was das bedeutet
Zwei Drittel bei Routineaufgaben sind ein Fortschritt und zugleich eine Warnung. Ein falsch gelesenes Gel oder eine übersehene fehlerhafte Kontrolle führt ein Labor genau in die falsche Richtung, deshalb ist die Bewertung für die Aussage, dass die Daten keinen Schluss tragen, der interessanteste Teil.