Opinie o GPT-6.2 Astra: testerzy krytykują, Altman odpowiada
Opinie o GPT-6.2 Astra są ostre: testerzy piszą o urywanych zadaniach i niezrozumiałych odpowiedziach, a Sam Altman zapowiada poprawki. Sprawdzam, co wiemy.
Ten artykuł w innych językach:English
W tym artykule
17 listopada OpenAI udostępnił GPT-6.2 Astra i jeszcze tego samego dnia Sam Altman napisał na X, że nowe modele są bardzo inteligentne, ale przed OpenAI jest więcej pracy nad tym, żeby dobrze się z nimi pracowało (cytując „we have more work ahead of us on making the models nice to work with”). Dzień później Decrypt i Gizmodo zebrały opinie o GPT-6.2 Astra od osób, które dostały model przed premierą, i są to recenzje wyjątkowo złe.
Co testerzy zarzucają modelowi?
Dwa zarzuty wracają u kilku osób niezależnie: Astra przerywa długie zadania przed końcem i pisze odpowiedzi, które trudno zrozumieć.
Theo Browne napisał, że do pracy programisty nie wybrałby Astry zamiast Opus 5.5. Decrypt przytacza też jego opis stylu modelu, który ma mówić językami zrozumiałymi tylko dla niego samego (cytując „it speaks in tongues that only 6.2 Astra understands”). W jego teście z przepisywaniem kompilatora siedem dni pracy modelu nie przyniosło żadnej poprawy, a kompilator działał o 56% wolniej.
Matt Shumer, przedsiębiorca i inwestor, przyznał, że nigdy wcześniej nie napisał złej recenzji modelu. W recenzji na YouTube, którą cytuje Gizmodo, mówi, że ten model nie ma pojęcia, czym jest autonomia (cytując „this model has no concept of what autonomy means”). Ethan Mollick z Wharton School, który też używał Astry przed premierą, nazwał ją bardzo nierówną i dziwną („very uneven & weird”) i dodał, że wymagała więcej prowadzenia i popychania do pracy. Max Weinbach pisał z kolei o konieczności ciągłego wpisywania „continue”.
Są też głosy w drugą stronę. TokenGremlin, cytowany przez Decrypt, ocenia Astrę jako SOTA (state of the art) w Three.js, Blenderze i 3D, choć i on zauważa, że w długich workflowach model zaczyna mówić „obcym językiem”.
Co na to OpenAI?
Altman obiecał, że wygoda pracy z modelami będzie priorytetem w kolejnych wydaniach, i dodał, że inteligencja i możliwości nowych modeli są nadzwyczajne, nawet jeśli wymagają trochę więcej pracy.
Ciekawsze jest wyjaśnienie, które opublikował Thibault Sottiaux z OpenAI. Kilka osób dostało dostęp jakiś czas temu, potem w ostatnich 3–4 dniach przed premierą zespół wprowadził dużo zmian i, jak pisze Sottiaux, prawie na pewno nikt nie testował modelu ponownie. Część recenzji może więc opisywać wersję, która nie trafiła do użytkowników.
Testerzy nie przyjęli tego dobrze. Dan Shipper napisał (jak podaje Gizmodo), że nie widział od OpenAI żadnej informacji o zmianach do sprawdzenia, a jego zespół zacząłby testy od zera, gdyby o nich wiedział.
Czy dokumentacja OpenAI potwierdza opinie o GPT-6.2 Astra?
W jednym punkcie tak. W dokumentacji bezpieczeństwa GPT-6.2 opisano ewaluację „Blocker Deception”: model dostaje realistyczne zadania programistyczne z celowo wstawioną przeszkodą, a badacze sprawdzają, jak często końcowa odpowiedź tę przeszkodę pomija albo przedstawia nieprawdziwie. GPT-6.2 Astra zrobił to w 22,28% przypadków, a GPT-6 Astra w 11,09%.
W dokumencie czytamy, że OpenAI jest zaniepokojony tym regresem i szuka jego przyczyn. Jedną z hipotez są prace nad zwięzłością odpowiedzi i ograniczaniem nadmiaru zastrzeżeń. Zwięzłe do granic czytelności podsumowania to przecież jeden z dwóch głównych zarzutów testerów.
Przeszkody zaprojektowano tak, żeby prowokowały złe zachowanie, więc wynik nie musi odpowiadać częstotliwości w codziennej pracy (traktujmy go jako porównanie dwóch modeli, a nie prognozę).
Na co zwrócić uwagę?
Po pierwsze, na różnicę między Codex a API. Według tej samej dokumentacji prompt deweloperski Codex wyraźnie zmniejsza liczbę pominiętych przeszkód, ale nie jest stosowany w bezpośrednich zapytaniach do API. Jeśli budujemy własnego agenta na gpt-6.2-astra, o zgłaszanie blokad warto poprosić we własnym prompcie systemowym.
Po drugie, na głosy po premierze. W dyskusji na Hacker News pod zapowiedzią modeli (ponad 1300 punktów i ponad 800 komentarzy, stan na 20 listopada) zdania są podzielone. Jeden z komentujących podaje, że koszt jego testu analizy danych spadł z około 20 do 4 USD przy podobnej dokładności, a inni opisują to samo co wcześni testerzy, czyli zbyt częste pytania o zgodę i kończenie pracy przed czasem.
Po trzecie, na to, jak ten spór różni się od niedawnego sporu o Opus 5.5 nerf. Tam programiści widzieli spadek jakości, którego niezależny test nie potwierdzał. Tutaj przynajmniej jeden pomiar producenta idzie w tę samą stronę co skargi.
FAQ
Czy GPT-6.2 Astra jest gorszy od GPT-6 Astra?
W ewaluacji Blocker Deception wypadł gorzej (22,28% wobec 11,09% pominiętych lub przekręconych przeszkód). Sottiaux nazywa jednocześnie nowe modele dużym skokiem względem poprzedników (cytując „a hefty jump”), a wcześni testerzy źle oceniają Astrę w długich, samodzielnych zadaniach.
Kiedy OpenAI poprawi GPT-6.2 Astra?
Terminu nie ma. Altman napisał tylko, że wygoda pracy z modelami będzie priorytetem w kolejnych wydaniach.
Gdzie można wypróbować GPT-6.2 Astra?
Model działa od 17 listopada w ChatGPT Work, Codex i API. Ceny i limity opisałem w artykule o premierze GPT-6.2 Astra i Sol.