Inkling 2 Small, czyli model MoE 594B od Thinking Machines

5 listopada Thinking Machines Lab, firma Miry Murati, przedstawił Inkling 2 Small, pierwszy model swojej drugiej generacji. Inkling 2 Small to model MoE (mixture-of-experts) z 594 mld parametrów, z czego 17 mld aktywnych, który przyjmuje obrazy i działa już w Tinkerze, a pełne wagi na licencji Apache 2.0 mają pojawić się „w przyszłym tygodniu”.

Co nowego w Inkling 2 Small?

Thinking Machines wypuścił pierwsze otwarte modele, Inkling i Inkling-Small, w lipcu. Druga generacja dostaje trzy rzeczy, o których najwięcej się mówi:

1. Obrazy na wejściu. Model ma enkoder wizji z 292 mln parametrów (oparty na Perception Encoder) i według zapowiedzi potrafi sprawdzać na podstawie obrazu własny wizualny wynik, np. wygenerowaną stronę. Dźwięku nie obsługuje.
2. Regulowany „effort”, czyli możemy ustawić, ile model ma myśleć nad zadaniem. Testy porównawcze firma uruchamiała na poziomie „xhigh”.
3. Długie zadania programistyczne. Model trenowano z RL na długich zadaniach z kodem, oceniając je nie tylko testami jednostkowymi, ale też agentami-oceniającymi. Według Thinking Machines lepiej wykonuje polecenia i rzetelniej sprawdza własną pracę niż pierwszy Inkling.

Co ciekawe, firma pisze też, że Inkling 2 Small szybciej uczy się przy fine-tuningu na tych samych danych niż poprzednie modele. Pasuje to do Tinkera, który jest właśnie platformą do fine-tuningu.

Ile wyciąga w benchmarkach?

W Artificial Analysis Intelligence Index model ma 31 punktów. Kilka innych wyników z ogłoszenia:

1. SWEBench Pro v2 (Hard): 86,3%
2. DeepSWE v1.1: 72,1%
3. Vibe Code Bench v1.1: 81,6%
4. MMMU Pro (rozumienie obrazów): 81,6%

To pomiary samego Thinking Machines, więc traktujmy je z dystansem. Na plus trzeba zaliczyć, że firma nie twierdzi, że wygrywa wszędzie: w części tabel inne otwarte modele wypadają lepiej, a w testach alignmentu Inkling 2 Small według ogłoszenia ustępuje zamkniętym modelom.

Dlaczego jest o tym głośno?

Po pierwsze, otwarte wagi z USA. W dyskusji na Hacker News przewija się wątek, że amerykańskie laboratoria doganiają chińskie w modelach z otwartymi wagami (po Kimi K3.1 Pro i Tencent Hy4), a jeden z komentujących pisze, że to może być pierwszy amerykański model „good enough” do większości pracy umysłowej.

Po drugie, tempo. Od pierwszego Inklinga do drugiej generacji minęło niecałe cztery miesiące.

Po trzecie, cena. W Tinkerze generowanie kosztuje 1 USD za milion tokenów, a tokeny wejściowe (prefill) 0,30 USD za milion (0,03 USD z cache). Fine-tuning to 1,50 USD za milion tokenów przy kontekście 64K i 3 USD przy 256K (cennik Tinkera). W komentarzach pojawiły się jednak głosy, że koszt na zadanie wychodzi wyższy niż u DeepSeeka.

Na co zwrócić uwagę?

Po pierwsze, na datę wag. Na razie wagi są zamknięte. Firma zapowiada je „w przyszłym tygodniu”, po zakończeniu zewnętrznych testów bezpieczeństwa i red-teamingu, bez konkretnego dnia. Ten proces Thinking Machines opisał w lipcu we wpisie „A safe path to open weights”: przy pierwszych Inklingach modele testowały m.in. Scale AI, FAR.AI i Apollo Research.

Po drugie, na słabsze strony, które firma sama wymienia: model jest mniej zwięzły, przy wielu dostępnych skillach czasem wybiera nieoptymalne narzędzie, słabiej formatuje odpowiedzi w czacie i reaguje przesadnymi zastrzeżeniami na pytania o zdrowie psychiczne.

Po trzecie, na uczciwość w trudnych zadaniach. W ogłoszeniu czytamy, że wczesne checkpointy czasem zmyślały wyniki albo ukrywały swoje działania przy trudnych zadaniach. Firma dodała m.in. nagrodę za alignment w RL, ale warto pilnować, co model raportuje, gdy działa jako agent.

Jak wypróbować Inkling 2 Small?

Najprościej w Tinker Playground, gdzie możemy z modelem rozmawiać, a przez API Tinkera także go fine-tunować. Na inne platformy model ma trafić „w najbliższych tygodniach”, a szczegóły techniczne są w karcie modelu.

Gdy wagi trafią do sieci, przy 594 mld parametrów będzie to raczej zadanie dla serwera z kilkoma GPU niż dla laptopa (więcej o sprzęcie w poradniku jak uruchomić AI lokalnie).

FAQ

Czy Inkling 2 Small ma otwarte wagi?

Jeszcze nie. Thinking Machines zapowiada publikację pełnych wag na licencji Apache 2.0 w przyszłym tygodniu, po zewnętrznych testach bezpieczeństwa.

Ile kosztuje Inkling 2 Small?

W Tinkerze 1 USD za milion generowanych tokenów i 0,30 USD za milion tokenów wejściowych. Fine-tuning kosztuje od 1,50 USD za milion tokenów.

Kto stoi za Thinking Machines?

Thinking Machines Lab to firma założona przez Mirę Murati, byłą CTO OpenAI. Inkling 2 Small to jej drugie pokolenie modeli po lipcowych Inkling i Inkling-Small.