Przejdź do treści
sobolewski.proAI dziś, o 20:00Zapisz się

Raz dziennie, wypiszesz się jednym kliknięciem. Polityka prywatności

Inkling 2 Mini, czyli otwarty model 26B, który działa na laptopie

Inkling 2 Mini od Thinking Machines to otwarty model z 26,4 mld parametrów, który zajmuje ok. 20 GB i działa nawet na Macu z 32 GB. Sprawdźmy, co potrafi.

4 min czytania

Ten artykuł w innych językach:English

W tym artykule
  1. Co w tym nowego w kontekście AI?
  2. Ile wyciąga w benchmarkach?
  3. Na co zwrócić uwagę?
  4. Jak wypróbować Inkling 2 Mini?
  5. FAQ

20 listopada Thinking Machines Lab opublikował Inkling 2 Mini, model MoE (mixture-of-experts) z 26,4 mld parametrów, którego wagi na licencji Apache 2.0 są już na Hugging Face. Cały checkpoint zajmuje ok. 20 GB i według zapowiedzi działa na Macu z 32 GB pamięci.

Co w tym nowego w kontekście AI?

Dwa tygodnie temu ta sama firma pokazała Inkling 2 Small z 594 mld parametrów, czyli model pod serwer z kilkoma GPU. Mini jest ponad dwadzieścia razy mniejszy i powstał pod sprzęt, który stoi na biurku.

Najciekawsza jest jego budowa. Inkling 2 Mini to tzw. „looped transformer” (transformer z pętlą): ma 24 warstwy w czterech blokach po sześć, a dwa środkowe bloki wykonują się trzy razy dla każdego tokena. Z 24 warstw wag robi się więc 48 przejść. Na token aktywnych jest 3,4 mld parametrów, a po doliczeniu powtórzeń 5,4 mld.

Sam pomysł nie jest nowy, w zapowiedzi pada odwołanie do pracy Universal Transformers z 2018 roku. Thinking Machines sprawdził natomiast, które warstwy opłaca się zapętlać: środkowych dwanaście dało większy zysk niż ostatnich dwanaście w 27 z 28 testów. Według firmy model dzięki temu więcej „myśli” na jednym tokenie i dochodzi do odpowiedzi, zużywając ich mniej.

Druga rzecz to precyzja. Większość wag trenowano w 4-bitowym formacie NVFP4 (ostatnie cztery warstwy w MXFP8) i w tej samej postaci trafiły do sieci. Zwykle lokalnie uruchamiamy skwantyzowaną kopię modelu, który laboratorium mierzyło w pełnej precyzji, a tutaj oficjalny checkpoint jest tym, co trenowano.

Jest też demo, które dobrze się ogląda: badacze firmy zabrali model do samolotu, gdzie na MacBooku Pro (M5 Pro, 48 GB) w trybie samolotowym zbudował w kilka minut grywalny symulator lotu.

Ile wyciąga w benchmarkach?

Kilka wyników z ogłoszenia:

  1. DeepSWE v1.1: 48,2%
  2. SWE-bench Verified (tylko bash): 79,2%
  3. Vals Index v2.2: 46,5%
  4. Artificial Analysis Intelligence Index v5.0: 20,1

To pomiary Thinking Machines, więc traktujmy je z dystansem. W dyskusji na Hacker News (ponad 560 punktów w trzy godziny) entuzjazm miesza się z pierwszymi testami, które wypadły różnie. Jeden z komentujących opisał, że wersja Q4 od Unsloth zużyła na prostą wtyczkę do WordPressa 19 200 tokenów myślenia, czyli cały ustawiony przez niego limit, i nie skończyła zadania.

Na co zwrócić uwagę?

Po pierwsze, na wiedzę modelu. W zapowiedzi czytamy, że pętla poprawia rozumowanie, ale nie zwiększa liczby faktów zapisanych w wagach, bo ta zależy głównie od łącznej liczby parametrów. Braki Inkling 2 Mini ma nadrabiać wyszukiwaniem i narzędziami (offline, jak w demo z samolotu, wyszukiwarki nie ma).

Po drugie, na czat. Firma przyznaje, że to nie najmocniejszy mały model do wieloturowych rozmów ani do poleceń z wieloma ograniczeniami: 50,0% w MultiChallenge i 33,4% w ComplexConstraints v1.1.

Po trzecie, na nadzór nad rozumowaniem. Model z pętlą może dłużej „myśleć” bez zapisywania toku rozumowania (CoT), a właśnie czytanie CoT pozwala nam sprawdzać, co model robi. Thinking Machines zmierzył to na osobnym, badawczym wariancie ze zmienną liczbą przejść, który też udostępnił. Zadania, które ten wariant rozwiązuje bez CoT, wydłużyły się z 16 do 37 sekund pracy człowieka przy przejściu z jednej pętli na trzy, a CoT robił się krótszy, ale pozostał czytelny.

Wniosek firmy z tej wstępnej analizy brzmi, że „w tej skali” nie widać istotnego spadku monitorowalności. Pytanie o większe modele z pętlą zostaje otwarte, i to ono wraca w komentarzach.

Jak wypróbować Inkling 2 Mini?

  1. Na Macu przez Ollamę. Wystarczy ollama run inkling-2-mini, ale strona modelu w Ollamie wymaga na razie wersji pre-release aplikacji i Maca z co najmniej 32 GB pamięci.
  2. W przeglądarce. Rozmowa z modelem działa w Tinker Playground. Przez API Tinkera generowanie kosztuje 0,50 USD za milion tokenów, a tokeny wejściowe 0,15 USD (cennik), czyli połowę stawek Inkling 2 Small. Okno kontekstu to do 1M tokenów.
  3. Na innym sprzęcie. Karta modelu wymienia jeden NVIDIA DGX Spark, a dla pozostałych GPU zaleca co najmniej 32 GB VRAM. Są też wersje GGUF od Unsloth dla llama.cpp.

Pierwsze prędkości podawane w komentarzach to ok. 52 tokeny na sekundę na RTX 5090 i ok. 20 na MacBooku Pro z M1 Max i 64 GB (wersja 4-bitowa). To liczby z pierwszych godzin, kiedy obsługa w llama.cpp dopiero się pojawiała.

Jeśli to nasz pierwszy model uruchamiany u siebie, Ollamę i LM Studio opisałem krok po kroku w poradniku jak uruchomić AI lokalnie.

FAQ

Czy Inkling 2 Mini jest darmowy?

Wagi są na licencji Apache 2.0 i można je pobrać z Hugging Face. Lokalnie płacimy tylko prądem (i zużyciem sprzętu), a w Tinkerze według cennika.

Jaki sprzęt jest potrzebny do Inkling 2 Mini?

Według karty modelu Mac z procesorem Apple i co najmniej 32 GB pamięci albo jeden NVIDIA DGX Spark. Dla innych GPU zalecane są 32 GB VRAM.

Czym Inkling 2 Mini różni się od Inkling 2 Small?

Small ma 594 mld parametrów (17 mld aktywnych) i wymaga serwera. Mini ma 26,4 mld, zapętlone środkowe warstwy i mieści się w 20 GB.

  • AI
  • open-weight
  • modele AI

AI dziś, o 20:00

Codziennie wieczorem najważniejsze wiadomości ze świata AI i nowe wpisy z bloga. Krótko, ze źródłami.

Raz dziennie, wypiszesz się jednym kliknięciem. Polityka prywatności