Jak uruchomić AI lokalnie: Ollama i LM Studio krok po kroku

Jak uruchomić AI lokalnie? Najprościej przez Ollamę albo LM Studio: instalujemy program, pobieramy model open-weight i rozmawiamy z nim bez internetu i bez abonamentu. Ollama to jedna komenda w terminalu, LM Studio to aplikacja z okienkami i wyszukiwarką modeli. Na start wystarczy komputer z ok. 8 GB wolnej pamięci karty graficznej albo Mac z Apple Silicon.

Po co w ogóle uruchamiać AI lokalnie?

Nowe modele open-weight wychodzą niemal co tydzień. Część jako giganty w stylu Reflection Beam (MoE 501B), których na domowym sprzęcie nie odpalimy, ale są też mniejsze wersje oraz modele klasy „Flash”, które coraz częściej mieszczą się w zwykłym laptopie.

Co zyskujemy:

1. Prywatność. Prompty i pliki nie wychodzą z naszego komputera.
2. Brak limitów i rachunków. Płacimy tylko prądem (i zużyciem sprzętu).
3. Działanie offline. Po pobraniu modelu internet nie jest potrzebny.
4. Lokalne API. Własne skrypty i narzędzia możemy podpiąć do modelu na localhost, tak jak do API w chmurze.

Problem jest jeden: lokalny model jest tak dobry, jak nasz sprzęt pozwala. Najmocniejsze modele z chmury dalej są poza zasięgiem domowego GPU.

Jaki sprzęt jest potrzebny?

Najważniejsza jest pamięć: VRAM karty graficznej albo pamięć zunifikowana na Macu.

• Ollama w oficjalnym quickstarcie zaleca 8 GB wolnej pamięci VRAM (albo pamięci zunifikowanej na Macu) dla przykładowego modelu, którego pobranie to ok. 7,2 GB. Przy mniejszej ilości VRAM Ollama użyje zwykłego RAM-u, ale odpowiedzi będą wolniejsze. Większe okno kontekstu też zjada więcej pamięci.
• LM Studio według wymagań systemowych potrzebuje na Macu Apple Silicon (M1–M4) i macOS 14 lub nowszego, z zalecanymi 16 GB RAM (na 8 GB też ruszy, ale tylko z mniejszymi modelami). Na Windows zaleca 16 GB RAM i co najmniej 4 GB VRAM, a procesor x64 musi obsługiwać AVX2. Na Linuksie wymaga Ubuntu 20.04 lub nowszego.

Złota zasada: plik modelu musi zmieścić się w pamięci z zapasem na kontekst. Rozmiary podaje biblioteka modeli, np. Gemma 4 w Ollamie ma warianty od ok. 4,6 GB (e2b) do ok. 20 GB (31b).

Jak uruchomić AI lokalnie z Ollamą?

Ollama to darmowy program open source (licencja MIT, repozytorium na GitHubie). Działa na macOS, Windows i Linuksie, a w środku ma serwer, który obsługuje modele w tle.

1. Instalacja. Na macOS pobieramy aplikację ze strony Ollamy. Na Linuksie wystarczy jedna komenda:

curl -fsSL https://ollama.com/install.sh | sh

Na Windows w PowerShellu:

irm https://ollama.com/install.ps1 | iex

2. Pierwszy model. W terminalu uruchamiamy:

ollama run gemma4:e2b

Ollama sama pobierze model i otworzy czat. Rozmowę kończymy komendą /bye. Na Linuksie, jeśli serwer nie działa, trzeba go najpierw włączyć przez ollama serve.

3. Zarządzanie modelami. Kilka komend z dokumentacji CLI, które przydają się od pierwszego dnia:

ollama pull gemma4   # pobierz model bez uruchamiania
ollama ls            # lista pobranych modeli
ollama ps            # modele, które teraz działają
ollama stop gemma4   # zatrzymaj model
ollama rm gemma4     # usuń model z dysku

Co ciekawe, Ollama potrafi też uruchomić narzędzia do programowania na lokalnym modelu. Komenda ollama launch claude odpala Claude Code, a ollama launch claude --model qwen3.5 robi to z wybranym modelem. Na Macu aplikacja Ollamy ma też zakładkę Apps, przez którą podłączymy modele do aplikacji Claude albo ChatGPT Desktop (w tym drugim przypadku tylko w trybie Codex).

Jak uruchomić AI lokalnie w LM Studio?

LM Studio to aplikacja desktopowa dla tych, którzy wolą klikać niż pisać w terminalu. Ma czat, wyszukiwarkę modeli z Hugging Face, obsługę MCP i lokalny serwer API. Do użytku prywatnego i wewnętrznego w firmie jest dostępna według warunków licencji, choć część funkcji może być płatna.

1. Instalacja. Pobieramy instalator ze strony LM Studio i uruchamiamy aplikację.
2. Pobranie modelu. Otwieramy zakładkę Discover (⌘ + 2 na Macu, Ctrl + 2 na Windows i Linuksie) i wpisujemy nazwę, np. „gemma” albo „qwen”. Można też wkleić link z Hugging Face.
3. Wybór wariantu. Nazwy typu Q4_K_M czy Q8 to tzw. kwantyzacja: model jest mniejszy kosztem części jakości. Dokumentacja radzi wybrać wariant 4-bitowy lub wyższy, jeśli sprzęt na to pozwala.
4. Czat. Ładujemy model i piszemy jak w każdym czacie AI.

LM Studio ma też własne CLI lms, instalowane razem z aplikacją (wystarczy ją raz uruchomić). Według dokumentacji CLI to samo zrobimy z terminala:

lms get llama-3.1-8b          # pobierz model
lms ls                        # lista modeli na dysku
lms chat my-model             # czat w terminalu
lms server start              # uruchom lokalny serwer API

Ollama czy LM Studio?

Oba programy robią w gruncie rzeczy to samo, różnią się stylem pracy.

	Ollama	LM Studio
Obsługa	terminal (plus prosta aplikacja)	aplikacja z okienkami (plus CLI lms)
Licencja	open source (MIT)	zamknięta, do użytku prywatnego i wewnętrznego w firmie
Szukanie modeli	biblioteka na ollama.com	wyszukiwarka Hugging Face w aplikacji
Lokalne API	http://localhost:11434/v1/	http://localhost:1234/v1

Jeśli lubimy terminal albo chcemy podpiąć model do skryptów i agentów, prościej zacząć od Ollamy. Jeśli wolimy najpierw pooglądać i porównać modele, wygodniej zrobimy to w LM Studio.

Jak podłączyć lokalny model do własnego kodu?

Oba programy udostępniają API zgodne z OpenAI, więc wystarczy zmienić adres w zwykłej bibliotece openai. Przykład z dokumentacji Ollamy:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1/",
    api_key="ollama",  # wymagany przez bibliotekę, Ollama go ignoruje
)

reply = client.chat.completions.create(
    model="gpt-oss:20b",
    messages=[{"role": "user", "content": "Give me a one-line fun fact."}],
)
print(reply.choices[0].message.content)

W LM Studio serwer włączamy przełącznikiem Start server w zakładce Developer albo komendą lms server start. W przykładach z dokumentacji serwer działa na porcie 1234 (http://localhost:1234/v1) i obsługuje m.in. /v1/chat/completions, /v1/responses i /v1/embeddings.

To otwiera drogę do ciekawszych rzeczy niż czat: lokalnych agentów, przeszukiwania własnych notatek czy testowania nowych modeli open-weight w dniu premiery, takich jak MiniMax M3.1 Flash. A kto chce zajrzeć, jak takie modele serwuje się na produkcji, znajdzie więcej w tekście o DeepSeek DeepInfer.

FAQ

Czy lokalne AI jest darmowe?

Ollama jest darmowa i open source. LM Studio jest dostępne do użytku prywatnego i wewnętrznego w firmie, choć według warunków część funkcji może być płatna. Same modele open-weight pobieramy za darmo, ale każdy ma własną licencję, którą warto sprawdzić.

Czy da się uruchomić AI lokalnie bez karty graficznej?

Tak, ale wolniej. Ollama przy braku VRAM korzysta ze zwykłego RAM-u. Najlepiej wtedy wybrać mały model, np. gemma4:e2b.

Ile pamięci potrzebuje lokalny model?

Mniej więcej tyle, ile waży plik modelu, plus zapas na kontekst. Dla przykładowego modelu z quickstartu Ollamy (ok. 7,2 GB) zalecane jest 8 GB wolnej pamięci VRAM.

Czy lokalny model działa bez internetu?

Tak. Internet jest potrzebny tylko do pobrania programu i modelu.