AI in locale: Ollama e LM Studio passo dopo passo

Come si esegue l’AI in locale? Il modo più semplice è Ollama oppure LM Studio: installiamo il programma, scarichiamo un modello open-weight e ci chattiamo senza internet e senza abbonamento. Ollama è un solo comando nel terminale, LM Studio un’app con finestre e un motore di ricerca dei modelli. Per iniziare basta un computer con circa 8 GB di memoria libera sulla scheda video oppure un Mac con Apple Silicon.

Perché usare l’AI in locale?

Escono nuovi modelli open-weight quasi ogni settimana. Alcuni sono giganti come Reflection Beam (MoE 501B), che su un computer di casa non faremo girare, ma ci sono anche versioni più piccole e modelli di classe “Flash” che sempre più spesso stanno su un normale portatile.

Cosa ci guadagniamo:

1. Privacy. Prompt e file non escono dal nostro computer.
2. Niente limiti né bollette. Paghiamo solo la corrente (e l’usura dell’hardware).
3. Funziona offline. Una volta scaricato il modello, internet non serve più.
4. API locale. Possiamo collegare i nostri script e strumenti al modello su localhost, proprio come a un’API nel cloud.

C’è un problema: un modello locale è buono quanto il nostro hardware gli permette di essere. I modelli più potenti del cloud restano fuori dalla portata di una GPU domestica.

Che hardware serve?

La cosa più importante è la memoria: la VRAM della scheda video o la memoria unificata sul Mac.

• Ollama, nella sua guida rapida ufficiale, consiglia 8 GB di VRAM libera (o di memoria unificata sul Mac) per il modello di esempio, il cui download pesa circa 7,2 GB. Con meno VRAM, Ollama userà la normale RAM, ma le risposte saranno più lente. Anche una finestra di contesto più ampia consuma più memoria.
• LM Studio, secondo i requisiti di sistema, sul Mac richiede Apple Silicon (M1–M4) e macOS 14 o successivo, con 16 GB di RAM consigliati (parte anche con 8 GB, ma solo con modelli più piccoli). Su Windows consiglia 16 GB di RAM e almeno 4 GB di VRAM, e il processore x64 deve supportare AVX2. Su Linux richiede Ubuntu 20.04 o successivo.

La regola d’oro: il file del modello deve stare in memoria con un margine per il contesto. Le dimensioni sono indicate nella libreria dei modelli; per esempio, Gemma 4 in Ollama ha varianti da circa 4,6 GB (e2b) a circa 20 GB (31b).

Come eseguire l’AI in locale con Ollama?

Ollama è un programma gratuito e open source (licenza MIT, repository su GitHub). Funziona su macOS, Windows e Linux e al suo interno ha un server che gestisce i modelli in background.

1. Installazione. Su macOS scarichiamo l’app dal sito di Ollama. Su Linux basta un comando:

curl -fsSL https://ollama.com/install.sh | sh

Su Windows, in PowerShell:

irm https://ollama.com/install.ps1 | iex

2. Il primo modello. Nel terminale lanciamo:

ollama run gemma4:e2b

Ollama scarica il modello da solo e apre una chat. La conversazione si chiude con /bye. Su Linux, se il server non è attivo, bisogna prima avviarlo con ollama serve.

3. Gestione dei modelli. Alcuni comandi dalla documentazione della CLI che tornano utili fin dal primo giorno:

ollama pull gemma4   # scarica un modello senza avviarlo
ollama ls            # elenco dei modelli scaricati
ollama ps            # modelli in esecuzione adesso
ollama stop gemma4   # ferma un modello
ollama rm gemma4     # elimina un modello dal disco

Curiosità: Ollama sa anche avviare strumenti di programmazione su un modello locale. Il comando ollama launch claude avvia Claude Code, mentre ollama launch claude --model qwen3.5 fa lo stesso con il modello scelto. Sul Mac l’app di Ollama ha anche una scheda Apps con cui collegare i modelli all’app di Claude o a ChatGPT Desktop (in quest’ultimo caso solo in modalità Codex).

Come eseguire l’AI in locale con LM Studio?

LM Studio è un’app desktop per chi preferisce cliccare piuttosto che scrivere nel terminale. Ha una chat, un motore di ricerca dei modelli su Hugging Face, il supporto a MCP e un server API locale. Secondo i termini di licenza è disponibile per uso personale e per uso interno in azienda, anche se alcune funzioni possono essere a pagamento.

1. Installazione. Scarichiamo l’installer dal sito di LM Studio e avviamo l’app.
2. Download del modello. Apriamo la scheda Discover (⌘ + 2 sul Mac, Ctrl + 2 su Windows e Linux) e scriviamo un nome, per esempio “gemma” o “qwen”. Si può anche incollare un link di Hugging Face.
3. Scelta della variante. Nomi come Q4_K_M o Q8 indicano la cosiddetta quantizzazione: il modello diventa più piccolo a scapito di una parte della qualità. La documentazione consiglia una variante a 4 bit o superiore, se l’hardware lo consente.
4. Chat. Carichiamo il modello e scriviamo come in qualsiasi chat di AI.

LM Studio ha anche una sua CLI, lms, che si installa insieme all’app (basta avviarla una volta). Secondo la documentazione della CLI, le stesse cose si fanno dal terminale:

lms get llama-3.1-8b          # scarica un modello
lms ls                        # elenco dei modelli sul disco
lms chat my-model             # chat nel terminale
lms server start              # avvia il server API locale

Ollama o LM Studio?

In fondo i due programmi fanno la stessa cosa; cambia il modo di lavorare.

	Ollama	LM Studio
Utilizzo	terminale (più una semplice app)	app con finestre (più la CLI lms)
Licenza	open source (MIT)	proprietaria, per uso personale e interno in azienda
Ricerca dei modelli	libreria su ollama.com	ricerca su Hugging Face nell’app
API locale	http://localhost:11434/v1/	http://localhost:1234/v1

Se ci piace il terminale o vogliamo collegare il modello a script e agenti, è più semplice partire da Ollama. Se preferiamo prima guardare e confrontare i modelli, con LM Studio è più comodo.

Come collegare un modello locale al proprio codice?

Entrambi i programmi offrono un’API compatibile con OpenAI, quindi basta cambiare l’indirizzo nella solita libreria openai. Un esempio dalla documentazione di Ollama:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1/",
    api_key="ollama",  # richiesta dalla libreria, ignorata da Ollama
)

reply = client.chat.completions.create(
    model="gpt-oss:20b",
    messages=[{"role": "user", "content": "Give me a one-line fun fact."}],
)
print(reply.choices[0].message.content)

In LM Studio il server si accende con l’interruttore Start server nella scheda Developer oppure con lms server start. Negli esempi della documentazione il server gira sulla porta 1234 (http://localhost:1234/v1) e supporta, tra gli altri, /v1/chat/completions, /v1/responses e /v1/embeddings.

Questo apre la strada a cose più interessanti di una chat: agenti locali, ricerca nei propri appunti o test di nuovi modelli open-weight il giorno stesso dell’uscita, come MiniMax M3.1 Flash. E chi vuole vedere come questi modelli vengono serviti in produzione trova di più nell’articolo su DeepSeek DeepInfer.

Domande frequenti

L’AI in locale è gratuita?

Ollama è gratuito e open source. LM Studio è disponibile per uso personale e interno in azienda, anche se secondo i termini alcune funzioni possono essere a pagamento. I modelli open-weight si scaricano gratis, ma ognuno ha la propria licenza, che conviene controllare.

Si può usare l’AI in locale senza scheda video?

Sì, ma più lentamente. Senza VRAM, Ollama usa la normale RAM. In quel caso è meglio scegliere un modello piccolo, per esempio gemma4:e2b.

Quanta memoria serve a un modello locale?

Più o meno quanto pesa il file del modello, più un margine per il contesto. Per il modello di esempio della guida rapida di Ollama (circa 7,2 GB) sono consigliati 8 GB di VRAM libera.

Un modello locale funziona senza internet?

Sì. Internet serve solo per scaricare il programma e il modello.