Installazione ed utilizzo di Ollama su Mac: guida per principianti per chattare con il tuo LLM personale

Non avendo trovato guide in italiano su come installare Ollama e visti i miei esperimenti con gli LLM ed il prompt engineering ho deciso di scrivere questa guida passo passo.

1. Che cos’è Ollama?

Ollama è un framework, open-source, leggero ed estensibile per la costruzione e l'esecuzione di LLM (Large Language Model) che possono essere fatti girare sul tuo computer in locale. Fornisce una semplice API per la creazione, l'esecuzione e la gestione di modelli, nonché una libreria di modelli predefiniti che possono essere facilmente utilizzati.

Abitualmente, se non sei un programmatore devi installare manualmente tutti i componenti per far girare sul tuo computer un LLM.

Ollama, rispetto ad altre soluzioni come LM Studio, non offre una interfaccia grafica ma, una volta conosciuti i comandi di base, è molto semplice da utilizzare anche per l’utente non esperto.

1.1 Su quali Mac lo si può usare?

L’Ollama come applicazione può essere installata su qualsiasi Mac. Tuttavia non tutti gli LLM possono essere installati su qualsiasi Mac e, in dipendenza dal Mac, questi possono essere più o meno limitati.

Abitualmente consiglio di utilizzare Ollama e piccoli LLM su Mac con Apple Silicon anche se devo dirti che dai miei test sul MacBook Pro 16" Intel del 2019, seppur con qualche limitazione, i modelli più leggeri (come Mistral) funzionano anche su Intel.

Il vero problema è che, più il modello è grande, più è necessaria della RAM (VRAM nel caso dei Mac Intel). Questo è un fattore limitante e quindi, abitualmente, solo i modelli più piccoli girano su Mac con Apple Silicon con soli 8GB di RAM.

Ciò detto, non ti costa nulla tentare e provare. Personalmente ho ottenuto risultati sensati sia a livello di risultati che di performance token per second con il mio MacMini M1 8Gb con Mistral e Zephyr, ma maggiori informazioni te le darò nel corso dell’articolo.

2. Installazione Ollama

La prima cosa da fare è andare sul sito di Ollama, come mostrato nella figura seguente e premere il pulsante Download al centro della pagina.

A questo punto occorre scegliere la piattaforma su cui si vuole installare Ollama. È possibile installarlo sia su macOS, che su Linux (a mezzo di uno script) e su Windows.

*Scelta del download per macOS, Linux e Windows*

Nel nostro caso scegliamo di scaricare il file ZIP per macOS.

*Una volta premuto il pulsante di download: la richiesta di accettare il download*

Aspettiamo che il download sia ultimato.

*Esempio di download ultimato in Safari*

Apriamo quindi il file ZIP (se hai disabilitato le funzioni di auto-unzip di Safari come ho fatto io) o altrimenti ti troverai nella cartella dei Downloads o quella da te designata, l’app.

*L’applicazione di Ollama come si presenta su macOS*

Fai doppio click sull’icona dell’applicazione e ti si presenterà la richiesta di primo avvio. La finestra che si vede qui sotto ti avverte che l’applicazione è stata scaricata da internet. Se vuoi eseguirla premi il pulsante Apri. Questa richiesta ti verrà fatto solo al primo avvio dell’applicazione.

Si aprirà una finestra di presentazione di Ollama, è in lingua inglese ma è una semplice informazione di benvenuto.

*Schermata di prima configurazione e presentazione di Ollama*

Premi il tasto next per proseguire.

Ora ti verrà detto di installare il comando ollama nell’interfaccia a riga di comando del Terminale e che, per fare questo ti verrà chiesto di inserire le credenziali da amministratore del tuo Mac.

Installazione del comando `ollama` per il terminale

Come si vede nell’immagine sottostante mi viene richiesta la password per il mio utente che è anche l’utente amministratore.
Solitamente non è un buona prassi avere il proprio utente come amministratore ma so cosa faccio con il mio Mac.

*Richiesta credenziali amministratore del Mac*

Abbiamo finito e, come mostrato nell’immagine sottostante, è possibile installare il nostro primo modello di LLM.

Nell’immagine sottostante, in inglese, viene detto che è possibile digitare a terminale ollama run llama2 per iniziare a scaricare ed utilizzare il modello Llama2.
Puoi quindi terminare la prima installazione e configurazione premendo il tasto Finish.

*Ultimazione installazione Ollama e suggerimento su come installare il primo LLM sul nostro Mac*

Segnalo che, come mostrato nei miei precedenti articoli, il modello che funziona meglio con la lingua italiana è Mistral e, recentemente, ho attenuto buoni risultati con Zephyr.

3. Installazione del primo modello di LLM

Vediamo quindi come installare il nostro primo LLM locale.

Prima di fare ciò tuttavia mi pare utile spiegare, per chi non lo sapesse, dove trovare il Terminale di macOS.

Vai nel Finder nella cartella delle Applicazioni e lì cerca la cartella Utility come mostrato nell’immagine che segue.

*Finder: cartella Applicazioni, sottocartelle Utility*

Per informazioni ed approfondimenti ti segnalo il manuale utente di Terminale per Mac.

3.1 iTerm2 il mio terminale

Ti segnalo che le immagini successive non provengo direttamente dall’applicazione Terminale di macOS ma da iTerm2, l’applicazione che uso io ma che è fa le medesime cose del Terminale. Le uniche differenze concrete tra iTerm2 e Terminale sono che ho “abbellito” la visualizzazione.

Fatte queste dovute premesse di contesto, vediamo come procedere.

Come detto al punto 2 ho copiato negli appunti il comando ollama run llama2 per poter installare Llama, ma tu puoi digitarlo a Terminale tranquillamente (o copia incollarlo da qui).

Premi quindi invio per eseguire il comando.

*Lancio ed installazione del nostro primo LLM*

Come si vede dall’immagine sottostante, la prima cosa che Ollama farà è quella di scaricare il modello di LLM. Questa è un’operazione che può richiedere tempo in base alla tua connessione ad internet.

Come si vede nell’immagine sottostante, c’è un indice progressivo del download e la velocità dello stesso.

*Esempio di download del modello di LLM*

Una volta ultimato il download, come mostrato nell’immagine sottostante, sarà possibile chattare con lo stesso.

Digita quindi le domande ed i prompt che vuoi e il tuo personale e privato LLM ti risponderà.

3.2 I comandi utili da conoscere

Prima di chiudere mi sembra utile darti qualche consiglio e informazione per utilizzare l’LLM appena installato al meglio.

Se nella chat testuale digiti /? e possibile accedere ai comandi principali del sistema.

Vediamoli velocemente in dettaglio:

/set: mostra le variabili della sessione di chat (le analizzeremo in dettaglio al punto seguente);
/show: mostra le informazioni del modello;
/load e /save: caricano una sessione o un modello specifico (si possono installare attraverso Ollama differenti modelli di LLM, lo vedremo in un futuro articolo) e salvare la corrente sessione di dialogo, se vogliamo proseguirla successivamente e non perdere i passaggi della nostra “conversazione” con l’LLM;
/bye: serve per uscire dalla chat, alternativamente e possibile utilizzare al combinazione a tastiera CTRL+D;
/?: la funzione di aiuto che abbiamo appena visto ed infine
""" ovvero 3 volte le virgolette se si vuole scrivere un messaggio su piu righe del Terminale.

3.3 Personalizzare le impostazione dell’LLM

Da ultimo segnalo i parametri del comando /set che permetto di personalizzare il comportamento del modello di LLM. Non li esamineremo tutti, ma ti consiglio, se vuoi utilizzare al meglio questo strumento di approfondirli.

/set system: permette di personalizzare il c.d. system prompt dell’LLM, ovvero la “personalità” dell’LLM. Ad esempio si può dire all’LLM è una IA italiana e deve rispondere solo in italiano;
/set template: creare un template o modello di domanda di “riciclare”;
/set verbose: permette di avere le statistiche dell’LLM ad esempio il tempo impegato per dare la risposta piuttosto che il valore token per secondi.

*Personalizzazione della chat di Ollama*

3.4 Uscire dalla chat

Come detto al punto 3.2 digitando all’interno della chat /bye è possibile uscirne e terminare la sessione.

*Uscire dalla sessione di chat con il nostro LLM*

In conclusione

Spero che questa semplice guida ti possa permettere di sperimentare con Ollama e gli LLM sul tuo Mac.

Nei prossimi articoli conto di spiegare alcuni “trucchi” più avanzati.

Come sempre se ti è piaciuto quel che hai letto e non l’hai già fatto ti suggerisco di iscriverti alla mia newsletter. Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho ritenuto interessanti.