ds4: DeepSeek V4 alla massima potenza sulla tua macchina

Benvenuto nella guida completa a ds4, il motore di inferenza creato da Salvatore Sanfilippo (antirez) per eseguire DeepSeek V4 Flash e PRO in locale, su hardware che va dai MacBook Pro con 96 GB di RAM ai sistemi DGX Spark e Strix Halo.

Questa guida non è un semplice elenco di comandi: spiega ogni concetto tecnico, il perché delle scelte progettuali e come sfruttare al massimo le funzionalità più avanzate – dallo streaming su SSD alla cache KV su disco, dall’agente nativo all’inferenza distribuita.

Perché ds4?

La maggior parte dei loader GGUF generici supportano centinaia di modelli, ma ds4 fa una scommessa opposta: supporta un solo modello alla volta (oggi DeepSeek V4 Flash/PRO), ma lo fa in modo verticale e completo.
Il risultato? Performance ottimizzate, tool calling affidabile, sessioni persistenti su disco e una profonda integrazione con agenti di coding – il tutto senza dipendenze esterne.

“This project takes a deliberately narrow bet: one model at a time, official-vector validation, long-context tests, and enough agent integration to know if it really works.” – antirez

A chi è rivolta questa guida

• Appassionati di LLM che vogliono far girare un modello quasi-frontier sulla propria workstation (Mac, DGX Spark, Framework Desktop).
• Sviluppatori che cercano un server API locale compatibile con OpenAI, Anthropic e Codex CLI.
• Curiosi tecnici che vogliono capire concetti come MoE quantizzato, SSD streaming, KV cache su disco o inferenza distribuita.
• Contributori che desiderano orientarsi nel codice sorgente di ds4 (scritto in C, Metal, CUDA).

Cosa troverai in questa guida

📘 Concetti fondamentali Glossario e spiegazioni chiare di MoE, GGUF, KV cache, quantizzazione asimmetrica.	⚙️ Installazione e primo avvio Download del modello, compilazione per Metal/CUDA/ROCm, primi comandi.
💾 SSD streaming Come eseguire modelli più grandi della RAM usando l’SSD come cache per gli esperti routed.	🗄️ KV cache su disco Salva e ripristina lo stato delle conversazioni, anche dopo riavvii del server.
🤖 Agente nativo (ds4-agent) Un’interfaccia testuale con sessione persistente, comandi interni e latenza minima.	🌐 Inferenza distribuita Fai girare modelli enormi (es. PRO Q4) su due Mac Studio, accelerando il prefill.
🧠 Thinking mode e sampling Differenza tra normale, think e think-max, parametri di campionamento.	📊 Benchmark e ottimizzazione Misura le prestazioni reali, riduci il consumo energetico con --power.

Prerequisiti tecnici minimi

Per seguire la guida ti servirà:

• Un computer tra quelli supportati:
  • Mac con chip Apple Silicon (M3, M5, M3 Ultra) e almeno 64 GB di RAM (meglio 96/128 GB).
  • Linux con GPU NVIDIA (DGX Spark o scheda generica) e driver CUDA.
  • Sistemi Strix Halo (es. Framework Desktop) con ROCm.
• Curiosità e pazienza: il software è in beta e può ancora avere comportamenti inaspettati (ma è usabile e migliora ogni giorno).
• Conoscenze base di terminale: saper lanciare comandi, compilare con make, gestire percorsi.

Come usare questa guida

Puoi leggere i capitoli in ordine sequenziale (dall’introduzione al debug) oppure saltare direttamente all’argomento che ti interessa usando la barra laterale. Ogni pagina è arricchita con esempi pratici, box di approfondimento e spiegazioni dei tecnicismi – niente viene dato per scontato.

Se trovi errori o vuoi suggerire miglioramenti, apri una issue sul repository GitHub di ds4 o contribuisci direttamente alla guida (è open source!).

Pronto a iniziare?

👉 Vai al primo capitolo: Cos’è ds4 e perché usarlo

---

Riconoscimenti

Questa guida esiste grazie al lavoro di Salvatore Sanfilippo e di tutti i contributori di ds4, nonché all’ecosistema llama.cpp/GGML che ha aperto la strada. Un ringraziamento speciale anche a Georgi Gerganov e a chi ha reso possibile l’inferenza locale di modelli di dimensioni frontiera.