Six options sérieuses, chacune avec son terrain. Récapitulatif honnête après installation et test sur un Snapdragon X Elite 64 Go :
OLLAMA → Référence CPU pour 7-70B, API OpenAI-compatible, écosystème énorme → Limite : ne touche pas au NPU, ni au GPU Adreno
LM STUDIO → GUI desktop soignée sur GGUF, build ARM64 natif → Limite : mêmes performances qu’Ollama sur Snapdragon — CPU-only
MICROSOFT FOUNDRY LOCAL (GA en 2026)
→ Détection NPU/GPU/CPU automatique, API OpenAI native, SDK Python/JS/C#/Rust
→ winget install Microsoft.FoundryLocal et c’est plié
→ Le candidat le plus sérieux pour exploiter le NPU avec une UX proche d’Ollama
ANYTHINGLLM DESKTOP → Backend Qualcomm QNN, RAG bureau intégré, modèles ≤ 8B → Le vétéran du NPU sur Windows ARM
NEXA SDK → NPU + catalogue récent (Phi-4-mini, Qwen3-4B-npu, OmniNeural-4B multimodal) → Support day-0 sur les nouveaux modèles
QAI APPBUILDER (quic/ai-engine-direct-helper)
→ Officiel Qualcomm, accès direct Hexagon, API OpenAI-compatible
→ Plus de friction de build mais le plus bas niveau possible
Stack que je recommande sur cette machine :
Foundry Local (NPU, ≤ 8B, latence basse, batterie préservée) + Ollama (CPU, 14-70B, tâches de fond et qualité)
Aucun conflit, ports différents (5273 vs 11434). On route le client OpenAI vers l’un ou l’autre selon la tâche.
À surveiller : le backend Hexagon de llama.cpp progresse en 2026. Le jour où Ollama mentionne « QNN » dans ses release notes, le tableau change pour les petits modèles.
Et vous, votre stack locale ressemble à quoi ?