Le Snapdragon X Elite est vendu sur ses 45 TOPS. En pratique, sur un Dell XPS 13 9345 64 Go, quand vous lancez ollama run qwen3:8b :
- CPU : 80-100 %
- GPU Adreno : 0 %
- NPU : 0 %
Pas un bug. Une réalité de la stack actuelle.
Ollama repose sur llama.cpp, qui n’a toujours pas de backend QNN/Hexagon stable en avril 2026. LM Studio : même limite (même socle). Tout ce qui consomme du GGUF tourne CPU sur Snapdragon, point.
Les outils qui exploitent vraiment le NPU aujourd’hui :
→ AnythingLLM Desktop — backend Qualcomm QNN, build Windows ARM64, UX bureau → Nexa SDK — catalogue NPU récent, multimodal compris → Microsoft Foundry Local — GA en 2026, détection NPU/GPU/CPU automatique, API OpenAI-compatible → QAI AppBuilder de Qualcomm — le plus bas niveau, accès direct Hexagon
Stratégie pragmatique sur ce type de machine : double stack.
Ollama pour les 14-70B sur CPU (jusqu’à Llama 3.3 70B en asynchrone, 1-2 tok/s, RAM 64 Go oblige).
Un runtime NPU pour les ≤8B avec gain net en autonomie batterie et CPU libéré pour autre chose.
Bonne nouvelle qui change le tableau : les PR du backend Hexagon dans llama.cpp ont commencé à merger en avril 2026. Pas encore au niveau du QNN SDK pur, mais ça bouge enfin.
Si vous tournez Llama 3.2 3B ou Phi-3.5 Mini en interactif sur un Copilot+ PC, basculez sur Foundry Local ou AnythingLLM. Le ventilateur va vous remercier, la batterie aussi.
Et vous, vos modèles tournent sur quel accélérateur en réalité ?
#sysadmin #linux #localllm #ollama #snapdragon #npu #copilotpc #llama-cpp #ai #llmops