Tag: localllm
Tous les articles avec le tag "localllm".
-
LLM local : préchauffer le prompt au déploiement
LLM local en timeout au premier appel : relire le prompt à froid prenait 90 s, plus que les 60 s de la fonction, qui coupait la lecture avant le cache.
-
Ollama : l’heure en tête du prompt casse le cache
Ollama relit tout le prompt à chaque requête quand son début change : une heure en tête cassait le cache de préfixe, 37,7 s de lecture au lieu de 1,6 s.
-
Qwen3.6-27B dense bat un MoE 397B sur le code, en local
Qwen3.6-27B (Alibaba, 22 avril 2026, Apache 2.0) est probablement le modèle local le plus impactant de l’année pour les développeurs.
-
Claude Code sur un Ollama local ? Oui, mais mauvaise idée
Réponse honnête : techniquement oui. En pratique, mauvaise idée.
-
NPU de laptop : le faire travailler la nuit, gratuitement
NPU de Copilot+ PC : 45 TOPS sous-exploités qu’on fait tourner la nuit, sur secteur, pour des batches IA notifiés sur le téléphone via ntfy.
-
Vous avez un Copilot+ PC. Quel runtime LLM choisir en 2026 ?
Runtime LLM sur Copilot+ PC : six options testées sur Snapdragon X Elite, du CPU Ollama au NPU avec Foundry Local et QNN.