Tag: localllm
Tous les articles avec le tag "localllm".
-
LLM-juge : le time-out qui fait passer un test au vert
LLM-juge et faux positifs : un juge expiré en « fetch failed » rendait un cas vert, un autre se contredisait. Les quatre corrections du banc d’essai.
-
Gemma 4 12B : QAT ou non QAT, même score au banc
Gemma 4 QAT vs non QAT sous MLX 4 bits : 62,2 % contre 61,9 % sur trois passages, mais 8,4 Go de poids contre 6,3. Sur un Mac 16 Go, j’ai servi le non QAT.
-
mlx_lm.server : les commentaires SSE cassent le client
mlx_lm.server envoie des lignes SSE « : keepalive » pendant la lecture du prompt : lues comme du JSON, elles ont fait 151 bloquants sur 151 à mon banc.
-
Gemma 4 sous MLX : le cache à fenêtre glissante se relit
Gemma 4 MLX, prompt cache et sliding window : ce cache ne se tronque pas, tout est relu ; un segment pour le socle ramène le premier mot de 20,7 à 2,2 s.
-
llama.cpp Snapdragon : le GPU Adreno génère 4× moins vite
llama.cpp sur Snapdragon X Elite : en OpenCL, le GPU Adreno lit le prompt à peine plus vite mais génère quatre fois moins vite que le CPU. Mesures.
-
Qwen 3.5 : « System message must be at the beginning »
« System message must be at the beginning » : Qwen 3.5 et Ministral 3 refusent un second message système, et mon banc a compté 22 bloquants sans réponse.