Tag: mlx
Tous les articles avec le tag "mlx".
-
MLX `Attempting to eval an array` : `.item()` en compilé
« Attempting to eval an array during function transformations » : ma perte MLX lisait une valeur par .item() dans le pas compilé de mlx-lm. Correctif.
-
LoRA MLX sur Mac 16 Go : la perte qui sature la mémoire
mlx-lm LoRA en manque de mémoire sur un Mac 16 Go : la perte calcule les logits de tout le vocabulaire à chaque position. La calculer sur la réponse seule.
-
mlx-lm `mask_prompt` : seul le dernier message est appris
mlx-lm et mask_prompt sur une conversation multi-tours : seul le dernier message est appris. Un exemple par réponse, et une validation stable.
-
Gemma 4 12B : QAT ou non QAT, même score au banc
Gemma 4 QAT vs non QAT sous MLX 4 bits : 62,2 % contre 61,9 % sur trois passages, mais 8,4 Go de poids contre 6,3. Sur un Mac 16 Go, j’ai servi le non QAT.
-
mlx_lm.server : les commentaires SSE cassent le client
mlx_lm.server envoie des lignes SSE « : keepalive » pendant la lecture du prompt : lues comme du JSON, elles ont fait 151 bloquants sur 151 à mon banc.
-
Gemma 4 sous MLX : le cache à fenêtre glissante se relit
Gemma 4 MLX, prompt cache et sliding window : ce cache ne se tronque pas, tout est relu ; un segment pour le socle ramène le premier mot de 20,7 à 2,2 s.