Tag: macos
Tous les articles avec le tag "macos".
-
LoRA MLX sur Mac 16 Go : la perte qui sature la mémoire
mlx-lm LoRA en manque de mémoire sur un Mac 16 Go : la perte calcule les logits de tout le vocabulaire à chaque position. La calculer sur la réponse seule.
-
Gemma 4 12B : QAT ou non QAT, même score au banc
Gemma 4 QAT vs non QAT sous MLX 4 bits : 62,2 % contre 61,9 % sur trois passages, mais 8,4 Go de poids contre 6,3. Sur un Mac 16 Go, j’ai servi le non QAT.
-
Gemma 4 sous MLX : le cache à fenêtre glissante se relit
Gemma 4 MLX, prompt cache et sliding window : ce cache ne se tronque pas, tout est relu ; un segment pour le socle ramène le premier mot de 20,7 à 2,2 s.