Tag: localllm
Tous les articles avec le tag "localllm".
-
LLM-juge : jugé parmi douze critères, il inverse le verdict
LLM-juge au verdict contraire à sa raison : 9 refus sur 22 venaient d’un critère coché à l’envers. Le rejuger seul, et les autres faux verdicts du banc.
-
Banc LLM : un seul passage varie de ±12 points
Variance d’un benchmark LLM entre deux runs : le même modèle varie de ±12 points d’un passage à l’autre. Pourquoi comparer des moyennes de 3 passages.
-
Assistant LLM : la détection d’urgence sans le modèle
Sécurité d’un assistant LLM : une détection d’urgence déterministe, réglée sur le rappel et testée sur un corpus écrit sans lire le code.
-
MLX `Attempting to eval an array` : `.item()` en compilé
« Attempting to eval an array during function transformations » : ma perte MLX lisait une valeur par .item() dans le pas compilé de mlx-lm. Correctif.
-
LoRA MLX sur Mac 16 Go : la perte qui sature la mémoire
mlx-lm LoRA en manque de mémoire sur un Mac 16 Go : la perte calcule les logits de tout le vocabulaire à chaque position. La calculer sur la réponse seule.
-
mlx-lm `mask_prompt` : seul le dernier message est appris
mlx-lm et mask_prompt sur une conversation multi-tours : seul le dernier message est appris. Un exemple par réponse, et une validation stable.