Tag: llama-cpp
Tous les articles avec le tag "llama-cpp".
-
llama.cpp Snapdragon : le GPU Adreno génère 4× moins vite
llama.cpp sur Snapdragon X Elite : en OpenCL, le GPU Adreno lit le prompt à peine plus vite mais génère quatre fois moins vite que le CPU. Mesures.
-
Ollama : l’heure en tête du prompt casse le cache
Ollama relit tout le prompt à chaque requête quand son début change : une heure en tête cassait le cache de préfixe, 37,7 s de lecture au lieu de 1,6 s.