Calculadora de VRAM: qué equipo para ejecutar un LLM en local

Cómo usarlo

Elija un modelo. Los 17 modelos del primer grupo tienen una arquitectura pública completa: la calculadora cuenta los pesos y la caché KV. Los 66 modelos del segundo grupo vienen del directorio, con el número de parámetros publicado en Hugging Face; la caché KV solo se cuenta si indica la arquitectura en los ajustes avanzados. Para otro modelo, elija «Personalizado» y copie los valores de su archivo config.json.

• Cuantización: Q4_K_M es el compromiso más usado en local; Q8_0 casi no pierde calidad; Q3 y Q2 hacen caber modelos grandes a costa de una pérdida de calidad clara.
• Contexto: la longitud máxima de conversación o de documento que piensa usar. La caché KV crece en proporción.
• Precisión de la caché KV: llama.cpp, Ollama y LM Studio pueden guardar la caché en Q8_0 o Q4_0, lo que la divide por dos o por cuatro.
• RAM del sistema y número de tarjetas (ajustes avanzados): sirven para el veredicto «funciona lento» y para configuraciones con varias tarjetas.

El método de cálculo

La memoria necesaria es la suma de tres partidas. Los pesos: número de parámetros × bits por peso ÷ 8. Los bits por peso de cada formato de cuantización no son valores redondos, porque los formatos «K» guardan algunas matrices con más precisión: la herramienta usa los valores medidos por el proyecto llama.cpp con Llama 3.1 8B (4,89 bits para Q4_K_M, 8,5 para Q8_0).

La caché KV guarda en memoria las claves y valores de atención de cada token del contexto: 2 × capas × cabezas clave-valor × dimensión de cabeza × longitud del contexto × bytes por valor. Los modelos recientes usan atención agrupada (GQA), con pocas cabezas clave-valor, lo que reduce mucho esta partida. Por último, un margen cubre los búferes de cálculo y el contexto del controlador; 10 % es un punto de partida prudente, que conviene ajustar según su software.

El veredicto compara el total con la memoria de cada equipo. En tarjeta gráfica: funciona si todo cabe en la VRAM; funciona lento si el excedente cabe en la RAM del sistema (las capas descargadas pasan por el procesador, a menudo de cinco a veinte veces más lento); si no, no funciona. En Mac, macOS solo deja a la GPU una parte de la memoria unificada por defecto: unos dos tercios hasta 36 GB, tres cuartos por encima. Más allá de ese límite y hasta el 90 % de la memoria, el veredicto es «lento», porque hay que subir el límite a mano y el sistema se queda corto de memoria.

Un ejemplo con cifras

Llama 3.1 8B en Q4_K_M: 8030 millones × 4,89 bits ÷ 8 ≈ 4,6 GB de pesos (el archivo GGUF publicado pesa 4,58 GiB, lo que valida la fórmula). Con 8192 tokens de contexto en F16: 2 × 32 capas × 8 cabezas × 128 × 8192 × 2 bytes = 1 GiB de caché. Con el margen del 10 %, hacen falta unos 6,1 GiB: basta una tarjeta de 8 GB. Con 128 000 tokens de contexto, la caché sube a 16 GiB y hace falta una tarjeta de 24 GB, o una caché cuantizada en Q4_0.

Los límites de la estimación

• Modelos de mezcla de expertos (MoE). Todos los expertos deben cargarse: la memoria depende del número total de parámetros, no de los activos. En cambio, funcionan más rápido de lo que su tamaño sugiere, lo que hace más llevadera la descarga en RAM.
• Atención de ventana deslizante. Algunos modelos (Gemma 2, por ejemplo) limitan la atención de la mitad de sus capas a una ventana corta: su caché KV real es más pequeña que la calculada aquí.
• Varias tarjetas. La memoria se suma, pero cada tarjeta conserva su propio margen y el reparto nunca es perfecto.
• Memoria ya ocupada. La pantalla, el navegador y otras aplicaciones suelen ocupar de 0,5 a 2 GB de VRAM o de memoria unificada.
• Velocidad. «Funciona» no dice nada del rendimiento: depende sobre todo del ancho de banda de memoria de la tarjeta.

Para instalar y elegir un modelo local, vea la guía LLM en local; para entender los formatos, Cuantización y GGUF.