LLM en local: programas, hardware y modelos

Un LLM en local ejecuta un modelo de lenguaje en su computadora o en una máquina que usted administra, con pesos descargados previamente. La elección depende de la memoria disponible, del programa, del contexto necesario y de la calidad que obtenga en sus tareas; el tamaño del modelo por sí solo no permite anticipar su utilidad ni su velocidad.

Qué instala realmente

Una instalación local consta de varios elementos: los pesos del modelo, un motor de inferencia y una interfaz. El motor realiza los cálculos; la interfaz permite conversar, adjuntar documentos u ofrecer un servicio a una aplicación.

Un mismo programa puede reunir estos elementos, pero cada uno cumple una función distinta. Un problema de descarga afecta a los archivos; un error al cargar el modelo puede deberse al motor o a la memoria; una respuesta incorrecta también depende del modelo, de las instrucciones y de la información aportada.

Local describe dónde se ejecuta el modelo, no todas las funciones de la aplicación. Una interfaz instalada en su computadora puede recurrir a un proveedor remoto. A la inversa, una aplicación abierta en el navegador puede comunicarse únicamente con un servidor de su red.

Por eso, antes de tratar datos confidenciales, identifique el modelo seleccionado y la dirección del servidor. Revise también las extensiones, los conectores y los servicios utilizados para analizar documentos.

Esta guía sirve como referencia para dimensionar y utilizar una instalación. El artículo Ejecutar un LLM en local: hardware, programas y límites ofrece una lectura más breve para decidir si esta opción responde a sus necesidades.

Comparar los programas según el trabajo previsto

Ollama resulta adecuado para trabajar desde la terminal o integrar un modelo en una aplicación. LM Studio reúne una interfaz gráfica y funciones de servidor local. llama.cpp proporciona un motor y herramientas para controlar la ejecución de forma más directa.

Criterio	Ollama	LM Studio	llama.cpp
Punto de entrada	Aplicación y terminal	Interfaz gráfica	Herramientas de línea de comandos
Gestión diaria	Descargar y ejecutar mediante un identificador	Elegir y cargar desde la interfaz	Gestionar los archivos y parámetros de forma explícita
Integración	Servicio accesible para las aplicaciones	Servidor local integrado	Servidor y herramientas del proyecto
Usuario al que se dirige	Usuario familiarizado con la terminal	Usuario que prefiere una interfaz	Desarrollador o administrador
Principal aspecto que revisar	Destino de las solicitudes y modelo elegido	Motor instalado y funciones conectadas	Compatibilidad entre el modelo y el motor

Esta comparación se centra en las formas de trabajar, no establece una clasificación por velocidad. Dos interfaces pueden utilizar tecnologías comunes y, aun así, aplicar ajustes diferentes.

El repositorio oficial de llama.cpp describe, entre otras opciones, la ejecución en el procesador, distintas formas de aceleración por hardware y el reparto de los cálculos entre el procesador y la tarjeta gráfica, verificados para esta guía del 24 de octubre de 2026.

Empiece con un solo programa. Acumular instalaciones complica el diagnóstico y puede duplicar las descargas. El catálogo de herramientas de IA permite explorar otras interfaces cuando tenga más claro qué necesita.

Calcular la memoria necesaria antes de elegir el modelo

Distinga entre la memoria RAM del equipo, la memoria dedicada de la tarjeta gráfica y, en algunas arquitecturas, la memoria unificada compartida. Sus capacidades no se suman automáticamente para formar un espacio igual de rápido y fácil de aprovechar.

El consumo de memoria incluye los pesos, los datos temporales del motor y la caché asociada al contexto. También depende de las solicitudes simultáneas. Que un archivo quepa en el disco no significa que pueda mantenerse en memoria durante una conversación.

La cuantización reduce la precisión con la que se representan ciertos números del modelo. Puede disminuir el uso de memoria, pero debe evaluar cómo afecta a la calidad en su tarea concreta. La guía sobre cuantización y formato GGUF explica esta elección con más detalle.

Para una primera prueba, deje un margen para las aplicaciones habituales. Un equipo que logra cargar el modelo después de cerrar todos los programas puede resultar poco práctico cuando vuelva a abrir el navegador y sus documentos.

Los requisitos oficiales de LM Studio, consultados el 24 de octubre de 2026, recomiendan, entre otras cosas, al menos 16 GB de memoria RAM; también especifican las restricciones del procesador y del sistema. Son requisitos del programa, no una garantía de que cualquier modelo vaya a funcionar con fluidez.

Antes de comprar hardware, anote la configuración exacta de su equipo y la memoria que realmente tiene libre. El número de núcleos, el nombre comercial del procesador o la memoria anunciada en el embalaje no bastan para resolver la cuestión.

Modelos según la capacidad del equipo: puntos de partida prudentes

La siguiente tabla presenta propuestas editoriales para una primera prueba, a fecha del 24 de octubre de 2026, no configuraciones mínimas certificadas. Utiliza una misma familia para que resulte más fácil apreciar el efecto del tamaño; no presenta estos modelos como los más recientes ni como los mejores.

Los tamaños corresponden a las descargas indicadas en la biblioteca oficial de Ollama para Qwen3, consultada el 24 de octubre de 2026. No representan la memoria total necesaria.

Equipo disponible	Primer modelo que considerar	Descarga indicada	Equilibrio que debe comprobar
Portátil con 8 GB de RAM	Qwen3 4B, si la memoria libre lo permite	2,5 GB	Contexto corto y pocas aplicaciones abiertas a la vez
Computadora con 16 GB de RAM	Qwen3 8B	5,2 GB	Tiempo de respuesta con el procesador o la aceleración disponible
Equipo con 32 GB de RAM	Qwen3 14B	9,3 GB	Mejora de calidad respecto al modelo más pequeño
Estación de trabajo con 64 GB de RAM	Qwen3 32B	20 GB	Tiempo de espera y costo del hardware aceptables

Si dispone de una tarjeta gráfica dedicada, compare también la necesidad total de memoria con la memoria de video disponible. Un modelo cargado parcialmente en la memoria del sistema puede funcionar de forma muy distinta a uno cargado por completo en la tarjeta.

En equipos con memoria unificada, el sistema y las demás aplicaciones comparten la capacidad física. Por tanto, no considere que toda la memoria anunciada está disponible para los pesos.

Estos ejemplos no sustituyen la comparación con otras arquitecturas. En un modelo de mezcla de expertos, el número de parámetros activos no describe por sí solo todos los pesos que hay que almacenar. Compruebe siempre el archivo concreto, su formato y la compatibilidad con su motor.

Elegir según el uso, no solo según el tamaño

Para reformular o clasificar textos cortos, empiece con un modelo de tamaño moderado. El criterio es que respete las instrucciones: categorías permitidas, información que debe conservar, ausencia de añadidos y un formato que pueda utilizar.

Para resumir documentos, compruebe si recoge la información esencial y qué omite. Una respuesta fluida puede eliminar una excepción decisiva. Pida referencias a los pasajes aportados y verifique que correspondan al documento.

Para programar, utilice tareas representativas de su lenguaje y sus bibliotecas. Generar código que parezca correcto no basta: sigue siendo necesario compilarlo, probarlo y revisarlo. Un modelo capaz de proponer una función aislada puede fallar al mantener la coherencia de un proyecto.

Para consultar una base documental, distinga la búsqueda de pasajes de la generación de la respuesta. Si el pasaje adecuado nunca llega al modelo, aumentar su tamaño no resuelve directamente el problema.

Por último, un agente añade otra dificultad: elegir una herramienta, generar sus argumentos e interpretar el resultado. La ejecución local no garantiza ninguna de estas capacidades. Empiece con operaciones de solo lectura y mantenga una validación para las acciones que modifiquen sus datos.

En todos estos usos, evalúe el español real de sus documentos: vocabulario profesional, negaciones, tablas, abreviaturas y nombres propios. Una puntuación general no sustituye estas comprobaciones.

Preparar la instalación

Antes de ejecutar los comandos, reúna lo siguiente:

un equipo compatible con el programa elegido;
espacio en disco para el modelo y las descargas adicionales;
una conexión para descargar el programa, el motor y los pesos;
los permisos necesarios para la instalación;
un pequeño conjunto de tareas sin datos confidenciales y con respuestas esperadas.

El procedimiento siguiente utiliza Ollama. Los comandos se han verificado en las fuentes oficiales consultadas el 24 de octubre de 2026. No fijan una versión: anote la que haya instalado si quiere reproducir sus pruebas.

1. Instalar el programa

En Windows o macOS, descargue el instalador correspondiente desde el sitio oficial. En Linux, la documentación oficial de instalación proporciona este comando:

curl -fsSL https://ollama.com/install.sh | sh

El comando descarga y ejecuta un script. En un entorno administrado, solicite su revisión conforme al procedimiento habitual.

La misma documentación ofrece esta comprobación:

ollama -v

Guarde el resultado en su registro de pruebas. Más adelante le permitirá distinguir un cambio del programa de un cambio de modelo.

2. Ejecutar un modelo identificado de forma explícita

La página oficial de Qwen3 4B en Ollama proporciona el siguiente comando:

ollama run qwen3:4b

La primera ejecución puede incluir la descarga. No confunda esa espera inicial con el tiempo que tardarán en generarse las respuestas posteriores.

Empiece con una petición breve cuya respuesta pueda comprobar. Después, añada un texto representativo de su actividad, sin datos sensibles durante esta fase.

Comprobar la ejecución y preparar el uso sin conexión

3. Revisar los modelos cargados

La referencia oficial de comandos de Ollama documenta cómo listar los modelos instalados y los que se están ejecutando:

ollama ls

ollama ps

Compruebe que aparece el modelo esperado. La columna que indica el procesador utilizado ayuda a detectar si la ejecución se realiza en el procesador, en la tarjeta gráfica o de forma compartida.

Cuando quiera liberar memoria, detenga el modelo desde la aplicación o con el comando documentado que corresponda a su identificador exacto. Salir de una conversación no significa necesariamente que los pesos se hayan retirado de la memoria de inmediato.

4. Validar el funcionamiento sin red

Después de la descarga, desconecte temporalmente la red y repita una petición sencilla. Pruebe también a cargar el modelo después de cerrar y volver a abrir la aplicación.

En el caso de LM Studio, la documentación sobre el modo sin conexión distingue expresamente la conversación, el procesamiento local de documentos y el servidor local de las operaciones que necesitan Internet, como buscar modelos o descargar motores.

Esta prueba comprueba la disponibilidad sin conexión; no constituye una auditoría completa de las comunicaciones. Una aplicación puede conservar información y sincronizarla más tarde. Examine por separado su almacenamiento, sus ajustes de red y sus integraciones.

Por último, guarde una copia de la configuración necesaria: modelo, motor, parámetros y ubicación de los datos. La continuidad del funcionamiento sin conexión queda comprometida si una reinstalación requiere archivos que no ha conservado.

Medir el rendimiento sin comparar cifras incompatibles

Mida primero el tiempo hasta que aparece el primer texto, después la velocidad de generación y, por último, la duración completa de la tarea. Una respuesta que empieza rápido pero se alarga sin necesidad puede ser menos útil que una respuesta concisa generada más despacio.

Separe la primera carga de las pruebas en las que el modelo ya está en memoria. Mantenga las mismas instrucciones, documentos, ajustes de contexto y límites de salida en cada comparación.

Medida	Qué indica	Error frecuente
Carga inicial	Espera hasta que el modelo está disponible	Incluirla solo en algunas pruebas
Tiempo hasta el primer texto	Rapidez de respuesta percibida	Ignorar la extensión del documento aportado
Velocidad de generación	Ritmo de producción	Comparar modelos que tokenizan de forma distinta
Duración total	Tiempo hasta obtener un resultado utilizable	Excluir las correcciones y los nuevos intentos
Calidad validada	Utilidad para su tarea	Juzgar únicamente la fluidez del español
Memoria máxima	Margen disponible durante el uso	Medir solo justo después de cargar el modelo

Defina los criterios antes de leer las respuestas: campos extraídos correctamente, hechos conservados, pruebas superadas y errores que impiden utilizar el resultado. Anote también las negativas justificadas y las respuestas que reconocen que falta información.

Repita las pruebas y conserve la variación entre resultados. La temperatura de generación, las tareas simultáneas y el estado térmico del equipo pueden influir. Aquí no se ofrece una velocidad universal: sin una configuración y un protocolo completos, una cifra de tokens por segundo resulta insuficiente.

Ajustar el contexto y entender el costo real

Un contexto más largo permite aportar más contenido, pero aumenta el trabajo que debe realizar el equipo y puede elevar la memoria necesaria. Por tanto, la capacidad máxima anunciada del modelo no es un ajuste recomendable para todas las máquinas.

Empiece con los documentos que realmente necesita. Elimine los historiales que no guarden relación con la tarea y compare la respuesta antes de ampliar el contexto. Para una base documental extensa, puede ser preferible transmitir pasajes seleccionados en lugar de introducir sistemáticamente todos los archivos.

Las preguntas frecuentes oficiales de Ollama, consultadas el 24 de octubre de 2026, explican cómo ajustar el contexto e interpretar la distribución del modelo en memoria. Permiten comprobar cómo se está ejecutando realmente en su instalación.

El costo local incluye el hardware, la electricidad, el almacenamiento y el tiempo de administración. También abarca las respuestas que no se pueden utilizar y el trabajo humano necesario para corregirlas.

Compare tareas terminadas con un nivel de calidad similar. El presupuesto de una máquina ya disponible para un uso ocasional se calcula de forma distinta al de un servidor dedicado que permanece encendido continuamente.

Si se plantea comprar un equipo, pruebe primero su carga de trabajo en una configuración a la que tenga acceso. Compruebe que la calidad obtenida justifica la inversión; disponer de más memoria puede permitir cargar otro modelo sin garantizar una mejora suficiente para sus necesidades.

Problemas frecuentes

El modelo no se carga. Revise la descarga, la compatibilidad del motor y la memoria libre. Reduzca el contexto, cierre las aplicaciones que más recursos consumen y pruebe después una variante más pequeña.

La generación es lenta a pesar de tener una tarjeta gráfica. Compruebe dónde se están realizando los cálculos y la compatibilidad del hardware. A continuación, compare con un modelo más pequeño, en lugar de modificar todos los parámetros a la vez.

El consumo de memoria aumenta durante las conversaciones. Examine la longitud de los intercambios y las solicitudes simultáneas. Una instalación estable para una persona puede quedarse sin memoria cuando varias sesiones utilizan el servidor.

Las respuestas son incoherentes o tienen un formato incorrecto. Compruebe el modelo exacto, el motor y el formato de conversación esperado. Vuelva a una petición mínima antes de añadir los documentos y las restricciones.

El modelo parece ignorar los documentos. Revise la extracción del contenido y los pasajes que realmente se transmiten. Un archivo escaneado puede necesitar reconocimiento de caracteres; una tabla puede perder su estructura.

El servidor funciona en el equipo, pero no desde otros dispositivos. Distinga entre la escucha local, el acceso por red y las reglas del cortafuegos. No exponga el servicio a Internet simplemente para eludir el problema.

Después de una actualización, vuelva a ejecutar su conjunto de tareas antes de sustituir la instalación que utiliza a diario. Conserve los archivos necesarios para recuperar la configuración anterior.

Lista de comprobación antes del uso habitual

El resultado adecuado es una instalación que produce respuestas verificables en un plazo aceptable, con margen de memoria y un destino conocido para los datos. Valide estos puntos antes de aumentar el tamaño del modelo o el número de usuarios.

Páginas relacionadas

Preguntas frecuentes

¿Se puede usar un LLM local sin tarjeta gráfica?

Sí, con un motor compatible con el procesador de su equipo. La memoria disponible y el tiempo de respuesta pasan a ser los principales criterios de elección; empiece con un modelo pequeño antes de plantearse una compra.

¿Un LLM local funciona sin Internet?

La inferencia puede funcionar sin conexión si el programa, su motor y los pesos necesarios ya están instalados. Las búsquedas web, los proveedores remotos y algunas herramientas conectadas siguen dependiendo de la red.

¿Un modelo local aprende automáticamente de mis documentos?

No. Aportar un documento en una conversación generalmente no modifica los pesos del modelo. Una aplicación puede conservar ese documento o crear un índice de búsqueda, lo que supone un almacenamiento independiente que debe administrar.

¿Puede un LLM local sustituir a una API en una empresa?

Depende del volumen de uso, de la calidad esperada y de los requisitos operativos. Una API evita tener que gestionar el hardware; una instalación local ofrece más control sobre la ejecución, pero exige mantenimiento y capacidad suficiente.

¿Se pueden usar con fines comerciales todos los modelos descargables?

No, poder descargar los pesos no basta para determinar los derechos de uso. Revise la licencia del modelo concreto, sus posibles condiciones adicionales y las del programa que lo ejecuta.

LLM en local, guía de referencia: programas, modelos según el equipo, rendimiento y usos