FRENES

Glosario · Modelos de lenguaje

GGUF

GGUF es un formato de archivo utilizado para distribuir modelos destinados a programas de inferencia compatibles. Reúne parámetros numéricos y metadatos necesarios para interpretarlos, y admite pesos cuantizados, aunque un archivo GGUF no tiene que contener necesariamente un modelo cuantizado para utilizar este formato.

GGUF: la explicación

Para ejecutar un modelo, una aplicación necesita leer sus parámetros y conocer su organización. GGUF funciona como un contenedor de esos datos y de metadatos sobre características del modelo y, cuando corresponde, procesamiento del texto. Un motor de inferencia interpreta el contenido para cargarlo. El archivo no es una aplicación completa. Usted sigue necesitando un programa que admita el formato y también la arquitectura concreta del modelo que se encuentra dentro del archivo.

Este formato se utiliza especialmente en el entorno de llama.cpp y en aplicaciones basadas en motores compatibles. Facilita la distribución de modelos para su ejecución local. Una página de descarga puede ofrecer varias versiones GGUF del mismo modelo con representaciones numéricas distintas. Algunas reducen más la memoria ocupada y otras conservan mayor precisión. Por tanto, su elección depende del contenido del archivo, del programa elegido y de los recursos disponibles en su equipo.

La extensión no garantiza por sí sola que el archivo funcione en su instalación. Un programa puede admitir GGUF y carecer de soporte para una arquitectura reciente o una cuantización determinada. Tampoco debe confundir el tamaño de descarga con toda la memoria necesaria durante una conversación. El contexto y los datos temporales también ocupan espacio. Además, el formato no indica automáticamente la licencia, la calidad de las respuestas ni la fiabilidad del modelo.

Un ejemplo concreto

Usted quiere consultar sus apuntes mediante un asistente local. La página del modelo ofrece varios archivos GGUF. Revisa las arquitecturas y representaciones numéricas admitidas por su aplicación y elige una versión adecuada para su memoria. Después prueba una pregunta breve y un documento más largo. Si el archivo no carga, comprueba la compatibilidad del motor antes de dar por hecho que la descarga está dañada.

Por qué importa

Comprender GGUF permite distinguir el modelo, su representación en un archivo y el programa que lo ejecuta. Revise la procedencia de la descarga, la licencia, la arquitectura admitida y el tipo de pesos. Reserve memoria para el contexto. Dos archivos con la misma extensión pueden ofrecer capacidades muy diferentes, aunque sus nombres se parezcan o tengan un tamaño similar en la página de descarga.

Ideas equivocadas

  • GGUF no es el nombre de un modelo concreto ni una garantía de calidad: distintos modelos y precisiones pueden utilizar este contenedor, mientras sus capacidades siguen dependiendo del entrenamiento, de la configuración y de las tareas solicitadas.
  • Un archivo GGUF no está necesariamente cuantizado ni funciona en cualquier aplicación: el motor debe admitir el formato, la arquitectura y la representación numérica de sus pesos para poder cargar y ejecutar correctamente esa versión del modelo.

Otros términos: modelos de lenguaje

alucinación
La alucinación es una respuesta de una IA que presenta información falsa, inventada o sin fundamento suficiente como si fuera fiable.
Transformer
Un Transformer es una arquitectura de red neuronal que procesa elementos, como fragmentos de texto, calculando relaciones entre ellos mediante atención.
embedding
Un embedding es una representación numérica de un contenido, normalmente expresada como una lista de números llamada vector.
token
Un token es una unidad que utiliza un modelo para representar y procesar parte de su entrada o de su salida.
ventana de contexto
La ventana de contexto es la cantidad máxima de contenido que un modelo puede considerar en un procesamiento determinado, normalmente medida en tokens.
pesos abiertos
Los pesos abiertos son valores aprendidos de un modelo que se ponen a disposición de otras personas para descargarlos y utilizarlos bajo determinadas condiciones.
IA de código abierto
La IA de código abierto es una IA ofrecida con libertades de uso, estudio, modificación y redistribución, junto con los elementos necesarios para ejercerlas.
cuantización
La cuantización es una técnica que representa algunos valores numéricos de un modelo con menor precisión.

Dónde lo trata este sitio

El término aparece en 8 páginas del sitio. Algunas:

Misma familia

Para ir más lejos

Preguntas frecuentes

¿GGUF es un programa?

No. Es un formato que contiene datos del modelo y metadatos. Para obtener respuestas necesita un motor de inferencia compatible. Una aplicación puede ofrecerle la interfaz y utilizar por debajo otro componente para leer el archivo.

¿Funciona sin conexión?

Un modelo GGUF puede ejecutarse localmente sin Internet cuando ya dispone del programa y los archivos necesarios. Compruebe la aplicación por separado, porque la búsqueda web, las cuentas y algunas herramientas pueden seguir dependiendo de servicios remotos.

¿Por qué hay varias versiones?

Pueden corresponder a distintas precisiones, métodos de cuantización o variantes del modelo. Lea sus descripciones. La memoria disponible, la compatibilidad del motor y la calidad necesaria para sus tareas ayudan a elegir una versión adecuada para su equipo.

Neutralidad. Ningún enlace de afiliación. Ningún editor paga por ser evaluado, puntuado o clasificado. Las evaluaciones las dirige François Chollet, neutrales y factuales, y cada dato está fechado y con su fuente. Cómo puntuamos