Cómo funcionan los modelos de lenguaje como Llama

Cuando escribes una pregunta en el chat, Llama no busca la respuesta en ningún sitio. Escribe la respuesta poco a poco, fragmento a fragmento, basándose en los patrones que aprendió durante su entrenamiento. Entender esta simple idea explica la mayor parte de lo que los modelos de lenguaje grandes (LLM) hacen bien y casi todas las formas en las que fallan. Esta guía te explica cómo funcionan, sin matemáticas, usando como ejemplo los modelos Llama de nuestro chat.

Tokens: cómo lee el texto un modelo

Los modelos de lenguaje no ven letras ni palabras completas. El texto se divide en tokens: una palabra común suele ser un solo token, las palabras más largas o poco frecuentes se dividen en partes, y los signos de puntuación también cuentan. Cada token se convierte en una lista de números con los que el modelo puede hacer cálculos.

Los tokens explican algunos comportamientos extraños. Si le pides a un modelo que cuente cuántas veces aparece la letra "r" en una palabra larga o que la escriba al revés, es muy posible que se equivoque, simplemente porque nunca vio las letras por separado en primer lugar. Por culpa de los tokens también medimos los límites (cuánto texto puede leer un modelo o qué tan larga puede ser su respuesta) en tokens y no en palabras. Los idiomas que necesitan más tokens por frase alcanzan estos límites mucho más rápido.

Predicción: un token a la vez

En el fondo, un LLM solo hace una cosa: a partir del texto que tiene hasta el momento, calcula qué tan probable es cada uno de los posibles tokens siguientes. Elige uno, lo suma al texto y repite el proceso. Una respuesta larga son cientos o miles de estos pasos consecutivos.

El modelo no siempre elige el token más probable. Un toque de aleatoriedad controlada, que suele ajustarse con un parámetro llamado temperatura, hace que las respuestas sean variadas y naturales. Por eso la misma pregunta genera redacciones distintas cada vez, y por eso hacer clic en regenerar puede darte una respuesta mejor.

Entrenamiento: de predecir texto a ser un asistente

Preentrenamiento

Primero, el modelo lee una cantidad descomunal de texto y aprende a predecir el siguiente token. Las fichas técnicas de Meta describen los datos de preentrenamiento de Llama 3.3 y 3.1 como «una nueva combinación de datos públicos en línea» de más de 15 billones de tokens. Llama 4 se entrenó con una mezcla de datos públicos y con licencia, además de información de los productos de Meta: unos 40 billones de tokens para Scout y 22 billones para Maverick. En el proceso, el modelo asimila gramática, hechos, estilos, código y patrones de razonamiento, ya que todo esto le ayuda a predecir mejor.

Ajuste por instrucciones (instruction tuning)

Un predictor básico solo continúa el texto; no responde preguntas de forma útil. Por eso, el modelo se sigue entrenando con ejemplos de instrucciones acompañadas de buenas respuestas, y con valoraciones humanas sobre qué respuestas son mejores. Las fichas técnicas de Llama 3.x de Meta llaman a estos pasos ajuste fino supervisado (SFT) y aprendizaje por refuerzo con retroalimentación humana (RLHF). El resultado es la versión «Instruct» con la que chateas.

La fecha de corte de conocimientos

Los datos de entrenamiento terminan en una fecha concreta y el modelo no sabe nada de lo ocurrido después. Según las fichas técnicas de Meta, la fecha de corte es agosto de 2024 para Llama 4 Maverick y Scout, y diciembre de 2023 para Llama 3.3 70B y Llama 3.1 8B. Si preguntas sobre algo posterior, el modelo te dirá que no lo sabe o, peor aún, se lo inventará. Nuestro chat no tiene acceso a internet para suplir ese vacío.

Contexto: la memoria de trabajo del modelo

Todo lo que el modelo tiene en cuenta al redactar una respuesta (las instrucciones, la conversación acumulada y tu nuevo mensaje) se llama contexto. No hay memoria más allá de eso. Cuando inicias un chat nuevo, el modelo no recuerda absolutamente nada de los anteriores.

El tamaño máximo es la ventana de contexto, medida en tokens. Las fichas de Meta indican 128K tokens para Llama 3.3 y 3.1, 1M para Llama 4 Maverick y 10M para Llama 4 Scout; el proveedor que usamos ofrece unos 524K para Maverick y cerca de 1.3M para Scout. Nuestro chat envía un fragmento más corto de cada conversación para responder rápido; por eso, los primeros mensajes de un chat muy largo pueden dejar de influir en las respuestas.

Mixture of experts: cómo está construido Llama 4

Los modelos Llama 3 son densos: cada parámetro (los números aprendidos dentro del modelo) se usa para procesar cada token. Llama 4 utiliza en cambio una arquitectura de mezcla de expertos (mixture of experts). El modelo contiene muchas subredes especializadas llamadas expertos, y para cada token solo se activan algunas de ellas. La ficha técnica de Meta ofrece los datos: Llama 4 Scout tiene 17 mil millones de parámetros activos de un total de 109 mil millones, con 16 expertos; Llama 4 Maverick tiene 17 mil millones activos de 400 mil millones, con 128 expertos. La ventaja es un modelo que almacena muchísimo conocimiento pero cuesta menos ejecutar por token que un modelo denso del mismo tamaño total.

Llama 4 también es multimodal de forma nativa. Meta utiliza una «fusión temprana»: el texto y las imágenes se procesan juntos en un solo modelo y no mediante un complemento externo. Por eso Maverick y Scout pueden responder preguntas sobre fotos que adjuntes, mientras que los modelos Llama 3, al ser solo de texto, no pueden hacerlo.

Por qué los modelos inventan cosas

Un modelo de lenguaje está entrenado para generar texto verosímil, no para comprobar si es verdad. Cuando aprendió bien un hecho, lo verosímil y lo verdadero coinciden. Cuando no lo sabe bien (un nombre poco común, un número exacto, un evento reciente, una cita), igual generará algo que suene convincente. Esto se conoce normalmente como alucinación. No te está mintiendo: el modelo no tiene una base de datos de hechos separada para consultar.

• Las cifras exactas, fechas, citas textuales y referencias son las partes más propensas al error.
• Preguntar «¿estás seguro?» puede provocar una corrección, o una disculpa por algo que estaba bien. No es una prueba fiable.
• Darle al modelo el texto de origen y pedirle que trabaje solo a partir de él suele reducir los errores drásticamente.

Puedes ver la diferencia con dos versiones de una misma petición:

De memoria (más riesgoso):
¿Cuándo se fundó la biblioteca municipal de [mi ciudad] y quién la financió?

A partir de una fuente (más seguro):
Utilizando solo el texto de abajo, indica cuándo se fundó la biblioteca y quién
la financió. Si el texto no lo dice, responde "no se indica".
"""
[pega aquí el párrafo del propio sitio web de la biblioteca]
"""

En el primer caso, el modelo probablemente ha visto poco o nada sobre tu biblioteca local y responderá con una suposición dicha con total seguridad. En el segundo, los datos están en su contexto, así que solo tiene que leerlos. El resumidor funciona igual: responde a partir del texto que tú le proporcionas.

Nuestra guía sobre cómo verificar respuestas de IA convierte esto en una rutina práctica.

Qué significa esto al usar el chat

Para ver estas ideas en acción, pídele a Llama que se explique a sí mismo. Para mejorar tus instrucciones, lee cómo escribir prompts; para conocer los modelos a fondo, consulta qué es Llama y la historia de la familia Llama.

Preguntas frecuentes

¿Llama entiende lo que dice?

Depende de lo que entiendas por «entender», y los investigadores no se ponen de acuerdo. En la práctica, procesa el significado lo bastante bien como para resumir, traducir y razonar muchísimos problemas, pero puede fallar en cosas que un niño resuelve sin esfuerzo. Júzgalo revisando sus resultados, no por lo elocuente que suene.

¿Aprende de mis conversaciones?

No. Los parámetros del modelo no cambian mientras chateas. Dentro de una conversación usa lo que dijiste como contexto; en cuanto abres un nuevo chat, ese contexto desaparece.

¿Cuál es la diferencia entre Llama y ChatGPT?

Ambos se basan en modelos de lenguaje grandes creados con principios similares. Llama es una familia de modelos desarrollada por Meta con pesos abiertos bajo la licencia de Meta, por lo que cualquiera puede descargarlos y ejecutarlos; ChatGPT es una aplicación de OpenAI que ejecuta sus propios modelos como un servicio en la nube. Consulta nuestra comparativa Llama vs ChatGPT.

¿Qué son los parámetros?

Son los valores numéricos dentro del modelo que se ajustan durante el entrenamiento. Más parámetros permiten almacenar más patrones, pero requieren más potencia de cálculo. El tamaño por sí solo no garantiza calidad; los datos de entrenamiento y el ajuste fino también son determinantes.

¿Por qué solo algunos modelos aceptan imágenes?

Llama 4 Maverick y Scout fueron entrenados con texto e imágenes a la vez. Llama 3.3 70B y Llama 3.1 8B son modelos exclusivos de texto, por lo que no pueden ver imágenes. Nuestra guía sobre cómo elegir el modelo de Llama adecuado compara las cuatro opciones.