Cómo ejecutar Llama en tu computadora

Por qué ejecutar Llama en tu propia computadora

Meta publica los pesos de Llama, así que, a diferencia de los chatbots cerrados, puedes descargar un modelo Llama y ejecutarlo en tu propia máquina. Una vez descargado, funciona sin conexión, tus prompts nunca salen de tu equipo y no hay límites de mensajes ni cobros por token. La desventaja es el hardware: los modelos más grandes necesitan mucha memoria y una laptop responderá más lento que un servidor en la nube.

Esta guía cubre las tres herramientas más comunes, desde la más sencilla hasta la más avanzada: Ollama, LM Studio y llama.cpp. Si solo quieres probar Llama, nuestro chat gratuito de Llama no necesita ninguna instalación.

Elige un modelo adecuado para tu máquina

La decisión más importante es el tamaño del modelo. Una regla general: necesitas al menos tanta memoria libre (memoria de video de la tarjeta gráfica o memoria unificada en Apple silicon) como el peso del archivo del modelo, además de un margen extra para la conversación. Si el modelo no cabe, simplemente no cargará o funcionará muy lento usando la memoria RAM del sistema.

Estos son los tamaños de descarga que muestra Ollama para las versiones predeterminadas de cada modelo Llama. Son archivos comprimidos (cuantizados), que es como la mayoría de la gente los ejecuta en casa.

Si no estás seguro, empieza con Llama 3.1 8B. Es lo bastante ligero para muchas laptops recientes y suficientemente capaz para ser útil. La propia ficha de Meta para Llama 4 Scout indica que cabe en una sola GPU para centros de datos H100 con cuantización Int4, lo que da una idea de la escala de los modelos Llama 4.

Opción 1: Ollama (la más fácil)

Ollama es una aplicación que descarga y ejecuta modelos con un solo comando y los mantiene listos para cuando los necesites.

1. Instala Ollama desde su sitio oficial.
2. Abre una terminal y ejecuta ollama run llama3.1. La primera vez descargará el modelo; después iniciará en segundos.
3. Escribe tu pregunta en el prompt y presiona Enter.

Otros modelos Llama funcionan igual, por ejemplo ollama run llama3.2 o ollama run llama4:scout. Las páginas de la biblioteca de Ollama para Llama 3.1, Llama 3.2 y Llama 4 listan todos los tamaños disponibles. En la página de Llama 4, Ollama muestra a Scout con una ventana de contexto de 10M y a Maverick con 1M, ambos compatibles con texto e imágenes.

Ollama también levanta un servidor local para que tus propios scripts puedan usar el modelo. Una petición de chat se ve así:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'

Opción 2: LM Studio (una app de escritorio)

LM Studio es una app de escritorio gratuita con interfaz de chat, así que nunca tendrás que tocar la terminal.

1. Descarga LM Studio para tu sistema operativo y ábrelo.
2. Ve a la pestaña Discover, busca "Llama" y descarga una versión que se ajuste a tu memoria.
3. Entra a la pestaña Chat, selecciona el modelo en el menú superior y empieza a chatear.

LM Studio también puede funcionar como un servidor local compatible con el formato de la API de OpenAI, por defecto en http://localhost:1234/v1. Muchas herramientas existentes pueden conectarse a esa dirección en lugar de un servicio en la nube. Consulta la guía de inicio de LM Studio y la documentación del servidor compatible con OpenAI.

Opción 3: llama.cpp (máximo control)

llama.cpp es el motor de código abierto detrás de muchas herramientas locales de IA. Usarlo directamente te da el control total sobre los ajustes de rendimiento. Ejecuta modelos en formato GGUF, admite cuantizaciones de 1.5 bits a 8 bits para reducir el tamaño de los modelos y está optimizado al máximo para Apple silicon.

1. Instálalo. El README del proyecto incluye instaladores de una sola línea: curl -LsSf https://llama.app/install.sh | sh en macOS y Linux, o irm https://llama.app/install.ps1 | iex en Windows PowerShell.
2. Chatea en la terminal con un modelo GGUF desde Hugging Face: llama cli -hf <user>/<repo>.
3. O inicia un servidor local compatible con OpenAI: llama serve -hf <user>/<repo>.

Reemplaza el marcador de posición por el repositorio de Hugging Face de la versión GGUF del modelo Llama que quieras. Revisa la descripción del repositorio para ver qué cuantización usa cada archivo; los archivos más pequeños ocupan menos memoria, pero pierden algo de calidad.

Opción 4: los pesos originales de Meta

Los desarrolladores que buscan los pesos en precisión completa pueden descargarlos directamente desde las páginas de Meta en Hugging Face, como Llama 3.1 8B Instruct o Llama 4 Scout. Estos repositorios son de acceso restringido: debes iniciar sesión y aceptar la licencia en la página del modelo para desbloquear los archivos. Las fichas de los modelos incluyen código de ejemplo para la biblioteca Transformers de Hugging Face. Los pesos en precisión completa exigen mucha más memoria que las versiones cuantizadas mencionadas arriba, por lo que esta opción es principalmente para servidores y fine-tuning.

Consejos para empezar con buen pie

• Empieza de a poco. Prueba primero un modelo de 8B o 3B. Pasa a uno mayor solo si las respuestas no son suficientes y tu hardware puede soportarlo.
• Cierra otras aplicaciones pesadas. Navegadores con muchas pestañas y juegos compiten por la misma memoria.
• Mantén un contexto moderado. Las conversaciones muy largas consumen más memoria y ralentizan las respuestas. Inicia un nuevo chat para un nuevo tema.
• Usa un prompt del sistema. Indicarle al modelo su rol y el estilo de respuesta preferido ayuda muchísimo a los modelos pequeños. Nuestra biblioteca de prompts tiene buenas ideas.
• Ten en cuenta la licencia. Usar un modelo para ti es sencillo, pero si vas a crear un producto con él, lee nuestra guía sobre la licencia de Llama.
• No esperes datos actualizados. Los modelos locales no buscan en la web. El conocimiento de Llama 3.x llega hasta diciembre de 2023 y el de Llama 4 hasta agosto de 2024.

En local o en línea: cuál elegir

Ejecuta Llama en local si la privacidad, el uso sin conexión o el uso intensivo diario son más importantes que la comodidad, y si tienes el hardware adecuado. Usa un chat en línea cuando quieras probar los modelos más grandes de Llama 4 sin una computadora potente, o simplemente cuando quieras explorar Llama por primera vez. También puedes llamar a Llama mediante código a través de proveedores en la nube; nuestra guía de la API de Llama cubre esa opción.

Prueba Llama 4 Maverick en línea primero

Preguntas frecuentes

¿Puedo ejecutar Llama sin una tarjeta gráfica?

Sí, los modelos pequeños como Llama 3.2 3B y Llama 3.1 8B funcionan en un procesador convencional, solo que más lento. Los modelos más grandes no son viables sin una GPU potente o mucha memoria unificada.

¿Es gratis ejecutar Llama en local?

El software mencionado y los pesos de Llama son de descarga gratuita. Tus únicos costos serán el hardware y la electricidad.

¿Puede un modelo local de Llama interpretar imágenes?

Llama 4 Scout y Maverick admiten imágenes, al igual que los modelos Llama 3.2 Vision. Los modelos de solo texto de 1B, 3B y 8B no lo hacen.

¿Qué herramienta debería usar un principiante?

LM Studio si prefieres una aplicación visual e intuitiva para tu escritorio, u Ollama si te sientes cómodo ejecutando un simple comando en la terminal.