내 컴퓨터에서 Llama 직접 실행하기
Llama는 가중치를 다운로드할 수 있어 내 컴퓨터에서 오프라인으로 안전하게 실행할 수 있어요. 대표적인 네 가지 방법과 필요한 하드웨어 사양을 꼼꼼히 정리해 드릴게요.
내 컴퓨터에서 Llama를 직접 실행해야 하는 이유
Llama의 가중치는 Meta에서 공개하므로, 폐쇄형 챗봇과 달리 Llama 모델을 직접 다운로드해 내 컴퓨터에서 실행할 수 있어요. 한 번 다운로드하면 오프라인에서도 작동하고, 입력한 프롬프트가 컴퓨터 밖으로 나가지 않으며, 메시지 제한이나 토큰당 요금도 없죠. 다만 하드웨어라는 기회비용이 있습니다. 큰 모델은 많은 메모리가 필요하고, 노트북에서는 클라우드 서버보다 답변 속도가 느릴 수밖에 없어요.
이 가이드에서는 가장 쉬운 방법부터 세밀한 제어가 가능한 방법까지 가장 널리 쓰이는 세 가지 도구(Ollama, LM Studio, llama.cpp)를 다룹니다. 단순히 Llama를 체험해 보고 싶을 뿐이라면 설치가 전혀 필요 없는 무료 Llama 채팅을 이용해 보세요.
내 컴퓨터에 맞는 모델 선택하기
가장 중요한 선택은 바로 모델의 크기입니다. 대략적인 기준을 말씀드리면, 모델 파일 크기만큼의 여유 메모리(그래픽 카드 메모리 또는 Apple 실리콘의 통합 메모리)에 대화 처리를 위한 여유 공간이 추가로 필요해요. 메모리가 부족하면 모델이 아예 로드되지 않거나 일반 시스템 메모리(RAM)를 쓰느라 극도로 느려집니다.
아래는 Ollama에서 제공하는 각 Llama 모델 기본 버전의 다운로드 크기예요. 가정에서 모델을 실행할 때 주로 쓰는 압축(양자화) 파일 기준입니다.
| 모델 | Ollama 이름 | 다운로드 | 추천 용도 |
|---|---|---|---|
| Llama 3.2 1B | llama3.2:1b | 1.3 GB | 사양이 매우 낮은 기기, 단순 작업 |
| Llama 3.2 3B | llama3.2 | 2.0 GB | 대부분의 노트북, 빠른 텍스트 작업 |
| Llama 3.1 8B | llama3.1 | 4.9 GB | 많은 컴퓨터에서 쓰기 좋은 입문용 모델 |
| Llama 3.1 70B | llama3.1:70b | 43 GB | 고성능 워크스테이션 |
| Llama 4 Scout | llama4:scout | 67 GB | 대용량 메모리 워크스테이션, 이미지 작업 |
| Llama 4 Maverick | llama4:maverick | 245 GB | 여러 대의 대형 GPU를 갖춘 서버 |
어떤 걸 골라야 할지 잘 모르겠다면 Llama 3.1 8B로 시작해 보세요. 최근 출시된 웬만한 노트북에서 무리 없이 돌아가면서도 실용적인 성능을 보여줍니다. Meta의 공식 Llama 4 Scout 카드에 따르면 Int4 양자화 적용 시 단일 H100 데이터센터 GPU에 올라간다고 하니, Llama 4 모델의 엄청난 규모를 짐작할 수 있죠.
옵션 1: Ollama (가장 쉬운 방법)
Ollama는 명령어 하나로 모델을 다운로드하고 실행하며, 언제든 다시 쓸 수 있게 관리해 주는 앱이에요.
- 공식 사이트에서 Ollama를 설치합니다.
- 터미널을 열고
ollama run llama3.1을 실행하세요. 처음 실행할 때 모델을 다운로드하며, 그 이후에는 몇 초 만에 켜집니다. - 프롬프트가 뜨면 질문을 입력하고 Enter를 누르세요.
다른 Llama 모델도 똑같이 실행할 수 있어요. 예를 들면 ollama run llama3.2나 ollama run llama4:scout처럼요. Llama 3.1, Llama 3.2, Llama 4의 Ollama 라이브러리 페이지에서 지원되는 모든 크기를 확인할 수 있습니다. Llama 4 페이지를 보면 Scout는 10M, Maverick은 1M의 컨텍스트 윈도우를 지원하며 둘 다 텍스트와 이미지를 모두 처리할 수 있어요.
Ollama는 로컬 서버 기능도 제공하므로 직접 만든 스크립트와 모델을 연동할 수도 있습니다. 채팅 요청 예시는 다음과 같아요:
curl http://localhost:11434/api/chat -d '{
"model": "llama3.1",
"messages": [{"role": "user", "content": "재귀(recursion)에 대해 두 문장으로 설명해 줘."}]
}'옵션 2: LM Studio (데스크톱 앱)
LM Studio는 채팅 창이 달린 무료 데스크톱 앱이라 터미널을 전혀 다룰 필요가 없어요.
- 내 운영체제에 맞는 LM Studio를 다운로드하고 실행합니다.
- Discover 탭으로 이동해 'Llama'를 검색한 다음, 내 컴퓨터 메모리에 맞는 버전을 다운로드하세요.
- Chat 탭으로 이동해 상단 모델 선택기에서 모델을 고르고 바로 대화를 시작하면 됩니다.
LM Studio는 기본적으로 http://localhost:1234/v1에서 OpenAI API 규격과 호환되는 로컬 서버로도 동작해요. 기존의 수많은 개발 도구에서 클라우드 서비스 대신 이 주소를 바라보게 설정할 수 있습니다. 자세한 내용은 LM Studio 시작 가이드와 OpenAI 호환 서버 문서를 참고해 보세요.
옵션 3: llama.cpp (가장 정밀한 제어)
llama.cpp는 수많은 로컬 AI 도구의 기반이 되는 오픈소스 엔진이에요. 이를 직접 사용하면 성능 관련 설정을 가장 폭넓게 제어할 수 있습니다. GGUF 파일 형식으로 모델을 실행하며, 모델 크기를 줄여주는 1.5비트부터 8비트까지의 양자화를 지원하고 Apple 실리콘도 완벽하게 지원해요.
- 프로그램을 설치합니다. 프로젝트 README에 원클릭 설치 명령어가 안내되어 있어요. macOS와 Linux는
curl -LsSf https://llama.app/install.sh | sh, Windows PowerShell은irm https://llama.app/install.ps1 | iex를 실행하세요. - Hugging Face의 GGUF 모델을 불러와 터미널에서 대화합니다:
llama cli -hf <user>/<repo>. - 또는 로컬 OpenAI 호환 서버를 시작할 수도 있습니다:
llama serve -hf <user>/<repo>.
명령어의 플레이스홀더 부분을 원하는 Llama 모델의 GGUF 버전이 올라와 있는 Hugging Face 저장소 이름으로 바꿔주세요. 저장소 설명을 읽고 파일마다 어떤 양자화가 적용되었는지 확인해 보세요. 용량이 작은 파일일수록 메모리를 적게 차지하지만 품질 손실이 약간 발생합니다.
옵션 4: Meta의 오리지널 원본 가중치
압축되지 않은 원본 가중치가 필요한 개발자라면 Llama 3.1 8B Instruct나 Llama 4 Scout 등 Hugging Face의 Meta 공식 페이지에서 직접 다운로드할 수 있어요. 이 저장소들은 권한 승인이 필요(gated)하므로, 로그인 후 모델 페이지에서 라이선스에 동의해야 파일이 열립니다. 모델 카드에는 Hugging Face Transformers 라이브러리용 예제 코드도 포함되어 있어요. 원본 가중치는 위의 양자화 버전보다 훨씬 많은 메모리를 요구하므로 주로 서버 환경이나 미세 조정(파인튜닝)에 쓰입니다.
순조로운 시작을 위한 실전 팁
- 작은 모델부터 시작하세요. 8B나 3B 모델부터 먼저 써보세요. 답변 품질이 아쉽고 하드웨어 여유가 충분할 때만 상위 모델로 올라가는 걸 추천해요.
- 무거운 다른 앱은 닫아주세요. 탭이 많이 열린 웹 브라우저나 게임은 같은 메모리를 두고 경쟁하게 됩니다.
- 대화 길이를 적당히 유지하세요. 대화가 너무 길어지면 메모리를 더 많이 먹고 속도도 느려집니다. 새로운 주제는 새 대화창에서 시작하세요.
- 시스템 프롬프트를 활용하세요. 모델에게 역할과 원하는 답변 스타일을 미리 지정해 주면 소형 모델의 성능이 크게 좋아집니다. 아이디어가 필요하다면 프롬프트 라이브러리를 살펴보세요.
- 라이선스를 꼭 확인하세요. 개인적인 용도로 실행하는 건 간단하지만, 이를 활용해 상용 제품을 만든다면 Llama 라이선스 가이드를 꼭 읽어보세요.
- 지식 시점이 제한적일 수 있어요. 로컬 모델은 실시간 웹 검색을 하지 않습니다. Llama 3.x의 지식은 2023년 12월, Llama 4는 2024년 8월에 멈춰 있어요.
로컬 vs 온라인: 어떤 걸 골라야 할까요?
개인정보 보호나 오프라인 작동, 매일 많은 양을 사용하는 것이 편리함보다 중요하고 충분한 하드웨어가 있다면 로컬 실행을 추천해요. 반면 고사양 컴퓨터 없이도 대형 Llama 4 모델을 써보고 싶거나 가볍게 체험해 보고 싶다면 온라인 채팅이 제격입니다. 클라우드 제공업체를 통해 코드로 Llama를 호출할 수도 있는데, 이는 Llama API 가이드에서 확인하실 수 있어요.
온라인에서 Llama 4 Maverick 먼저 체험해 보기
자주 묻는 질문 (FAQ)
그래픽 카드(GPU) 없이도 Llama를 실행할 수 있나요?
네, Llama 3.2 3B나 Llama 3.1 8B 같은 소형 모델은 일반 CPU에서도 구동할 수 있어요. 다만 속도는 훨씬 느립니다. 대형 모델은 고성능 GPU나 대용량 통합 메모리 없이는 원활한 구동이 어렵습니다.
Llama를 로컬에서 돌리는 건 무료인가요?
위에 소개된 소프트웨어와 Llama 가중치는 모두 무료로 다운로드할 수 있어요. 들어가는 비용은 하드웨어 구매 비용과 전기 요금뿐입니다.
로컬 Llama 모델도 이미지를 인식할 수 있나요?
Llama 4 Scout와 Maverick은 이미지를 처리할 수 있고, Llama 3.2 Vision 모델들도 지원해요. 다만 1B, 3B, 8B 텍스트 전용 모델은 지원하지 않습니다.
초보자에게는 어떤 도구가 가장 좋은가요?
GUI 데스크톱 앱에서 클릭으로 편하게 쓰고 싶다면 LM Studio를, 터미널에 명령어 한 줄 치는 게 부담 없다면 Ollama를 추천해요.
