Llama 같은 거대 언어 모델(LLM)은 어떻게 작동할까요?

채팅창에 질문을 입력할 때 Llama는 어딘가에서 답을 검색해 오지 않아요. 학습 과정에서 익힌 패턴을 바탕으로 한 조각씩 이어 가며 답을 작성하죠. 이 기본 원리만 이해해도 대형 언어 모델(LLM)이 왜 특정 작업을 잘하고, 왜 어이없는 실수를 하는지 대부분 설명할 수 있어요. 수학 공식 없이, 채팅에 탑재된 Llama AI 모델을 예로 들어 그 작동 방식을 쉽게 설명해 드릴게요.

토큰: 모델이 텍스트를 읽는 방식

언어 모델은 글자나 온전한 단어를 사람처럼 보지 않아요. 텍스트는 먼저 토큰으로 쪼개져요. 자주 쓰이는 단어는 토큰 하나가 되지만, 길거나 드문 단어는 여러 조각으로 나뉘고 문장 부호도 별도 토큰으로 처리되죠. 각 토큰은 모델이 계산할 수 있는 숫자 목록으로 변환돼요.

토큰 개념을 알면 모델의 이상한 행동이 이해돼요. 긴 단어에 특정 알파벳이 몇 번 들어가는지 묻거나 글자를 거꾸로 나열해 보라고 하면 틀릴 때가 많은데, 애초에 글자 하나하나를 따로 본 적이 없기 때문이에요. 모델이 읽을 수 있는 텍스트 양이나 답변 길이의 한계를 단어가 아닌 토큰 단위로 재는 이유도 여기에 있어요. 문장당 필요한 토큰 수가 많은 언어일수록 이 한계에 더 빨리 도달해요.

예측: 한 번에 한 토큰씩

핵심만 보면 LLM이 하는 일은 단순해요. 지금까지 나온 텍스트를 보고 다음에 올 가능성이 가장 높은 토큰이 무엇인지 확률을 계산하는 것이죠. 그중 하나를 골라 텍스트 뒤에 붙이고, 이 과정을 계속 반복해요. 긴 답변 하나는 이런 과정이 수백, 수천 번 이어진 결과물이에요.

그렇다고 항상 확률이 가장 높은 토큰만 고르는 건 아니에요. 보통 temperature라는 매개변수로 약간의 통제된 무작위성을 주어 답변을 훨씬 자연스럽고 다채롭게 만들죠. 같은 질문을 해도 매번 표현이 달라지고, '다시 생성'을 누르면 더 나은 답변이 나오는 것도 이 때문이에요.

학습: 텍스트 예측기에서 AI 어시스턴트로

사전 학습(Pre-training)

먼저 모델은 방대한 양의 텍스트를 읽으며 다음 토큰을 예측하는 법을 배워요. Meta의 모델 카드에 따르면 Llama 3.3과 Llama 3.1의 사전 학습 데이터는 15조 개 이상의 토큰으로 이루어진 "공개 온라인 데이터의 새로운 조합"이에요. Llama 4는 공개 데이터와 라이선스 데이터, Meta 제품의 정보를 조합해 Scout는 약 40조 개, Maverick은 약 22조 개의 토큰으로 학습했죠. 이 과정에서 모델은 예측 정확도를 높이기 위해 문법, 사실, 문체, 코드, 추론 패턴까지 자연스럽게 익히게 돼요.

지시 학습(Instruction tuning)

단순한 예측기 상태의 모델은 텍스트를 이어 쓸 뿐, 질문에 도움이 되도록 답하진 못해요. 그래서 좋은 답변 예시가 담긴 지시문 데이터와 어떤 답변이 더 나은지에 대한 사람의 피드백을 바탕으로 추가 학습을 거쳐요. Meta의 Llama 3.x 모델 카드에서는 이 과정을 지도 미세 조정(SFT)과 인간 피드백 기반 강화 학습(RLHF)으로 부르고 있어요. 이렇게 완성된 결과물이 바로 우리가 대화하는 "Instruct" 버전이에요.

지식 컷오프(Knowledge cut-off)

학습 데이터는 특정 시점에서 끝나며, 모델은 그 이후의 정보를 전혀 알지 못해요. Meta의 모델 카드 기준 지식 컷오프는 Llama 4 Maverick과 Scout가 2024년 8월, Llama 3.3 70B와 Llama 3.1 8B가 2023년 12월이에요. 그 이후의 내용을 물어보면 모른다고 답하거나, 더 심하면 그럴듯하게 지어내요. 현재 채팅에는 이 공백을 채워줄 실시간 웹 검색 기능이 없어요.

컨텍스트: 모델의 작업 기억

답변을 작성할 때 모델이 참고하는 모든 정보(시스템 지시문, 지금까지의 대화 내용, 새로 보낸 메시지)를 컨텍스트라고 해요. 컨텍스트를 벗어난 기억은 존재하지 않아요. 새 대화를 시작하면 모델은 이전 대화 내용을 완전히 잊어버려요.

컨텍스트의 최대 크기를 컨텍스트 창이라고 하며 토큰 단위로 측정해요. Meta의 모델 카드 기준 Llama 3.3과 Llama 3.1은 128K 토큰, Llama 4 Maverick은 1M, Llama 4 Scout는 10M 토큰을 지원해요. 저희 서비스 제공업체는 Maverick에 약 524K, Scout에 약 1.3M 토큰을 제공하고 있어요. 다만 빠른 응답 속도를 유지하기 위해 대화의 일부만 잘라서 전송하므로, 대화가 아주 길어지면 맨 처음 보낸 메시지는 답변에 반영되지 않을 수 있어요.

전문가 혼합(MoE): Llama 4의 구조

Llama 3 모델은 밀집(Dense) 모델이에요. 모든 토큰을 처리할 때마다 모델 안의 모든 파라미터(학습된 수치)를 다 사용하죠. 반면 Llama 4는 전문가 혼합(Mixture of Experts, MoE) 방식을 써요. 모델 안에 '전문가'라 불리는 특화된 하위 네트워크가 여럿 있고, 각 토큰을 처리할 때 그중 일부만 골라 사용해요. Meta의 모델 카드에 따르면 Llama 4 Scout는 총 1,090억 개 중 170억 개의 활성 파라미터와 16명의 전문가를, Llama 4 Maverick은 총 4,000억 개 중 170억 개의 활성 파라미터와 128명의 전문가를 사용해요. 덕분에 방대한 지식을 담으면서도 같은 크기의 밀집 모델보다 토큰당 연산 비용을 크게 낮출 수 있어요.

또한 Llama 4는 네이티브 멀티모달 모델이에요. Meta는 이를 '초기 융합(early fusion)'이라 설명하는데, 별도의 추가 모듈 대신 하나의 모델 안에서 텍스트와 이미지를 함께 처리하는 방식이에요. Maverick과 Scout가 사진을 보고 답변할 수 있는 반면, 텍스트 전용인 Llama 3 모델은 불가능한 이유가 바로 여기에 있어요.

모델이 거짓말(환각)을 하는 이유

언어 모델은 사실 여부를 검증하도록 만들어진 게 아니라, 그럴듯한 문장을 만들도록 훈련되었어요. 모델이 특정 사실을 정확히 배웠다면 그럴듯한 문장과 사실이 일치해요. 하지만 잘 모르는 내용(생소한 이름, 정확한 수치, 최근 사건, 출처 인용 등)이라도 어떻게든 말이 되는 문장을 지어내죠. 이를 보통 환각(Hallucination) 현상이라고 해요. 일부러 속이는 게 아니라 사실을 대조해 볼 별도의 지식 데이터베이스가 없어서 생기는 문제예요.

• 정확한 수치, 날짜, 인용구, 참고 문헌은 틀릴 확률이 가장 높아요.
• "확실해?"라고 되물으면 잘못을 바로잡기도 하지만, 맞았던 내용도 사과하며 바꿀 수 있어 믿을 만한 확인법이 아니에요.
• 참고할 원문 텍스트를 직접 주고 그 안에서만 답을 찾게 하면 오류를 크게 줄일 수 있어요.

같은 요청이라도 두 가지 방식으로 차이를 확인할 수 있어요:

기억에 의존할 때 (위험함):
[우리 동네] 시립도서관은 언제 설립되었고, 누가 후원했나요?

출처를 제공할 때 (안전함):
아래 텍스트만 참고해서 도서관이 언제 설립되었고 누가 후원했는지
답해 줘. 내용이 없다면 "언급되지 않음"이라고 적어 줘.
"""
[도서관 웹사이트에서 복사한 문단 붙여넣기]
"""

첫 번째 질문의 경우 동네 도서관에 대한 정보가 학습 데이터에 거의 없어 자신 있게 지어낼 가능성이 커요. 두 번째는 필요한 사실이 컨텍스트 안에 들어 있으므로 읽고 찾아내기만 하면 돼요. 요약 도구 역시 사용자가 입력한 텍스트만을 바탕으로 답하기 때문에 똑같이 안전하게 작동해요.

더 실용적인 검증 방법은 AI 답변 팩트체크 가이드에서 자세히 다루고 있어요.

채팅을 효과적으로 활용하는 팁

이 원리들을 직접 체험해 보려면 Llama에게 스스로 설명해 달라고 질문해 보세요. 효과적인 대화법은 프롬프트 작성 가이드를, 모델 자체에 대해 더 알고 싶다면 Llama란 무엇인가와 Llama 모델의 역사를 참고해 보세요.

자주 묻는 질문(FAQ)

Llama는 자기가 하는 말을 이해하나요?

'이해'의 기준에 따라 연구자들 사이에서도 의견이 나뉘어요. 실질적으로는 요약, 번역, 복잡한 문제 추론을 훌륭히 해내지만 어린아이도 쉽게 푸는 문제에서 엉뚱하게 틀리기도 하죠. 문장이 얼마나 유창한지가 아니라 결과물을 직접 검토해 보며 판단하는 것이 좋아요.

제 대화 내용으로 모델이 학습하나요?

아니요. 대화하는 도중에 모델의 파라미터가 바뀌지는 않아요. 한 대화창 안에서 나눈 내용은 컨텍스트로만 활용되며, 새 채팅을 시작하면 그 내용은 완전히 사라져요.

Llama와 ChatGPT의 차이점은 무엇인가요?

둘 다 비슷한 원리로 만들어진 대형 언어 모델 기반이에요. Llama는 Meta가 제작하여 누구나 다운로드하고 실행할 수 있도록 오픈 가중치 라이선스로 공개한 모델 제품군이고, ChatGPT는 OpenAI가 자사 모델을 호스팅 서비스 형태로 운영하는 애플리케이션이에요. 자세한 내용은 Llama vs ChatGPT 비교를 확인해 보세요.

파라미터란 무엇인가요?

학습 과정에서 조정되는 모델 내부의 수치들을 말해요. 파라미터가 많을수록 더 다양한 패턴을 기억할 수 있지만 더 많은 컴퓨팅 자원이 필요해요. 크기만으로 성능이 결정되지는 않으며 학습 데이터의 질과 미세 조정 방식도 매우 중요해요.

일부 모델만 이미지를 처리할 수 있는 이유는 무엇인가요?

Llama 4 Maverick과 Scout는 텍스트와 이미지를 함께 학습한 멀티모달 모델이에요. 반면 Llama 3.3 70B와 Llama 3.1 8B는 텍스트 전용 모델이라 이미지를 인식하지 못해요. 네 가지 모델의 차이점은 Llama 모델 선택 가이드에서 자세히 비교해 드려요.