Llamaをローカルで動かす方法

Llamaの重みはダウンロード可能なため、自身のPC上でオフラインかつ安全に実行できます。導入の4つの手順と、必要となるハードウェア要件をわかりやすく解説します。

読了時間: 約8分更新日

A small clay computer box on a desk with a plant and a mug

Llama を自分の PC で動かすメリット

Llama のモデルウェイトは Meta によって公開されているため、一般的な商用チャットボットとは異なり、Llama モデルをダウンロードしてご自身のマシン上で直接実行できます。一度ダウンロードすればオフラインで動作し、入力したプロンプトが外部に送信されることもありません。メッセージ数の制限やトークンごとの従量課金も不要です。トレードオフとなるのはハードウェア性能です。モデルが大きくなるほど膨大なメモリが必要になり、ノート PC ではクラウドサーバーよりも応答速度が遅くなります。

本ガイドでは、手軽なものから本格的なものまで、代表的な3つのツール(Ollama、LM Studio、llama.cpp)を紹介します。まずは試してみたいだけなら、インストール不要の無料 Llama チャットをご利用いただけます。

マシンに合ったモデルを選ぶ

最も重要なのはモデルサイズの選択です。大まかな目安として、モデルファイルの容量と同等以上の空きメモリ(グラフィックボードの VRAM、または Apple シリコンのユニファイドメモリ)に加え、会話用の作業領域が必要です。メモリが不足していると、モデルの読み込みに失敗するか、通常のシステムメモリが使われて動作が極端に遅くなります。

以下は、Ollama で各 Llama モデルのデフォルト版をダウンロードした際のファイルサイズです。これらは圧縮(量子化)されたファイルであり、一般的なローカル環境ではこの形式で利用されます。

モデルOllama での名称ダウンロードおすすめ用途
Llama 3.2 1Bllama3.2:1b1.3 GB低スペック PC、シンプルなタスク
Llama 3.2 3Bllama3.22.0 GB一般的なノート PC、手軽なテキスト処理
Llama 3.1 8Bllama3.14.9 GB多くの環境で最初の1台に最適
Llama 3.1 70Bllama3.1:70b43 GBハイスペックなワークステーション
Llama 4 Scoutllama4:scout67 GB大容量メモリ搭載ワークステーション、画像処理
Llama 4 Maverickllama4:maverick245 GB大型 GPU を複数搭載したサーバー

どれを選ぶべきか迷ったら、まずは Llama 3.1 8B から試すのがおすすめです。近年のノート PC でも動作するサイズでありながら、十分な実用性を備えています。なお、Meta 公式の Llama 4 Scout モデルカードによると、Int4 量子化を施すことでデータセンター向けの単一の H100 GPU に収まるとされており、Llama 4 のスケールの大きさが伺えます。

選択肢1:Ollama(最も手軽)

Ollama は、コマンド1つでモデルのダウンロードから実行までを行い、いつでも使える状態に保ってくれるツールです。

  1. 公式サイトから Ollama をインストールします。
  2. ターミナルを開き、ollama run llama3.1 を実行します。初回はモデルがダウンロードされ、2回目以降は数秒で起動します。
  3. プロンプトに質問を入力して Enter キーを押します。

他の Llama モデルも同様に、ollama run llama3.2 や ollama run llama4:scout などのコマンドで利用できます。Llama 3.1、Llama 3.2、Llama 4 の Ollama ライブラリページに、利用可能なすべてのバリエーションが掲載されています。Llama 4 のページでは、Scout が 10M、Maverick が 1M のコンテキスト長に対応し、どちらもテキストと画像を入力できることが確認できます。

また、Ollama はローカルサーバーとしても動作するため、自作スクリプトからモデルを呼び出すことも可能です。チャットのリクエストは次のように送信します。

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [{"role": "user", "content": "Explain recursion in two sentences."}]
}'

選択肢2:LM Studio(デスクトップアプリ)

LM Studio は、直感的なチャット画面を備えた無料のデスクトップアプリです。ターミナルを使わずに利用できます。

  1. 環境に合わせた LM Studio をダウンロードして起動します。
  2. 「Discover」タブを開いて「Llama」を検索し、PC のメモリに収まるバージョンをダウンロードします。
  3. 「Chat」タブへ移動し、上部のモデル選択画面でダウンロードしたモデルを選べば、すぐにチャットを始められます。

さらに、LM Studio は OpenAI API 互換のローカルサーバーとしても動作します(デフォルトは http://localhost:1234/v1)。既存の様々なツールから、クラウドサービスの代わりにこのアドレスを指定して接続できます。詳細は LM Studio スタートガイドや OpenAI 互換サーバーのドキュメントをご覧ください。

選択肢3:llama.cpp(細部まで制御可能)

llama.cpp は、多くのローカル AI ツールの基盤となっているオープンソースのエンジンです。直接扱うことで、パフォーマンス設定を最も細かく調整できます。GGUF ファイル形式のモデルを実行可能で、モデルを軽量化する 1.5bit から 8bit までの量子化をサポートし、Apple シリコンにもネイティブ対応しています。

  1. インストールを行います。プロジェクトの README に記載されているワンライナーを使用できます。macOS / Linux の場合は curl -LsSf https://llama.app/install.sh | sh、Windows PowerShell の場合は irm https://llama.app/install.ps1 | iex を実行します。
  2. ターミナルから Hugging Face 上の GGUF モデルを使ってチャットを開始します:llama cli -hf <user>/<repo>
  3. または、ローカルの OpenAI 互換サーバーを起動します:llama serve -hf <user>/<repo>

プレースホルダー部分には、利用したい Llama モデルの GGUF バージョンがある Hugging Face リポジトリ名を指定してください。ファイルごとに使われている量子化方式が異なるため、リポジトリの説明欄をご確認ください。ファイルサイズが小さいほどメモリ消費は抑えられますが、精度の低下が生じます。

選択肢4:Meta 公式のオリジナルウェイト

フル精度のウェイトを直接扱いたい開発者は、Hugging Face 上の Meta 公式ページ(Llama 3.1 8B Instruct や Llama 4 Scout など)からダウンロードできます。これらのリポジトリは利用申請が必要(gated)なため、モデルページ上でログインし、ライセンスに同意するとダウンロードできるようになります。各モデルカードには Hugging Face Transformers ライブラリ向けのサンプルコードも掲載されています。フル精度のウェイトは上記の量子化版よりもはるかに多くのメモリを消費するため、主にサーバー環境やファインチューニングでの利用に適しています。

快適に動かすためのポイント

  • まずは小さなモデルから。 最初は 8B や 3B のモデルから試すのがおすすめです。回答精度に物足りなさを感じ、ハードウェアに余裕がある場合のみ、より大きなモデルに移行しましょう。
  • 重いアプリは終了しておく。 大量のタブを開いたブラウザやゲームなどは、同じメモリ領域を圧迫します。
  • 長すぎる会話は避ける。 コンテキストが長大になると、メモリ消費量が増えて処理速度が落ちます。話題が変わったら新しいチャットを立ち上げましょう。
  • システムプロンプトを活用する。 モデルに役割や回答スタイルを指定すると、小さなモデルでも回答の質が大幅に向上します。アイデアをお探しの際は、当サイトのプロンプト集も参考にしてください。
  • ライセンスを確認する。 個人でモデルを動かすのは自由ですが、製品やサービスに組み込む場合は、事前に当サイトの Llama ライセンスガイドをご確認ください。
  • 知識のカットオフに注意する。 ローカルモデルは自動で Web 検索を行いません。Llama 3.x の知識は 2023年12月まで、Llama 4 は 2024年8月までの情報に基づいています。

ローカルとオンラインの使い分け

プライバシーの保護、オフライン環境での利用、あるいは毎日頻繁に使うことが最優先で、十分なハードウェアがある場合はローカルでの実行が適しています。高スペックな PC なしで大型の Llama 4 モデルを使いたい場合や、まずは手軽に Llama AI を試してみたい場合は、オンラインチャットが最適です。また、クラウド経由でプログラムから呼び出す方法については、当サイトの Llama API ガイドで詳しく解説しています。

まずはオンラインで Llama 4 Maverick を試す

よくある質問

グラフィックボードがなくても Llama は動きますか?

はい。Llama 3.2 3B や Llama 3.1 8B などの小型モデルであれば通常の CPU でも動作しますが、速度は遅くなります。より大きなモデルを実用的な速度で動かすには、高性能な GPU か大容量のユニファイドメモリが必要です。

Llama をローカルで動かすのにお金はかかりますか?

上記で紹介したソフトウェアも Llama のウェイトもすべて無料でダウンロードできます。発生するコストはハードウェア代と電気代のみです。

ローカルの Llama モデルは画像を認識できますか?

Llama 4 Scout および Maverick、ならびに Llama 3.2 Vision モデルは画像入力に対応しています。1B、3B、8B のテキスト専用モデルは対応していません。

初心者はどのツールを使うべきですか?

直感的なデスクトップアプリで操作したい方には LM Studio、ターミナルで簡単なコマンドを入力することに抵抗がない方には Ollama がおすすめです。

Llamaに最初の質問をしてみましょう

アカウント作成もインストールも不要です。チャットを開いてメッセージを入力し、Llamaの実力を体験してみてください。

Llamaチャットを開く