Ollamaの使い方。ローカルLLMを自分のPCで動かす手順を解説

「社内の機密データをクラウドのAIに送るのは避けたい」「まずは手元のPCで大規模言語モデルを試したい」という方も多いでしょう。しかし、環境構築が難しそうに見えて、なかなか一歩を踏み出せないケースは少なくありません。そこで本記事では、Ollamaとは何か、OS別のインストール手順、基本コマンドとモデルの使い方、日本語モデルや必要スペック、そして業務利用のポイントについてわかりやすく解説します。ローカルでAIを動かしたいと考えている担当者の方は、ぜひ最後までご覧ください。

ローカルLLMを自社の環境で本格的に活用したいという方はリベルクラフトへご相談ください。
⇨リベルクラフトのローカルAI環境構築支援の詳細はこちら

Ollamaとは

Ollamaとは、大規模言語モデル（LLM）を自分のPCやサーバー上で手軽に動かすためのオープンソースのツールを指します。LLMとは、大量のテキストを学習して文章の生成や質問応答を行うAIモデルのことです。

通常、こうしたモデルをローカルで動かすには、モデルファイルのダウンロード、実行環境の準備、メモリの割り当てといった作業が必要になります。Ollamaは、これらをコマンド1つにまとめて実行できるようにしたツールです。ollama run というコマンドを打つだけで、必要なモデルの取得から起動、対話の開始までが自動で進みます。

Ollamaが注目される理由は、大きく3つあります。1つ目は、データが外部に送信されない点です。入力した内容は手元の環境の中だけで処理されるため、社外に出せない情報を扱いやすくなります。2つ目は、API利用料が発生しない点です。モデルを一度ダウンロードすれば、実行回数に関わらず追加費用はかかりません。3つ目は、Llama、Gemma、Qwenといった主要なオープンモデルを共通の操作で切り替えられる点です。Ollamaは Windows、macOS、Linux に対応しており、Docker イメージも公式に提供されています（出典：Ollama 公式GitHub）。ツール自体はMITライセンスで公開されており、商用利用も可能です（ダウンロードするモデルごとのライセンスは別途確認が必要です）。

Ollamaのインストール（OS別）

まずは、Ollamaを使い始めるためのインストール手順をOS別に見ていきます。いずれの環境でも、公式サイト（ollama.com）からの入手を基本とします。

macOS の場合

macOS では、公式サイトからインストーラー（Ollama.dmg）をダウンロードして展開する方法が手軽です。ターミナルから入れる場合は、次のコマンドを実行します。

curl -fsSL https://ollama.com/install.sh | sh

インストールが完了すると、Ollamaのバックグラウンドサービスが自動で起動します。

Windows の場合

Windows では、公式サイトからインストーラー（OllamaSetup.exe）をダウンロードし、ダブルクリックして画面の指示に従うだけで導入できます。PowerShell から入れる場合は、次のコマンドを使います。

irm https://ollama.com/install.ps1 | iex

Linux の場合

Linux では、次のコマンド1行でインストールできます。

curl -fsSL https://ollama.com/install.sh | sh

NVIDIA製のGPUを利用する場合は、事前にGPUドライバが導入されている必要があります。GPUがない環境でもCPUのみで動作しますが、処理速度は遅くなります。

Docker の場合

サーバーへの導入やチームでの共有を想定する場合は、公式のDockerイメージ ollama/ollama を利用する方法もあります（出典：Ollama 公式GitHub）。コンテナとして動かすことで、環境の再現や移設がしやすくなります。

インストール後、正しく導入できたかは次のコマンドで確認できます。

ollama --version

Ollamaの基本の使い方（モデル取得・実行・コマンド）

インストールが済んだら、実際にモデルを動かしてみます。ここでは、モデルの取得と実行、そして覚えておきたい基本コマンドを順に説明します。

モデルを実行する

もっともよく使うのが ollama run です。モデル名を指定して実行すると、対話モードが始まります。指定したモデルが手元にない場合は、自動でダウンロードしてから起動します。

ollama run gemma4

コマンドを実行すると入力待ちの状態になり、質問を打ち込むと回答が返ってきます。対話モードを終了するときは、次のように入力します。

/bye

モデルをダウンロードだけする

実行はせず、モデルの取得だけを先に済ませたい場合は ollama pull を使います。あらかじめダウンロードしておくと、次に実行するときにすぐ起動できます。

ollama pull qwen3

利用できるモデルの一覧は、公式のモデルライブラリ（ollama.com/library）で確認できます。同じモデルでもパラメータ数の異なる版が用意されており、ollama run gemma4:12b のように、コロンに続けてサイズを指定できます。

基本コマンド一覧

Ollamaでよく使うコマンドを下の表にまとめます。基本の構文は ollama [コマンド] [モデル名] です。困ったときは ollama --help でヘルプを表示できます。

コマンド	動作
ollama run <モデル名>	モデルを起動して対話する
ollama pull <モデル名>	モデルをダウンロードのみ行う
ollama list	ダウンロード済みのモデル一覧を表示する
ollama ps	現在動作中のモデルを確認する
ollama stop <モデル名>	動作中のモデルを停止する
ollama rm <モデル名>	モデルを削除する
ollama show <モデル名>	モデルの情報を表示する
ollama serve	サーバーを起動する

（出典：Ollama 公式GitHub）

例えば、複数のモデルを試すうちにディスクを圧迫してきた場合は、ollama list で使っていないモデルを確認し、ollama rm で削除するといった管理ができます。

GUI（WebUI）で使う

コマンド操作に慣れていない方は、ブラウザ上のGUI（WebUI）からOllamaを使う方法もあります。代表的なのが、オープンソースの「Open WebUI」です。ChatGPTのような画面でモデルとやり取りでき、会話履歴の保存やモデルの切り替えもクリック操作で行えます。

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --add-host=host.docker.internal:host-gateway ghcr.io/open-webui/open-webui:main

上記のようにDockerで起動すると、ブラウザで http://localhost:3000 にアクセスするだけでチャット画面が使えます。まずはコマンドで一通り試し、社内の非エンジニアメンバーにも使ってもらう段階になったらGUIを導入する、という順番が現実的です。

日本語で使えるモデル

Ollamaで扱えるモデルの多くは英語を中心に学習していますが、日本語で実用的に使えるモデルも増えています。用途に合わせて選べるよう、代表的なものを紹介します。

Google が公開している Gemma は、多言語に対応し日本語のやり取りにも使えるモデルです。Alibaba が公開している Qwen も日本語の対話性能が高く、軽量な版から中規模の版まで揃っています。日本語に特化したモデルとしては、Meta の Llama をベースに日本語能力を強化した ELYZA のモデルが知られており、商用利用が可能なライセンスで提供されている点も業務向けの選択肢になります。

どのモデルが適しているかは、扱う文章の内容や、後述するPCのスペックによって変わります。例えば、社内文書の要約や問い合わせ対応の下書きといった用途であれば、まずは中規模の日本語対応モデルを試し、精度と速度のバランスを見ながら調整していく進め方が現実的です。ライセンスの条件はモデルごとに異なるため、業務で使う場合は各モデルの配布元で商用利用の可否を確認してください。

Ollamaに必要なスペック

日本語モデルを快適に動かすには、PCのスペックも重要になります。ここでは、モデルのサイズごとに必要なメモリの目安を整理します。

Ollamaの公式ドキュメントでは、7B（70億パラメータ）クラスのモデルを動かすには少なくとも8GBのメモリ、13Bクラスには16GB、33Bクラスには32GBのメモリを推奨しています（出典：Ollama 公式GitHub）。ここでのBは、モデルの規模を表すパラメータ数の単位です。数が大きいほど回答の質は上がりやすい一方で、必要なメモリと処理時間も増えていきます。

GPUを使う場合は、GPU側のメモリであるVRAMの容量が目安になります。多くのモデルは、精度を保ちながらデータ量を圧縮する「量子化」という処理を施した版で配布されており、これにより必要なVRAMを抑えられます。例えば、量子化した7Bクラスのモデルは4GB前後のVRAMでも動作します。一方で、70Bクラスの大きなモデルを動かすには、量子化しても十数GB以上のVRAMが必要になり、業務で安定して使うには相応のGPUが求められます。

まず試す段階では、手元のPCで軽量なモデルから始め、用途が固まってきたらGPUを備えた環境へ移すという段階的な進め方が無理のない選択です。

ここまでOllamaの使い方について解説しましたが、「自社の機密データを扱えるローカルAI環境を業務レベルで整えたい」という方は、リベルクラフトへご相談ください。

リベルクラフトでは、Ollamaなどを用いたローカルLLM環境の設計から、GPUサーバーの構成選定、社内文書の整備までを一貫して支援できます。ただ動かすだけでなく、社内文書を検索して回答に反映するRAGの仕組みや、インターネットに接続しない閉域環境での構築まで対応できるため、自社の業務に合わせたAI基盤づくりが可能です。

以下のリンクからまずは詳細をチェックしてみてください。

⇨リベルクラフトのローカルAI環境構築支援の詳細はこちら

業務でOllamaを使うときのポイント

個人のPCで試す段階を越えて、業務で活用するとなると、押さえておきたい観点がいくつかあります。社内サーバーでの共有、他システムとの連携、そして社内データの活用という順に見ていきます。

社内サーバーで共有する

Ollamaは、社内のサーバーに導入して複数人で利用する形にもできます。ollama serve でサーバーとして起動しておくと、モデルを常時利用できる状態になります。1台のマシンにモデルを集約すれば、各自のPCに導入する手間を省け、GPUを備えたサーバーの性能を共有できます。社外にデータを出さずにチームでAIを使いたい場合に適した構成です。

APIで他システムと連携する

Ollamaは、起動すると標準でポート 11434 でリクエストを受け付けます。これにより、他のプログラムやシステムからAPI経由でモデルを呼び出せます。APIとは、ソフトウェア同士が機能をやり取りするための窓口のことです。

例えば、次のように問い合わせを送ると、モデルの回答を受け取れます。

curl http://localhost:11434/api/generate -d '{
  "model": "gemma4",
  "prompt": "自己紹介をしてください"
}'

対話形式でやり取りする場合は、/api/chat エンドポイントを使います。また、OpenAIのAPIと互換性のある /v1/chat/completions も用意されているため、既存のツールの接続先を差し替える形で移行しやすくなっています（出典：Ollama 公式APIドキュメント）。この仕組みを使えば、社内の業務システムやチャットツールに、ローカルで動くAIを組み込めます。

注意したいのは、このAPIには既定で認証の仕組みが無い点です。社内サーバーで ollama serve を動かす場合も、社内ネットワークの外からアクセスできる状態でポートを開放しないようにし、リバースプロキシ側で認証やアクセス制限をかけたうえで利用してください。

AIコーディングエージェントのバックエンドとして使う

Ollamaは、Claude Code や Codex、OpenCode といったAIコーディングエージェントのローカルモデルバックエンドとしても使われ始めています。前述のOpenAI互換APIを使えば、こうしたエージェントの接続先をクラウドのAPIからOllamaに差し替え、コード生成や補完をローカル環境だけで完結させられます。2026年7月公開のバージョンからは、Ollama自体にもエージェント的な対話機能が加わっており、コマンド1つでタスクを委任できる使い方が広がりつつあります（出典：Ollama 公式GitHub）。社外に出せないコードを扱う開発現場では、こうした連携も検討する価値があります。

社内データを活用する（RAGへ）

Ollama単体では、モデルが学習済みの知識にもとづいて回答します。自社の資料や過去の対応履歴といった社内固有の情報を回答に反映させたい場合は、RAGという仕組みと組み合わせます。RAGとは、質問に関連する社内文書を検索し、その内容を参考にAIが回答する方式のことです。

RAGを取り入れると、例えば「自社の製品マニュアルにもとづいて回答する社内AI」や「過去の問い合わせ履歴を参照する対応支援ツール」といった、業務に直結した使い方ができます。ただし、精度の高いRAGを実現するには、社内文書を検索しやすい形に整える前処理や、検索と生成をつなぐ設計が必要になり、Ollamaを動かすだけでは完結しません。この部分をどう設計するかが、業務で成果を出せるかどうかの分かれ目になります。

まとめ

本記事では、Ollamaの使い方を導入から業務利用まで解説しました。要点は次のとおりです。

• Ollamaは、大規模言語モデルを手元のPCやサーバーで動かせるオープンソースのツールで、データを外部に送らずにAIを利用できる
• インストールは Windows、macOS、Linux に対応し、公式サイトのインストーラーやコマンド1行で導入できる
• ollama run でモデルの取得から対話までが完結し、list、pull、ps、rm などの基本コマンドでモデルを管理できる。コマンド操作に抵抗があれば、Open WebUIなどのGUIから使う方法もある
• 日本語では Gemma、Qwen、ELYZA などのモデルが使え、必要なメモリはモデルのサイズに応じて8GBから32GB以上が目安になる
• 業務利用では、社内サーバーでの共有、API連携（公開時のセキュリティ配慮を含む）、RAGとの組み合わせ、AIコーディングエージェントのバックエンドとしての活用がポイントになる

まずは軽量なモデルを手元で試し、用途が見えてきたら社内サーバーやRAGへと段階的に広げていくのが、無理のない進め方です。

ローカルLLM環境構築の相談は「リベルクラフト」

ローカルLLMを個人で試すことは難しくありませんが、業務で安定して成果を出す環境を整えるには、モデル選定やサーバー構成、社内データの整備、セキュリティ設計といった専門知識と経験が必要になります。

リベルクラフトでは、ローカルAI環境を作るだけでなく、運用と改善まで一貫して支援します。社内データの整理から、モデルの選定と環境設計、業務システムへのつなぎ込み、インターネットに接続しない閉域環境の構築まで、お客様の業務に合わせて進めます。

• 機密データを外部に出さずに社内でAIを活用したい
• 自社の文書や履歴を参照して回答するAIを構築したい
• どのモデルやGPU構成が自社に合うか相談したい

⇨リベルクラフトへの無料相談はこちら