BTOが届いたその日にローカルLLMを動かす完全手順【2026年版】

高性能なBTOパソコンが届いた。RTX 5080やRTX 5090を搭載している。でも、そこから何をすればローカルLLMが動くのか分からない。

この記事では、そんな状態から実際にローカルモデルと会話し、GPUで処理されていることを確認するところまでを順番に進めます。

2026年現在、ローカルLLMを始めるために、最初からPython環境やCUDA Toolkitを手作業で構築する必要はありません。Ollamaのようなツールを使えば、モデルのダウンロードから実行までかなり簡単に始められます。

重要なのは、最初から最も大きなモデルを動かそうとしないことです。まず軽量なモデルで、

1. GPUが認識されている
2. Ollamaが動く
3. モデルと会話できる
4. GPUで推論できている

という4つを確認します。大きなモデルを選ぶのは、その後です。

1．結論：最初のゴールは「ローカルAIがGPUで動いた」にする

ローカルLLMを始めると、

• 「何Bのモデルがいいのか」
• 「量子化は？」
• 「32GB VRAMなら何が動く？」
• 「Open WebUIは必要？」

と、いきなり多くの選択肢が出てきます。しかし最初から全部理解する必要はありません。

最初のゴールはひとつです。自分のPCで、ひとつのローカルモデルが正常に動くこと。ここまで成功すれば、その後に、

• もっと大きなモデルを試す
• 日本語が得意なモデルを比較する
• PDFや資料と会話する
• APIから呼び出す
• AIコーディングへ接続する

といくらでも発展できます。この記事では、まずその「最初の成功」まで最短距離で進みます。

2．今回の前提環境

この記事では主に以下の環境を前提にします。

• Windows 10 / 11
• NVIDIA GeForce RTX搭載PC
• BTOまたは自作デスクトップ
• Ollama

Ollama自体はNVIDIA以外の環境にも対応していますが、CORE SPECではRTX搭載PCを中心に説明します。

3．Step 1：まずGPUがWindowsから認識されているか確認する

最初に確認するのはLLMではありません。GPUです。

タスクマネージャーで確認

Ctrl + Shift + Esc からタスクマネージャーを開き、パフォーマンス → GPU を確認します。搭載したGPU名と専用GPUメモリ（例: 16.0 GB、32.0 GBなど）が表示されていれば、Windows側からGPUは正しく認識されています。

PowerShellから確認

より正確に確認するなら、PowerShellを開いて以下を実行します。

GPU名、ドライババージョン、VRAM使用量などが表形式で表示されれば第一段階はクリアです。

4．Step 2：Ollamaをインストールする

次にOllamaを導入します。Ollama公式サイト（ollama.com）からWindows版をダウンロードし、インストーラーを実行します。

2026年現在のOllamaは、ターミナルだけのツールではありません。Windows / macOSにはデスクトップアプリがあり、以下の操作をGUIから始められます。

• モデルのダウンロード
• GUIチャット
• ファイルを使った質問

インストール後、まずOllamaアプリを起動できれば準備完了です。ターミナルから確認したい場合はPowerShellで以下を実行します。

バージョン番号が表示されれば、Ollamaが正常に利用できる状態です。

5．Step 3：最初は軽量モデルを1つ動かす

ここで重要なのは、自分のGPUで動く最大モデルを探さないことです。最初は動作確認用として、小さめのモデルをひとつ選びます。この記事では例として Gemma 3 4B を使います。

※モデルのラインナップは時期によって変わるため、「Gemma 3 4Bが絶対的なおすすめ」という意味ではありません。あくまでローカルLLM環境が正常に動いているか確認するためのテスト用モデルです。

GUIで始める場合

Ollamaアプリからモデルを選び、ダウンロードしてチャットを開始します。例えば、

「ローカルLLMが正常に動いているか確認するため、短い日本語で自己紹介してください」

と入力し、回答が返ってくればローカルモデルの起動は成功です。

CLI（PowerShell）で始める場合

PowerShellから以下を実行します。

モデルが未ダウンロードなら自動的に取得され、その後に対話プロンプトが起動します。プロンプトが表示されたら、以下のように入力します。

回答が返ってくれば成功です（終了時は /bye と入力します）。

6．Step 4：GPUが実際に使われているか確認する

「返事が来た」だけでは、GPUを十分に活用できているかまでは分かりません。別のPowerShellを開き、以下を実行してください。

実行中のモデルと、CPU/GPUへの配置状況を確認できます。小さなモデルでGPU側へ十分収まっている場合は、100% GPU と表示され、GPU中心で高速実行されます。

モデルが大きくVRAMへ収まりきらない場合は、CPU側へ一部処理が回ることがあります。ここで重要なのは、CPUを使ったら失敗なのではないということです。CPU offloadを使うことで、VRAM容量を超えるモデルでも低速ながら動作させることが可能です。

ただし、

• 応答が極端に遅い
• GPUへ載せたいのにCPU比率が高い
• メモリ不足エラーになる

のであれば、モデルを小さくする、またはより大きなVRAM容量のGPUを検討するという次の判断へ進みます。

7．VRAMごとに「このモデル」と固定しない

ローカルLLMでは、「8GBなら4B」「16GBなら14B」「32GBなら32B」のような早見表をよく見かけます。しかし必要なVRAMは、パラメータ数（B数）だけでは決まりません。

• 量子化（Q4_K_M, Q8_0, FP16等）
• コンテキスト長（4k, 8k, 32k, 128k等）
• KVキャッシュの消費量
• モデルアーキテクチャ（Dense vs MoE）
• GPUへ載せる割合（GPU Offload率）

によって、実際に消費されるVRAMは大きく変動します。したがってこのセットアップ記事では、最初の1モデルを動かすところまでに集中します。

自分のVRAMでどのモデルをどの程度動かせるのかを詳しく知りたい場合は、CORE SPECのローカルLLM完全ガイドまたはVRAM診断へ進んでください。

8．OllamaとLM Studioは「CLIかGUIか」だけの違いではなくなった

以前は「Ollama＝CLI、LM Studio＝GUI」と説明すると分かりやすい時期がありました。しかし2026年現在はOllamaにも洗練されたデスクトップアプリが提供されています。そのため現在は、次のように役割を整理する方が実態に合っています。

どちらか一方だけに決める必要はありません。目的に応じて両方を使い分けるのが合理的です。

9．「動いた！」の次にできること

ローカルLLMが正常に動けば、PCは単なるチャットマシンではなく、ローカル推論基盤になります。

自分の資料と会話する（ファイルチャット・RAG）

Ollamaアプリではファイルを使ったチャットが可能です。さらに本格的なRAG（検索拡張生成）環境へ進みたい場合は、Open WebUIなどを組み合わせる方法があります。
ただし、「PDFを入れれば自動的に高精度な社内検索エンジンになる」わけではありません。文書量、埋め込みモデル（Embedding）、検索チャンク設計、コンテキスト長などによって回答精度は大きく変わります。

APIから呼び出す

Ollamaはバックグラウンド（http://localhost:11434）でローカルAPIを提供します。OpenAI APIと互換性のあるインターフェースが用意されているため、既存のPythonコードやアプリからローカルモデルを簡単に呼び出せます。「AIを使う」から「AIを自分のツールに組み込む」へステップアップできます。

AIコーディングへ接続する

現在のOllamaは、Claude CodeやCodexなどのコーディング支援ツールとローカルモデルを接続する仕組みも整っています。ただし、AIコーディングでは長大なコンテキスト長や推論能力が要求されるため、単純な短文チャットよりも必要VRAMが大きくなります。まず軽量モデルで環境を確認した後に進むのが安全です。

10．よくあるトラブル

11．ローカルAIで大事なのは「最大モデル」ではなく「自分の用途」

最初に軽量モデルが動いたとしても、すぐに最上位のRTX 5090が必要になるわけではありません。逆に、現在のGPUで、

• 使いたいモデルがVRAMに収まらない
• CPU offloadによって待ち時間が大きすぎる
• 長大なコンテキストを扱いたい
• RAGやコーディングエージェントを常用したい

という制約が実作業の中で明確に出てきたら、初めて上位GPUを比較します。

GPU選びは、「最大モデルを動かせるか」ではなく、「自分が実際にやりたい処理で、どの制約が残っているか」から考えてください。

12．結論：まず小さく動かし、自分のボトルネックを見つける

ローカルLLM環境は、以前より格段に簡単に構築できるようになりました。だからこそ、最初から最強スペックのPCや巨大モデルを選ぶ必要はありません。

1. GPUを確認する
2. Ollamaを入れる
3. 軽量モデルを動かす
4. GPU利用を確認する
5. 自分の用途へ広げる

この順番で十分です。動く環境を先につくる。必要なスペックは、その後に見えてくる。これがCORE SPECのローカルLLMセットアップの考え方です。