巨大LLMは1台で動かすべきか？ 複数GPU・複数PCの分散推論を考える

1. 「1つのモデルの分散」と「2台で仕事を分ける」は違う

例えば、AのPCでTouchDesignerやComfyUIを動かし、BのPCでローカルLLMを実行する場合を考えよう。2台はネットワーク越しにAPIで連携してもよいが、それぞれが別の仕事を担当している。これはワークフローの分業だ。

一方、ひとつの巨大LLMの重みやレイヤーをPC AとPC Bに分け、1回の回答生成のために両者が協調するのがモデルの分散推論だ。

ネットワーク接続した2台のRAM容量やVRAM容量が、設定不要でひとつの高速メモリになるわけではない。「GPUが2枚あるから必ず2倍速い」ということもない。

2. 分散推論には何種類あるのか

Tensor Parallel（テンソル並列）は、ひとつの層の重みや計算を複数GPUで分担する考え方だ。層の処理中にも各GPUの計算結果を集める必要があり、通信と同期を頻繁に行う。高速なGPU間接続がある環境で効果を発揮しやすい。

Pipeline Parallel（パイプライン並列）は、モデルの層を前半・後半といった段階に分ける方法だ。GPU Aが前半、GPU Bが後半を担当する。層の境界でデータを渡す必要があり、1人が短い応答を生成するような条件ではGPU間の待ち時間が目立つこともある。一方、複数リクエストを流す場合は各段を稼働させやすくなる。

Data Parallel（データ並列）は、同じモデルの複製を複数GPUへ置き、別々のリクエストを処理する方法だ。1つのモデルをメモリ不足から救う方式ではなく、同時利用者や総処理件数を増やす目的に向く。

Expert Parallel（Expert並列）は、MoEのExpertを複数デバイスに分けて配置する方式だ。トークンを必要なExpertへ振り分けるため、デバイス間の送受信が発生する。MoEの活性パラメータが小さいからといって、通信負荷が必ず小さいわけではない。

これらは排他的ではない。実際の大規模環境では、複数の方式を組み合わせる場合がある。

3. なぜ10GbEの数字だけでは速度を予測できないのか

例えば10GbEの通信速度は理論上10Gbps。バイトに換算すれば最大1.25GB/s相当になる。ただし、これはプロトコルの負担などを差し引く前の数字だ。

一方、GPU内の専用メモリは桁違いの帯域でデータを供給する。分散推論ではGPU内の演算をすべてネットワークへ置き換えるわけではないが、モデルの分け方によっては、GPUが相手側の処理や転送を繰り返し待つ。

通信を理解する際は次の3点を見る必要がある。

NVIDIAのNCCLは、複数GPU間のAllReduceやAllGatherなどを支える通信ライブラリだ。ただし、NCCLを導入しただけで任意のPC同士が高速な分散推論システムになるわけではない。GPU構成、相互接続、フレームワークの対応が必要になる。

「同じメモリ容量を確保できる」なら、通信と設定の負担が小さい構成を先に比較する。 これが個人ユーザーにとって重要な考え方だ。

4. 2026年の実装環境はどこまで使えるのか

分散推論は研究上の概念ではなく、実際のソフトウェアに実装されている。ただし、対応範囲と導入難易度には大きな差がある。

vLLMは、1台でモデルが収まるなら分散を避け、1台の複数GPUで収まるならTensor Parallel、多ノード環境ではTensor ParallelとPipeline Parallelを組み合わせる考え方を公式に案内している。

llama.cppのRPCも複数PCへ重みを配置する方式があるが、公式READMEでは実験段階であり、公開ネットワークや機密環境へRPCサーバーを置かないことが明記されている。ホームユーザーが気軽に標準機能として導入できると誤解させてはいけない。

MLX Distributedでは、TCPベースのRingや、対応環境でのThunderbolt/RDMA等の通信方式を利用できる。ただし、MLXが分散通信に対応することと、すべてのLLM・複数機器の組み合わせを簡単に運用できることは別だ。

exoのような選択肢も、プログラムの更新状況と対応環境を確認したうえで、研究・実験向けの位置づけから評価したい。

例外的に、2台接続を前提に設計された製品もある

例えばDGX Spark同士には、ConnectX-7を用いた接続と、対応構成のクラスタ設定を補助するNVIDIA Sync Cluster Assistantが用意されている。NVIDIA公式ガイドでは、対応するQSFPポートが最大200Gb/sであることや、複数台の接続・設定手順が説明されている。

これは、一般的なWindowsデスクトップ2台を10GbEで接続して分散推論するケースとは、前提となるハードウェアもサポートも異なる。もっとも、クラスタのネットワーク設定が容易になっても、使いたいモデルと推論フレームワークが分散処理に対応するか、十分な速度が出るかの検証は残る。

5. 複数GPUを導入する前に比較すべき4つの方法

① GPU 1枚のままモデルを小さくする

量子化や、必要な品質を満たすより小さいモデルへの変更でVRAM内に収まることがある。最も構成が簡潔で、追加機材が不要だ。ただし、回答品質や対応タスクに影響する場合がある。

② RTX＋システムRAMを使う

CPUオフロードやMoEのExpert配置により、単一GPUのVRAMを超えるモデルを扱う方法だ。128GB・192GB・256GB RAMなどの価値は「保持できる容量」にあり、速度はCPU性能・RAM帯域・実装次第。設定を最適化する難易度も判断に含めたい。

③ 同一PCに複数GPUを搭載する

対応するソフトウェアなら、複数のVRAMを利用してモデルを分割できる。ただし、VRAMが無条件に1つの共有メモリとして合算されるわけではない。 PCケース、電源、冷却、PCIeレーン・スロット、GPU間接続、費用を考慮する。

④ 別のPCを追加する

この場合は、ひとつのモデルを分ける分散推論か、別の仕事を任せる2台分業かを最初に決めよう。RTX制作機と大容量メモリPCを分ける構成では、モデル全体を毎回PC間で通信する必要はない。日常運用では、役割が固定された2台分業の方が扱いやすいケースもある。

6. どんな人に分散推論は向くのか

導入前に、モデルの実メモリ量、Prefill時間、Decode速度、通信構成、再起動・障害時の復旧手順を比較したい。導入台数を増やすことは、必ずしも使いやすさの向上を意味しない。

7. 結論｜分散は最後に選ぶ、という順序も合理的だ

巨大LLMを1台で動かすか、複数GPU・PCへ分散するか。判断は単純なGPUの枚数や合計VRAMでは決まらない。

まずモデルが1枚のGPUに収まるかを確認し、次にRAMオフロードや、単一筐体の複数GPUを検討する。そのうえで容量・速度・費用・運用条件を満たせない場合に、複数PCでの分散推論を比較する順序が現実的だ。

重要なのは、どれだけ多くの計算資源を並べるかではなく、その計算資源をどんな仕事に使い、どこで通信・待機が発生するかを把握すること。

制作とAIを並行させたいなら2台分業が有力だ。複数エージェントを同時稼働させるPC構成については、次の第18回（複数AIエージェントを動かすPC構成）で詳しく扱う。

よくある質問