ローカルLLM用のパソコンを選ぶとき、候補になりやすいのがMac StudioとRTX搭載BTOパソコンだ。
Mac Studioには、CPUとGPUが大容量のメモリを共有する「ユニファイドメモリ」がある。一方、RTX搭載BTOには、高速な専用VRAMと、AI開発で広く使われるCUDA環境がある。
単純に、
- Macはクリエイター向け
- Windowsはゲーム向け
と分けられる問題ではない。この比較の本質は、MacかWindowsかというOSの違いではありません。大きなモデルを一つのメモリ空間へ載せやすい構造と、容量は限定される一方で非常に高い帯域を持つ専用GPUメモリ。そのどちらを必要とするかという、計算資源の設計の違いです。
超巨大LLMでは、まず「モデルがメモリへ載るか」。その後に「載せたモデルがどれだけ速く動くか」を考える必要があります。
ローカルLLMでは、
どれだけ大きなモデルをメモリへ載せられるか
と、
載せたモデルをどれだけ速く、幅広いソフトウェアで動かせるか
を分けて考える必要がある。
さらに、RTXを2枚搭載するデュアルGPU構成なら、1枚では収まらないモデルを複数のGPUへ分割できる。
そこで本記事では、
- Mac Studio M3 Ultra
- RTX 5090搭載BTO
- デュアルRTX搭載ワークステーション
を中心に、ローカルLLM用PCとしてどれを選ぶべきか整理する。
※注意：本記事は2026年8月22日時点のApple・NVIDIA公式情報をもとに比較しています。Appleのメモリ構成やBTO各社の取扱製品は変更される場合があります。
結論：大容量モデルならMac Studio、速度と汎用性ならRTX搭載BTO
先に結論をまとめると、次のようになる。
| 使い方 | 選びやすい構成 |
|---|---|
| 7B～14B級を中心に使う | RTX 5070 Ti・RTX 5080搭載BTO |
| 30B～35B級を高速に使う | RTX 5090搭載BTO |
| 70B級など大容量モデルを載せたい | Mac Studio M3 Ultra |
| ローカルLLMと画像・動画生成を兼用 | RTX搭載BTO |
| 静音性・省スペースを重視 | Mac Studio |
| CUDAが必要 | RTX搭載BTO |
| 32GBを超えるCUDA環境が必要 | デュアルRTX |
| 70B級をCUDAで動かしたい | デュアルRTX 5090 |
| 複数のAI処理を同時実行したい | デュアルRTX |
多くの個人ユーザーにとって、最も扱いやすいのはRTX 5090を1枚搭載したBTOパソコンだ。
32GBの専用VRAMを1枚のGPUで使えるため、マルチGPUの設定を必要とせず、30B前後の量子化モデルを運用しやすい。画像生成、動画生成、3DCG、動画編集、ゲームにも使える。
一方、Mac Studio（M3 Ultra）はApple発表上、最大512GBのユニファイドメモリに対応し（M4 Maxは最大128GB）、超巨大モデルを単一の共有メモリ空間へ載せやすい。筐体も小型で、システム全体の最大連続消費電力を抑えやすい（M3 Ultraで480W）。
したがって、
🧭 「載るか → 速いか」の判断ステップ
ローカルLLMを含む生成AI全般を高速化するならRTX搭載BTO
大容量モデルを静かなデスクトップ環境で動かすならMac Studio
というのが基本的な判断になる。
超巨大LLMでは「容量」と「帯域」を分けて考える
超巨大LLMの推論環境を考える上で、最も重要なのが「メモリ容量」と「メモリ帯域」の役割の違いです。
- メモリ容量（GB）： モデルの重み、KVキャッシュ、コンテキスト、OS・アプリを含めて、そもそも処理対象をメモリへ置けるかを決定する（処理が成立するかどうかの境界）。
- メモリ帯域（GB/s）： メモリ上のパラメータをGPUがどれだけ高速に読み書きできるかを決定する（成立した処理をどれだけ速く回せるかの指標）。
LLMの推論処理は、膨大なパラメータをメモリから毎トークン読み出す「メモリ帯域依存（Memory Bandwidth Bound）」の性質が強いため、帯域が広いほど生成トークン速度（tokens/sec）が高くなりやすい傾向があります。
主要な計算資源のメモリ容量と帯域比較
| 構成・GPU | メモリ容量 | メモリ構造 | 総メモリ帯域 |
|---|---|---|---|
| Mac Studio M4 Max | 最大128GB | Unified Memory（SoC共有） | 最大546 GB/s |
| Mac Studio M3 Ultra | 96GB〜最大512GB対応※ | Unified Memory（UltraFusion共有） | 819 GB/s |
| RTX 5090 | 32GB | GDDR7 専用VRAM | 1,792 GB/s |
| RTX PRO 6000 Blackwell | 96GB | GDDR7 ECC 専用VRAM | 1,792 GB/s |
※Mac Studio M3 UltraはApple発表上の最大対応仕様。実際に選択できるメモリ容量は販売時期・構成によって異なります。メモリ帯域は各社公式公表仕様値。実際の推論速度は、モデルサイズ、量子化形式（AWQ/EXL2/GGUF等）、コンテキスト長、KVキャッシュ、CUDA / Metal / MLXの最適化実装によっても大きく変動します（「帯域が2倍だから速度も2倍」とは限りません）。
Mac StudioとRTX搭載BTOはメモリの考え方が違う
両者の最大の違いは、メモリの構造そのものにあります。
Mac Studioはユニファイドメモリ
Appleシリコンでは、CPUとGPUが同一のユニファイドメモリへアクセスします。
M3 Ultraは819GB/sのメモリ帯域幅を備え、2つのダイをUltraFusionで接続し、ソフトウェアからは一つの巨大な共有メモリ空間として扱えます。AppleはM4 Max搭載Mac Studioで最大128GB、M3 Ultra搭載モデルで96GBから最大512GBまでのユニファイドメモリ構成を公表しています。
ユニファイドメモリの利点は、数百GB規模の大容量メモリをCPUとGPUの間で共有できることです。専用VRAMが32GBしかないGPUでは収まらない超巨大モデルでも、100GB超のユニファイドメモリを持つMac Studioなら余裕を持ってメモリ空間にロードできます。
ただし、ユニファイドメモリの全容量をLLMの重みだけに使えるわけではありません。macOS、実行ソフト、コンテキスト長、KVキャッシュなども同じメモリを消費する点には留意が必要です。
RTX搭載BTOは専用VRAM
RTX搭載PCでは、GPUに搭載されたGDDR7を専用VRAMとして使う。
RTX 5090は32GBのGDDR7を搭載する。GPU専用の高速メモリであり、CUDAを利用したAI処理との相性がよい。一方、32GBを超えるモデルを完全にGPU内へ載せることはできない。
つまり、
- Mac Studioは大容量メモリを共有して使う
- RTXは容量が限定された高速な専用メモリを使う
という違いがある。
容量だけならMac Studioが有利になりやすい。速度、対応ソフト、AI制作全体の汎用性ではRTXが有利になりやすい。
Mac StudioがローカルLLMに向いている理由
大容量モデルを一つのメモリ空間へ載せやすい
Mac Studio最大の強みは、専用GPUでは高価になりやすい大容量メモリを、デスクトップPCとして利用できることだ。
96GBのユニファイドメモリがあれば、4bit量子化した70B級モデルも現実的な候補に入る。
長いコンテキスト、KVキャッシュ、マルチモーダル処理まで考えると必要メモリは増えるため、モデルファイルが40GBだから40GBのメモリで十分、とは限らない。
32GBのRTX 5090では余裕がないモデルを動かしたい場合、Mac Studioの大容量メモリには明確な価値がある。
筐体が小さく、消費電力を抑えやすい
Mac Studioは幅・奥行きが19.7cm、高さ9.5cmの小型筐体で、M3 Ultraモデルでも重量は3.64kg。最大連続消費電力は480Wとされている。
デュアルRTX搭載ワークステーションと比べると、設置性、消費電力、排熱、騒音の管理が容易だ。
ローカルLLMを長時間立ち上げ、個人用サーバーのように使う場合にも相性がよい。
Appleシリコン向けの実行環境が整っている
llama.cppはAppleシリコンを主要な対応環境として扱い、Metal、ARM NEON、Accelerateに最適化している。LM StudioやOllamaなどでも、Appleシリコン上でローカルモデルを実行できる。
Appleシリコン向けのMLXを使ったモデルも増えており、以前より導入しやすくなっている。
Mac Studioが向いている人
- 70B級など大容量モデルを試したい
- ローカルLLMを主目的にPCを導入する
- CUDAが必須ではない
- 静音性を重視する
- 大型タワーPCを置きたくない
- 電力と排熱を抑えたい
- macOSを日常的に使っている
- 画像・動画生成よりLLMを優先する
Mac Studioの弱点
CUDAを利用できない
CUDAはNVIDIA GPU向けの実行環境である。
Mac StudioではMetalやMLXなどを利用するため、CUDA専用のライブラリやツールをそのまま使うことはできない。
llama.cppやLM StudioのようにMac対応が進んだソフトなら問題になりにくいが、研究コード、学習環境、特定の推論エンジンなどでは、NVIDIA GPUを前提としている場合がある。
生成AI全般ではRTXほど万能ではない
ローカルLLMだけならMac Studioは有力だが、Stable Diffusion、ComfyUI、ローカル動画生成、3DCGレンダリングなども含めると、RTX搭載BTOの方が環境を構築しやすいケースが多い。
Mac対応モデルやMetal対応ノードが増えていても、WindowsとCUDAを前提に公開される機能やワークフローは少なくない。
購入後にメモリやGPUを増設できない
Mac StudioのメモリとGPUはSoCへ統合されており、購入後の交換や増設はできない。
将来、扱うモデルが大きくなっても、GPUやメモリだけを交換することはできない。そのため、購入時点で数年後まで見越した構成を選ぶ必要がある。
RTX搭載BTOがローカルLLMに向いている理由
RTX 5090なら32GBの専用VRAMを1枚で使える
RTX 5090は32GBのGDDR7を搭載し、CUDAコア数は21,760基。NVIDIA公式仕様ではTotal Graphics Powerは575W、推奨システム電力は1,000Wとされている。
30B～35B前後の量子化モデルを中心に使うなら、RTX 5090は個人向けGPUとして分かりやすい選択肢だ。
1枚のGPUに32GBが載っているため、複数GPUへモデルを分割する設定が必要なく、ソフトウェアの互換性も確保しやすい。
CUDA環境を利用できる
RTX搭載BTOでは、NVIDIAのCUDA環境を利用できる。
ローカルLLMだけでなく、画像生成、動画生成、3DCG、AI学習、音声生成、アップスケール、科学計算など、幅広いGPU処理へ展開しやすい。
PCをローカルLLM専用機ではなく、生成AIクリエイティブ全体の制作基盤として使うならRTX搭載BTOが有利だ。
パーツを交換・増設できる
BTOパソコンは構成によるが、一般的には次のような拡張が可能だ。
- GPUの交換
- メインメモリの増設
- SSDの増設
- 電源の交換
- 冷却ファンの追加
- PCIeカードの追加
最初はRTX 5070 TiやRTX 5080を選び、必要になった段階で上位GPUへ交換することもできる。
RTX搭載BTOが向いている人
- 7B～35B級を高速に使いたい
- CUDAが必要
- 画像・動画生成にも使う
- ComfyUIを本格利用する
- 3DCGや動画編集にも使う
- 将来的にGPUを交換したい
- Windows向けAIツールを幅広く使いたい
- 1台で多くの制作工程を完結させたい
RTX搭載BTOの弱点
大容量モデルはVRAMの壁に当たりやすい
RTX 5090は高速だが、VRAMは32GBだ。
70B級の4bit量子化モデルは、重みだけでも30GB台後半から40GBを超える場合がある。さらにKVキャッシュや実行環境が必要になるため、32GBへ完全に収めるのは難しい。
CPU側のメインメモリへ一部をオフロードする方法もあるが、GPU内だけで動かす場合より速度は低下しやすい。
消費電力と排熱が大きい
RTX 5090単体のTotal Graphics Powerは575Wであり、CPUやストレージ、冷却装置を含めたシステム全体ではさらに多くの電力を使う。
長時間推論する場合には、電気代、室温、ファン騒音、電源容量、ケース内の排熱まで考える必要がある。
デュアルGPUならMac Studioの大容量メモリに対抗できる？
RTXを2枚搭載すれば、利用できるVRAMの合計は増える。
| 構成 | GPUの合計VRAM | GPUのTGP合計 |
|---|---|---|
| RTX 5070 Ti ×2 | 32GB | 600W |
| RTX 5080 ×2 | 32GB | 720W |
| RTX 5090 ×2 | 64GB | 1,150W |
RTX 5070 Tiは1枚16GB・300W、RTX 5080は16GB・360W、RTX 5090は32GB・575Wである。上表の電力はGPU単体TGPの単純合計であり、実際のシステム全体ではCPUや冷却装置などの電力が加わる。
ただし、2枚のVRAMが、すべてのソフトウェアから一つの連続したメモリとして見えるわけではない。
対応ソフトならモデルをGPU間へ分割できる
llama.cppは、モデルの重みを複数のGPUへ分割するマルチGPU機能を提供している。
標準のlayerモードでは、モデルのレイヤーをGPUごとに分割する。実験的なtensorモードでは、重みとKVキャッシュを複数GPUへ分割できる。
llama.cppの公式ガイドでも、マルチGPUが有効な場面として、モデルが1枚のGPUのVRAMへ収まらない場合や、複数GPUでスループットを高めたい場合が挙げられている。
Ollamaも複数のNVIDIA GPUを認識し、使用するGPUを指定できる。
VRAMを足せても、速度が2倍になるとは限らない
RTX 5090、RTX 5080、RTX 5070 TiはいずれもNVLinkに対応していない。
GPU間通信は主にPCI Express経由になるため、モデルを2枚へ分割すると通信や同期の負荷が発生する。
llama.cppの公式ガイドでも、マルチGPUの性能はGPU間の接続速度に左右され、環境によってはシングルGPUより効率が悪くなる可能性が説明されている。
デュアルGPUの第一の目的
RTXを2枚にすれば推論速度も単純に2倍になるとは考えない方がよい。目的は速度を2倍にすることではなく、1枚では収まらないモデルをGPU上へ載せることである。
RTX 5070 Ti・RTX 5080の2枚構成は合理的か
RTX 5070 TiやRTX 5080を2枚搭載すると、合計VRAMは32GBになる。
しかし、RTX 5090なら1枚で32GBを利用できる。
RTX 5080 ×2よりRTX 5090 ×1が扱いやすい
RTX 5080を2枚搭載すると、合計VRAMは32GB、GPUのTGP合計は720Wになる。
一方、RTX 5090は1枚で32GB、TGPは575Wだ。
ローカルLLMだけを目的にするなら、RTX 5090を1枚使う方が、モデル分割が不要でソフトウェアを選びにくく、消費電力や冷却面でも利点がある。
そのため、32GBで足りるなら、基本的にはRTX 5090×1を優先したい。
RTX 5070 Ti ×2は実験的な選択肢
RTX 5070 Ti×2も合計32GBになる。
価格差によってはRTX 5090×1より安く構築できる可能性があるが、GPU間のモデル分割、PCIeレーンの配分、2枚分の冷却、600W分のGPU電力が必要になる。
安価にマルチGPUを試す構成としては面白いが、一般ユーザー向けの最適解とは言いにくい。
RTX 5090×2はどんな人向けか
RTX 5090を2枚搭載すると、対応ランタイム上で合計64GBをモデル分割に利用できる。
これにより、
- 70B級モデルをCUDA環境で動かす
- 長いコンテキストを使う
- 大規模なRAGを構築する
- 複数ユーザーへ推論を提供する
- 2つのモデルを同時稼働する
- 一方のGPUでLLM、もう一方で画像生成する
といった運用が現実的になる。
ただし、GPUだけでTGP合計は1,150Wになる。システム全体ではさらに電力が必要であり、一般的なゲーミングBTOではなく、ワークステーションとして設計する必要がある。
必要になるのは、単に大容量電源だけではない。2枚を設置できるPCIeスロット間隔、十分なPCIeレーン、大型ケース、強力な吸排気、高容量電源、家庭側の電源回路まで確認する必要がある。
RTX 5090×2は、個人向けPCの上位構成というより、ローカルAIサーバーや研究・業務用ワークステーションに近い。
100GB超のメモリをローカルで確保するコストと構造
超巨大LLMをローカルで動かすために「100GBクラスのメモリ空間」を確保しようとした場合、計算資源の設計によってアプローチとコスト感が大きく異なります。
- Mac Studio（大容量Unified Memory）： 128GB〜512GB級（対応上限）の巨大な共有メモリ空間をデスクトップPCの価格帯・480Wの省電力で確保できる選択肢。
- GeForce RTX 5090（32GB GDDR7）： 高帯域で、RTX PRO 6000より導入しやすいが単体32GBに制限される。2枚搭載（Dual GPU 64GB）で容量を拡張できるが、PCIe分割オーバーヘッドと1,150W超の電源が必要。
- RTX PRO 6000 Blackwell（96GB GDDR7 ECC）： 単一GPUで96GBの超高速VRAMとCUDA環境を両立するプロ向け最高峰構成。大容量と高帯域、CUDAを両立する一方、GeForceとは大きく異なるプロ向け価格帯になる。
ローカル環境で32GBを超える計算資源をどう構成するか（1枚完結・並列分散・巨大単一空間の3段階）については、計算資源シリーズ第1回（RTX 5090 vs RTX PRO 6000）で詳しく構造比較を行っています。
大容量Unified Memoryと複数GPU VRAMは何が違う？
| 比較項目 | Mac Studio（96GB〜512GB） | RTX 5090 ×2 |
|---|---|---|
| メモリ | 96GB〜最大512GB Unified Memory | 合計64GB専用VRAM |
| メモリの扱い | 一つの共有メモリ空間 | 対応ソフトでGPU間へ分割 |
| GPU間通信 | SoC内部 | PCI Express経由 |
| CUDA | 非対応 | 対応 |
| 大容量モデル | 載せやすい | ソフト側の分割が必要 |
| 推論環境 | Metal・MLX | CUDA |
| 画像・動画生成 | 対応範囲に注意 | 幅広く対応 |
| 電力指標 | システム最大連続消費電力480W | GPU TGP合計1,150W。システム全体はさらに増加 |
| 騒音・排熱 | 抑えやすい | 非常に大きい |
| 拡張性 | 低い | 高い |
| 構築難易度 | 低い | 高い |
※Mac StudioはM3 Ultraで最大512GB、M4 Maxで最大128GB。消費電力はMac Studioがシステム全体の最大連続消費電力（M3 Ultra 480W）、RTX 5090×2はGPU単体TGP（1,150W）の合計です。
Mac Studioは、96GBを一つのメモリ空間として扱える点が強い。
デュアルRTX 5090は合計64GBだが、CUDAを利用でき、対応するAI処理では高い性能を狙える。
大容量モデルを簡単・静かに載せたいならMac Studio
大容量モデルをCUDAで動かし、AI処理全般へ展開したいならデュアルRTX
と整理できる。
モデル規模別に選ぶ
7B～14B級
7B～14B級を中心に使うなら、Mac Studio M3 UltraやRTX 5090は過剰になりやすい。
RTX 5060 Ti 16GB、RTX 5070 Ti、RTX 5080でも実用的に使える。ローカルLLMだけを重視するならRTX 5070 Ti、画像・動画生成も兼用するならRTX 5080が候補になる。
30B～35B級
30B～35B級を中心に使うなら、RTX 5090の32GBが有力だ。
一つのGPUで完結するため、デュアルGPUより設定しやすく、CUDA環境も利用できる。長いコンテキストや重いマルチモーダルモデルでは32GBに収まらない場合があるため、使用モデルの量子化後容量を確認する必要がある。
70B級：メモリ構造問題への分岐点
モデルが70B級を超えてくると、「どのGPUが速いか」という単純な演算性能の比較だけでは選べなくなります。32GBの専用VRAMへ収まらない時点で、比較の中心はGPU性能から「モデルをどのメモリ空間へ置くか」という構造問題へ移ります。
70B級の量子化モデルをローカルで動かす場合、選択肢は主に次の3つになります。
- Mac Studio（M3 Ultra 96GB〜512GB / M4 Max 128GB）： 単一の巨大ユニファイドメモリ空間にモデル全体をロードする。導入が容易で省電力。
- RTX 5090×2（合計64GB）： 複数GPUへモデルをレイヤー分割してCUDA環境で動かす。
- RTX PRO 6000 Blackwell（96GB）： 単一GPUで96GB GDDR7 ECC VRAMを使い、CUDA環境で大容量モデルの高速な推論を狙える（ワークステーション向け）。
- Mac Studio M3 Ultra 96GB
- RTX 5090×2の64GB
導入しやすさ、静音性、メモリ容量ならMac Studio。CUDA、推論速度の追求、画像・動画生成との兼用ならデュアルRTXが候補になる。
70B級を常用しないならデュアルGPUは不要
「いつか70Bを試したい」という程度で、RTX 5090×2へ投資する必要はない。日常業務の多くが7B～35B級で完結するなら、RTX 5090×1とクラウドAIを組み合わせる方が合理的だ。
M4 MaxとM3 Ultraはどちらを選ぶべきか
ローカルLLMを主目的にMac Studioを選ぶ場合、M4 MaxとM3 Ultraの選択は「必要とするモデル規模」と「メモリ帯域」によって分かれます。
Apple公表仕様における両チップのメモリ仕様は次のとおりです。
- M4 Max： 最大128GBユニファイドメモリ、メモリ帯域幅 最大546GB/s
- M3 Ultra： 96GB〜最大512GB対応（Apple発表仕様※販売時期・構成による）、メモリ帯域幅 819GB/s
70B級モデルを実用速度で動かすなら、819GB/sの広帯域と100GB超のメモリ構成を選べるM3 Ultraが有力です。一方、30B〜35B級や小〜中規模モデル中心で、日常の開発や制作作業も兼ねるなら、M4 Max（最大128GB）も優れたコストパフォーマンスを発揮します。
購入前に確認したいポイント
Mac Studio
- 現在選べるユニファイドメモリ容量
- 使用モデルがMetal・MLXに対応しているか
- CUDA専用ツールを使わないか
- 購入後にメモリを増設できないこと
- SSD容量
- macOS対応アプリの範囲
RTX搭載BTO
- GPUのVRAM容量
- メインメモリ容量
- 電源容量
- ケースの冷却性能
- GPU交換の可否
- SSD増設スロット
- 長時間負荷時の騒音
デュアルRTX
- マザーボードのPCIeスロット間隔
- 2枚搭載時のPCIeレーン構成
- 2枚分のGPUを冷却できるか
- 電源容量と電源コネクター
- BTOメーカーの保証対象か
- 使用するランタイムがマルチGPUに対応するか
- GPU間通信による性能低下を許容できるか
まとめ：Mac Studioは容量、RTX搭載BTOは速度と自由度
Mac StudioとRTX搭載BTOのどちらが優れているかは、一つのベンチマークだけでは決められない。
Mac Studioの強みは、大容量ユニファイドメモリ、大きなモデルを載せやすい、小型・静音、消費電力を抑えやすい、シンプルに導入できることにある。
RTX搭載BTOの強みは、高速な専用VRAM、CUDA、AIソフトウェアの対応範囲、画像・動画生成との兼用、パーツの交換・増設、デュアルGPUへの発展にある。
多くの個人ユーザーには、RTX 5090×1が最も扱いやすい。
大容量モデルを静かに動かしたいなら、Mac Studio M3 Ultraが有力だ。70B級をCUDA環境で本格運用し、複数処理やサーバー用途まで考えるなら、RTX 5090×2のワークステーションが候補になる。
重要なのは、MacかWindowsかという好みではない。
自分がどのサイズのモデルを、どのソフトで、どのくらいの頻度で使うのか
から逆算して選ぶことである。
※メモリ帯域・VRAM仕様は各メーカー公式データシート（2026年8月時点）に基づきます。
よくある質問
Mac Studioのユニファイドメモリは、NVIDIA GPUのVRAMと同じですか？+
同じではありません。
MacのユニファイドメモリはCPU・GPU・OS・アプリ等が共有するメモリ空間です。一方、NVIDIA GPUのGDDR7 VRAMはGPU専用です。ただし、超巨大LLMではGPUが利用できる大容量メモリ空間をデスクトップPC環境で確保できること自体に大きな価値があります。
ユニファイドメモリが大きければ、RTXより推論も速くなりますか？+
必ずしも速くなりません。
まず巨大モデルがメモリ上に載ることが大容量ユニファイドメモリの強みです。実際の推論速度はメモリ帯域（GDDR7の1,792GB/s vs Ultraの819GB/s）、GPU演算性能、量子化形式、ランタイムやMetal / MLX / CUDAの最適化などに左右されます。32GBに収まるモデルであればRTX 5090の方が高速に推論できるケースが多いです。
RTXを2枚にすればVRAMは合算できますか？+
対応するランタイムでは、モデルを複数GPUへ分割して合計VRAMを利用できる。
ただし、どのアプリでも自動的に一つのVRAMとして扱えるわけではない。
モデルの分割方法、ランタイム、GPU間通信によって、対応状況と速度が変わる。
RTX 5080×2とRTX 5090×1はどちらがよいですか？+
32GBで足りるなら、基本的にはRTX 5090×1がおすすめだ。
RTX 5090は1枚で32GBを使えるため、モデル分割が不要で、消費電力や冷却面でも扱いやすい。
RTX 5080×2は、別々の処理を2枚へ割り当てる用途では価値があるが、一つのLLMを動かす目的では複雑になりやすい。
Mac StudioとRTX 5090ではどちらが速いですか？+
使用モデル、量子化形式、ランタイム、コンテキスト長によって変わる。
一般的には、32GBへ収まるモデルをCUDAで動かすならRTX 5090が有力だ。一方、RTX 5090へ収まらないモデルでは、Mac Studioがモデル全体をメモリへ載せられることで有利になる場合がある。
速度だけでなく、まずモデルがメモリへ収まるかを確認する必要がある。
Mac Studioなら70B級を動かせますか？+
96GBのユニファイドメモリがあれば、4bit量子化した70B級モデルは現実的な候補になる。
ただし、量子化形式、コンテキスト長、KVキャッシュ、マルチモーダル機能によって必要メモリは変わる。
すべての70B級モデルが同じ条件で快適に動くわけではない。
デュアルGPU搭載BTOは一般家庭で使えますか？+
構築自体は可能だが、RTX 5090×2のような構成は電力と排熱が非常に大きい。
家庭側の電源回路、コンセント、室温、騒音まで考える必要がある。
通常のパソコンというより、小型のAIワークステーションとして考えるべきだ。