AIモデルをローカルで動かす環境構成｜メモリとデータ置き場
当サイトは Amazon アソシエイト・プログラムの参加者です。記事内のリンクから購入されると当サイトに収益が発生する場合があります。
目次
こんな人向け
- AIモデルを自分のPCで動かしたいが、どの機材を選べばいいか決められない
- クラウドに出せないデータを扱っていて、手元で完結させる必要がある
- モデルを何個か試すうちに、内蔵SSDが埋まって困っている
AIをクラウドのAPIで使っているうちは、手元の機材の性能はあまり関係ない。ブラウザとエディタが動けば足りる。ところがモデルを自分のPCで動かし始めた途端、機材選びの基準がまるごと入れ替わる。
普段のPC選びでは「速いかどうか」を見る。ローカルでモデルを動かすときは、その前にメモリに載るかどうかという条件がある。載らなければ、どれだけCPUが速くても動かない。載りさえすれば、多少遅くても動く。この順番が逆転しているところが、普通のPC選びと一番違う。
結論：メモリの量で選べる機材が決まる
琥珀
速さの前に「載るかどうか」なんですよね。ボクも最初は逆に考えていて、遠回りしました。
選択肢は大きく2つに分かれる。Macのユニファイドメモリを大きく積むか、GPUのVRAMが大きいPCを選ぶか。どちらが上ということはなく、動かしたいモデルの大きさで決まる。
そしてもう1つ、後回しにされがちなのがデータの置き場だ。モデルは1つで数十GBある。いくつか試すだけで内蔵SSDが埋まり、消しては入れ直す作業が始まる。
環境の全体像：本体・GPU・置き場の3つ
ユニファイドメモリを大きく積む
Macのユニファイドメモリは、CPUとGPUが同じ領域を共有する。つまり搭載メモリがそのままモデルを載せる場所になる。128GB積んでおけば、GPUのVRAMには載らない大きさのモデルもそのまま動く。
消費電力と発熱が小さいので、机の上に置いて何時間も動かし続けられるのも効いてくる。推論を回しながら別の作業をする使い方と相性がいい。
ユニファイドメモリ128GBが、そのままAIモデルを載せるメモリになる。70Bクラスのモデルをローカルで動かせる、100万円を切る数少ない選択肢。
- CPUApple M4 Max
- メモリ128GB ユニファイドメモリ
- ストレージ1TB SSD
- メモリ128GBをGPUがそのまま使えるため、GPUのVRAMでは載らない大きさのモデルが動く
- 消費電力と発熱が小さく、机の上で静かに長時間動かせる
- 36GB構成と同じ筐体のまま、メモリだけを増やせる
- 58万円台。同じ予算ならクラウドのAPIを長期間使える
- 32GBに収まるサイズのモデルなら、高性能GPUを積んだPCの方が生成が速い
- 持ち運びはできない
- 安く抑えるなら同じ本体・同じチップ。大きいモデルを載せることだけを諦める
VRAMに収まるなら、GPUの方が速い
一方で、モデルがGPUのVRAMに収まるサイズなら、専用GPUを積んだPCの方が生成は速い。画像生成や動画生成のツールはNVIDIAのGPUを前提に作られているものが多く、対応の幅も広い。
弱点は上限で、VRAMを超える大きさのモデルは載らない。そこはメモリを大きく積んだMacの方が有利になる。得意な範囲が違うので、動かすモデルが決まってから選ぶ方が失敗しにくい。
VRAM32GBに収まるサイズのAIモデルなら、Macより速く生成できる。画像・動画生成をローカルで数をこなす人向け。
- GPUNVIDIA GeForce RTX 5090（VRAM 32GB）
- メモリ64GB以上を推奨
- 電源1200W級以上を推奨
- ストレージ2TB SSD
- VRAMに収まるサイズのモデルでは、ユニファイドメモリのMacより生成が速い
- 画像生成・動画生成のツールはNVIDIAのGPU前提のものが多く、対応の幅が広い
- パーツを後から交換・増設できる
- 112万円前後。個人で買うにはMac Studioより高くつくことが多い
- VRAM32GBを超える大きさのモデルは載らない。そこはMacの方が有利
- 消費電力と発熱が大きく、電源とケース冷却に余裕が要る
- 安く抑えるなら画像生成は動く。扱えるモデルの大きさと生成速度は下がる
モデルとデータの置き場を最初に作る
本体を決めたら、次はモデルとデータセットをどこに置くかを決める。内蔵SSDだけで運用すると、試したいモデルが増えるたびに何かを消すことになる。この往復は地味に時間を食う。
NASを選ぶときは、容量より先にネットワークの速さを見た方がいい。読み込みで待たされる置き場は、結局使わなくなってしまう。
AIモデルと学習用データの置き場。10GbEポートがあるので、PCから直接読み書きしても待たされにくい。ハードディスクは別売り。
- ベイ数4（SATA）＋ M.2 NVMe 2スロット
- ネットワーク10GbE ×1 / 2.5GbE ×1
- メモリ8GB DDR5
- 10GbEポートを備え、大きなファイルの読み書きでネットワークが詰まりにくい
- M.2 NVMeスロットが2つあり、よく使うデータを速い側に置ける
- 4ベイなので、容量が足りなくなっても後から増やせる
- ハードディスクは別売り。本体9万円に加えてディスク代がかかる
- 置き場所と電源、有線LANの配線が要る
- 10GbEの速度を活かすにはPC側とハブも10GbE対応が要る
- 安く抑えるなら置き場を作る目的は果たせる。10GbEと4ベイの余裕は無くなる
予算別の落とし所
50万円台までなら、本体にメモリを大きく積んだMacを選び、置き場は手持ちの外付けSSDでしのぐ形になる。まずどのくらいの大きさのモデルを日常的に使うのかを見てから、置き場を足す方が無駄がない。
80万円前後を出せるなら、本体と置き場を最初から揃えられる。モデルを入れ替える手間がなくなるぶん、試す回数が増える。ここが一番効いてくる差だと思う。
100万円を超える構成は、画像・動画の生成を数多く回す人向けだ。逆に言えば、テキスト中心ならそこまでの投資は要らないことが多い。
注意点：クラウドと比べてから決める
琥珀
先に「なぜ手元で動かすのか」を決めておくと、機材選びで迷わなくなりますよ。
正直なところ、コストだけを見るとクラウドのAPIの方が安く済む場面は多い。80万円の機材を買う予算があれば、APIをかなり長い期間使える。
それでも手元で動かす理由になるのは、外に出せないデータを扱っている、生成の回数が多くて従量課金が重い、モデルの中身を細かく調整したい、のいずれかだ。ここが曖昧なまま機材から入ると、置き場所を取るだけの箱になってしまう。
もう1つ、電源にも触れておきたい。推論や学習を何時間も回す使い方では、瞬間的な停電で作業がやり直しになることがある。無停電電源は地味だが、長時間動かすなら効いてくる。
この記事で組んだ環境一式
キット・ai-engineer
AIエンジニアセット
AIモデルを自分の手元で動かすための、メモリとデータ置き場から考える環境
- 大きいモデルを量子化せずに手元で動かせる
- モデルとデータセットの置き場が最初から決まっている
- 長時間の推論・学習を回しても止まらない
総額目安 約86.5万円（商品8点）
このキットを見る