ローカルLLMの基本
ローカルLLMとは、公開されたAIモデルを自社のPCやサーバー、現場の機器で動かす使い方です。入力したデータを外部のAIサービスに送らずに処理できるため、機密データを扱う業務や、通信が不安定な現場に向いています。一方で、性能は最上位のクラウドモデルに及ばず、更新や保守も自社で行います。「社外に出せないデータがあるか」で使い分けるのが基本です。
なお、ローカルでも通信がまったく不要になるわけではありません。モデルの入手や更新にはインターネット接続が必要です。
LLM（大規模言語モデル）は、文章の生成や要約、質問への回答を行うAIモデルです。ChatGPTのようなクラウド型のサービスでは、入力した文章は提供元のサーバーで処理されます。ローカルLLMでは、モデルのファイルを手元の機器に置き、その機器で回答を作ります。
動かすのに必要なのは、モデルのファイルと実行用のツールの2つです。ツールには、手軽に始められるOllamaやLM Studio、多人数での利用に向くvLLMなどがあります。
使えるモデルは、MetaのLlamaやMistral AIのMagistral Smallなど数多く公開されています。ただし、公開されているのは主に学習済みのモデル本体（重み）で、利用条件はモデルごとに違います。たとえばLlama 4は独自のライセンスで、大規模サービスの事業者に向けた追加条件や表示の義務があります。Magistral Smallは一般的なApache 2.0ライセンスです。業務で使う前に、商用利用できるか、禁止されている用途はないかを確認してください。
クラウドLLMとの違い
両者の違いは、AIの処理をどこで行うかです。主な違いは次のとおりです。
| 項目 | ローカルLLM | クラウドLLM |
| 処理する場所 | 自社の機器 | 提供元のサーバー |
| データの送り先 | 社内にとどめられる | 提供元に送られる |
| 通信 | 推論には不要（モデルの入手時は必要） | 使うたびに必要 |
| 費用 | 機器代と電気代 | 利用量に応じた料金 |
| 性能 | 機器の性能しだい | 大規模なモデルを使える |
| カスタマイズ | 自由に調整できる | 提供元が用意する範囲内 |
| 運用 | 自社 | 提供元 |
「クラウドLLMに入力すると学習に使われる」と思われがちですが、法人向けのプランは別です。OpenAIは、法人向けプランやAPIのデータを初期設定では学習に使わないと公表しています。
そのため、判断の軸は「そのデータを社外のサーバーで処理してよいか」です。社内規程や契約で社外に出せないデータがあれば、ローカルLLMが候補になります。
ローカルLLMのメリット
データを外部に送らずに処理できる
顧客情報や設計データなど、社外に出せない情報も生成AIで扱えます。
ただし、端末の紛失やウイルス感染、権限設定のミスによる漏えいには別途対策が必要です。外部に送らないことと、漏えいが起きないことは同じではありません。
また、ツールによってはクラウドのモデルも同じ操作で呼び出せます。たとえばOllamaは、サインインするとクラウドで動くモデルを選べます。データを外に出したくない場合は、手元のモデルを使っているか設定を確認してください。
インターネットにつながらない環境でも使える
モデルを取り込んだ後は、ネット接続なしで動きます。外部接続を禁止している工場や、電波の弱い山間部でも使えます。回線や提供元のサービスが止まっても影響を受けません。
利用量に応じた従量課金が発生しない
クラウドLLMのAPIは使った量に応じて料金がかかりますが、ローカルLLMは何回使っても利用料はかかりません。大量の文書を毎日処理する用途ほど有利です。
ただし、電気代や保守の手間、機器の買い替え費用はかかります。クラウドLLMと比べるときは、数年分の総額で比較してください。
ローカルLLMのデメリット
ハードウェアと電力の費用がかかる
動かすには、モデルが収まるだけのメモリを積んだ機器が必要です。機器の価格は数十万円から200万円を超えるものまであり、常時動かせば電気代もかかります。具体的な機器と費用の目安は、次の章で紹介します。
最上位のクラウドモデルより性能が劣る
1台の機器で動くモデルは、最上位のクラウドモデルに比べて、複雑な推論や長文の理解で劣ります。
また、モデルの知識は学習した時点で止まっています。新しい情報や社内の情報を使うには、関連文書を検索して回答に反映するRAG（検索拡張生成）や、社内システムからデータを取得する仕組みを組み合わせます。短い文書なら、質問と一緒に入力するだけでも使えます。
要約・分類・下書きなど用途を絞れば、小さなモデルでも十分役立ちます。
更新や保守を自社で担う
機器・ツール・モデル・業務アプリの保守は、すべて自社で行います。脆弱性への対応やモデルの入れ替え、ライセンスの確認を誰が担当するか、導入前に決めておきましょう。
ローカルLLMの活用例
主な使い方は次の3つです。
・社内文書の検索・要約：社内規程やマニュアルをもとに、質問に答えさせます。
・プログラムの補完・レビュー：ソースコードを外部に出せない開発現場で使います。
・現場の記録整理：点検記録や日報の要約、マニュアルの検索に使います。通信が不安定な拠点でも動きます。
ローカルLLMに必要な機器と費用の目安
ローカルLLMを動かす機器は、大きく3種類です。どれだけ大きなモデルを動かせるかは、主にメモリの容量で決まります。
必要なメモリは「パラメータ数×ビット数÷8」で見積もれます。80億パラメータ（8B）のモデルなら、そのままで約16GB、4ビットに圧縮（量子化）すれば約4GBです。圧縮すると精度が少し落ちるため、実際の業務データで品質を確かめてください。
代表的な機器の価格と、動かせるモデルの目安は次のとおりです（価格は2026年10月時点、税込）。
| 機器 | 価格の目安 | メモリ | 動かせるモデル（4ビット） | 向いている用途 |
| Mac mini（M5 Pro） | 29万9,800円から | 最大64GB | 70B級まで | 個人・少人数での試行 |
| Mac Studio（M5 Max） | 41万9,800円から | 最大128GB | 100B級以上 | 部署での共有 |
| DGX Spark（128GB） | 約120万〜214万円 | 128GB | 100B級以上 | 部署・全社での共有 |
| Jetson Orin Nano Super 開発者キット | 約10万円 | 8GB | 8B級まで | 現場での小規模な処理 |
Macの価格は最小構成のもので、メモリを増やすと価格も上がります。また、2026年はメモリの供給不足で機器の価格が大きく動いています。たとえばDGX Sparkの128GB版は、2025年10月の発売時に3,999ドルでしたが、2026年10月には6,950ドルになりました。購入前に最新の価格を確認してください。
GPU搭載PC・Macで動かす
手軽に始めるなら、GPUを積んだWindowsのPCかMacです。WindowsのPCでは、GPUに搭載されたメモリ（VRAM）の容量が、動かせるモデルの大きさを決めます。
Macは、CPUとGPUが同じメモリを共有する「ユニファイドメモリ」を採用しており、大きなメモリをモデルに使えます。Mac Studio（M5 Max）は最大128GBまで選べるため、1台で大きめのモデルも動かせます。1人から数人で試す段階なら、まずはこの規模で十分です。
GPUサーバーで動かす
部署や全社で共有するなら、サーバーに置いて複数人から使います。同時に使う人が増えるほど、メモリと処理能力が必要になります。
小規模なら、NVIDIAのDGX Sparkのような小型のAIコンピューターが選択肢です。OllamaやvLLMに対応しており、10月に追加された64GB版でも最大1,000億パラメーター（100B）のモデルを扱えるとされています。
さらに大規模に使う場合は、データセンター向けのGPUを複数積んだサーバーになります。価格は構成ごとの見積もりになるため、メーカーや販売代理店に相談してください。
現場のエッジAI端末で動かす
工場や拠点に置くなら、NVIDIA Jetsonのような小型の端末が使えます。Jetson Orin Nano Super開発者キットは手のひらサイズで、メモリは8GBです。動かせるのは8B級までの小さなモデルですが、点検記録の要約や定型文の作成には使えます。
カメラ映像を扱う場合は、画像認識AIが映像を解析し、その結果をローカルLLMが文章にまとめる、という分担になります。
エッジAIとは？特徴、活用事例、メリット・デメリット、クラウドAIとの違い
本体以外にかかる費用
本体のほかにかかる主な費用は、電気代、保守の手間、通信費の3つです。
電気代は「消費電力×稼働時間×電力単価」で見積もります。たとえば300Wの機器を24時間動かし続けると、年間で約2,600kWhの電力を使います。
保守では、ツールやモデルの更新、故障時の対応を自社で行います。担当者の工数も費用として見込んでください。
通信費は、機器を置く場所で変わります。本社にサーバーを置くと、拠点からは使うたびに回線を通ります。現場に置けば、送るのは処理結果だけです。監視カメラの映像をそのまま送ると通信量は大きくなりますが、現場で解析と要約まで済ませれば、送るのは短いテキストだけで済みます。データを発生源の近くで処理するこの考え方は、エッジコンピューティングと同じです。
エッジコンピューティングとは？仕組み・クラウドとの違い・メリット・活用事例をわかりやすく解説
必要な通信量は、送る頻度と1回あたりの量で決まります。試験運用で実際の量を測ってから、回線のプランを決めましょう。現場から本社へ送る経路には、IoTゲートウェイやモバイル回線を使います。
IoTゲートウェイとは？ルーターやエッジとの違い、導入メリットや活用事例、メーカーを紹介
また、モデルの入手と更新にも通信が必要です。モデルのファイルは数GBから数十GBあります。外部接続を禁止している現場では、ファイルを持ち込む手順も決めておきます。
IoT通信でお困りなら「IoTBiz SIM」
処理結果を送る拠点に固定回線がない場合は、モバイル回線が便利です。株式会社CoeNovaのIoTBiz SIMは、現場機器の通信に使える法人向けのSIMです。
テストSIMを最大1週間貸し出しているので、本契約の前に実際の通信量と電波状況を確かめられます。
ドコモ・ソフトバンク・KDDI・楽天の4キャリアに対応しており、拠点ごとに電波の良い回線を選べます。
1回線から契約でき、最短翌日に発送します。1拠点で試してから拠点を増やす進め方にも対応できます。
料金はいずれも定額型です。テキストの報告を送る用途なら、次のプランが目安です。
| プラン | 月額（税別） | 向いている機器 |
| ドコモ回線 通常プラン 1GB | 450円 | 報告の量がほぼ一定の現場サーバー・ゲートウェイ |
| ドコモ回線 通常プラン 3GB | 850円 | 報告の頻度が高い現場サーバー・ゲートウェイ |
| ドコモ回線 上り優先プラン 1GB | 400円 | 送信が中心で上りの比率が高い機器 |
| ドコモ回線 上り優先プラン 3GB | 550円 | 送信が中心で、送る量がやや多い機器 |
初期費用は3,000円（税別）、SIMカード発行費用は1枚あたり394円（税別）です。契約期間の縛りや解約金はありません（ソフトバンクMNOプランを除く）。
初回取引から売掛け（Paid決済）に対応し、年間払い・一括払いも選べます。年間数千回線の導入実績があります。
なお、現場のサーバーを回線につなぐ際は、外部から不要なアクセスを受けない設定にしてください。
