ローカルLLM入門｜PCでAIを動かすメリットとOllama

Q: ローカルLLMって何？普段使うChatGPTのようなクラウドAIと何が違うの？

AIが自分のPC上で動くのがローカルLLM。クラウドAIは入力内容を外部サーバーに送って処理するが、ローカルLLMはやり取りが全部端末の中だけで完結する。最初にモデルをダウンロードすればネット接続なしでも動く。

Q: 「オープンソースLLM」とローカルLLMはどういう関係なの？

ローカルLLMは「どこで動かすか」の話で、オープンソースLLMは「モデルのデータが公開されているか」の話。LlamaやMistralのようにモデルの重みがダウンロード可能な状態で公開されているから、ローカルで動かせる。

Q: 外食（クラウド）と自炊（ローカル）でたとえると、どういうこと？

クラウドAIは外食で、注文すれば出てくるが厨房の中身は見えない。ローカルLLMは自炊で、食材（モデル）を自分でそろえ自分のキッチン（PC）で料理する。手間はかかるが材料が何かはすべてわかる。

Q: 会社のデータや個人情報を入れても大丈夫なの？

ローカルLLMなら入力したテキストや文書はすべて端末の中にとどまる。クラウドAIではプロンプトが外部サーバーに送られログに残ったり学習に使われる可能性があるが、ローカルではそのリスクがない。

Q: クラウドの有料AIより本当にお得なの？

ローカルではモデルを使い放題で、クラウドAPIのような従量課金や利用枠の上限がない。動作中の電気代はかかるが予想外の請求は来ない。またデータを往復させる待ち時間がなく応答が速いのも利点。

Q: 自分の用途に合わせて調整（カスタマイズ）できるの？

OllamaのModelfileを使えば、ベースモデルの選択・システムプロンプト・回答の温度などのパラメータを指定して自分専用モデルを作れる。

Q: 逆に、ローカルだと困ることはある？

家庭用PCで動かせるモデルはサイズが小さめになるため、難しい推論・長い文章の処理・専門知識の正確さではクラウドの巨大モデルに及ばないことがある。用途によってはクラウドの方が優れているシーンもある。

Q: GPUがないと動かないの？普通のノートPCでも大丈夫？

GPUは必須ではない。OllamaはRAM 8GB・空きディスク約10GB・AVX2対応の64bit CPUがあれば動く。CPUだけでも動作するが、GPUがない場合は速度が遅めになる。

Q: メモリ（RAM）はどれくらい必要なの？

Q4量子化モデルの目安として、8GBで7Bクラス（入門向け）、16GBで13〜14Bクラス（中型）、24GB以上で32Bクラス（大型）を動かせる。

Q: 自分のPCで動くかどうか、どこを見て判断すればいい？

①RAMが8GB以上あるか、②ディスクの空き容量が10GB以上あるか、③CPUがAVX2に対応しているかの3点を確認する。2015年以降の一般的なIntelやAMDの64bit CPUなら概ね対応している。

※この記事には広告・アフィリエイトリンクを含む場合があります。

「ChatGPTって便利だけど、会社の資料を貼り付けるのってちょっと怖いな……」そう感じたことはありませんか？　その直感、正解です。そして、その悩みを解決するのがローカルLLMという選択肢です。

この記事では、AIが「自分のPCだけで動く」ってどういうことか、そして無料ツールOllamaを使ってどうやって一歩目を踏み出すかを、やさしくほぐしていきます。

Contents

ローカルLLMとは？クラウドAIとの違いを「外食vs自炊」でつかむ
1. 「オープンソースLLM」とローカルLLMはどういう関係なの？
2. 外食（クラウド）と自炊（ローカル）でたとえると、どういうこと？
ローカルLLMを使う3つのメリット（プライバシー・コスト・カスタマイズ）
どんなPCが必要？必要スペックとGPUの話をやさしく
Ollamaで始めるローカルLLM ─ まずはCPUだけで動かす入口
どのモデルを選ぶ？商用利用の注意と学習を続ける次の一歩
まとめ：自炊AIをはじめる4つのステップ
参考文献
関連記事

ローカルLLMとは？クラウドAIとの違いを「外食vs自炊」でつかむ

「ローカルLLMって何？　普段使うChatGPTのようなクラウドAIと何が違うの？」

「ねえ先生、ローカルLLMって最近よく聞くけど、ChatGPTと何が違うの？」

「シンプルに言うと、『AIが自分のPC上で動く』ってことだよ。ChatGPTは、自分が打った文章を一旦インターネット越しに外のサーバーに送って、向こうで処理してから返ってくる。ローカルLLMは、そのやり取りが全部自分の端末の中だけで完結するんだ。」

「へえ！　ってことは、インターネットが繋がってなくても使えるの？」

「そう！　最初にモデルをダウンロードさえしちゃえば、その後はネット接続なしで動く。飛行機の中でも、ネットが不安定な場所でも使えるわけ。」

「オープンソースLLM」とローカルLLMはどういう関係なの？

「あと、オープンソースLLMっていう言葉もよく見るんだけど、ローカルLLMと同じもの？」

「ちょっと違う切り口の話だね。ローカルLLMは『どこで動かすか』の話。オープンソース（またはオープンウェイト）LLMは『モデルのデータが公開されているか』の話。LlamaやMistralみたいに、モデルの重み（AIの脳みそのデータ）がダウンロードできる状態で公開されているから、ローカルで動かせるんだよ。セットで語られることが多いのは、そういう関係だから。」

外食（クラウド）と自炊（ローカル）でたとえると、どういうこと？

「う〜ん、なんとなくわかったけど、もっとイメージしやすくならない？」

「じゃあ料理で考えよ。クラウドAIは外食。注文すれば美味しいものが出てくるけど、お店の厨房に何が入ってるかは見えないし、どう作られてるかも分からない。ローカルLLMは自炊。食材（モデル）を自分でそろえて、自分のキッチン（PC）で料理する。手間はかかるけど、材料が何かは全部わかる。」

「なるほど！　外食は楽で美味しいけど、何入ってるかわからない感じか。」

「そう。機密情報を含む会社の資料とか、個人情報が入ったデータを扱うなら、自炊の方が安心でしょ、っていう話なんよ。」

ローカルLLMを使う3つのメリット（プライバシー・コスト・カスタマイズ）

① プライバシー：データが外に出ない

「会社のデータや個人情報を入れても大丈夫なの？」

「ローカルLLMの最大の強みはここだよ。入力したテキストや文書はすべて端末の中にとどまる。クラウドのAIサービスだと、プロンプトが外部のサーバーに送られて、ログに残ったり、場合によってはモデルの学習に使われる可能性もある。ローカルなら、そのリスクがそもそもない。」

「それ、会社のコンプライアンス的に大事なやつだ……！」

② コスト：従量課金の呪縛から解放される

「クラウドの有料AIより本当にお得なの？」

「モデルを使い放題なんよ。クラウドAPIは使った分だけ課金されたり、『本日の利用枠を使い切りました』って止まったりする。ローカルはそれがない。動かしてる間の電気代はかかるけど、APIの従量課金みたいな予想外の請求は来ない。」

「たしかに、月末にAPI代見てびっくりする、みたいな話は聞いたことある。」

「あと、すべてが手元で完結するから、クラウドとデータを往復させる待ち時間もない。応答が速いのも地味にうれしいポイントだよ。」

③ カスタマイズ：自分専用AIを育てられる

「自分の用途に合わせて調整（カスタマイズ）できるの？」

「できる！　OllamaにはModelfileっていう設定ファイルがあって、DockerのDockerfileみたいなテキストファイルなんだけど、これを書くことで『ベースモデルの選択』『最初にどういうキャラクターとして動くか（システムプロンプト）』『回答のランダム性（温度）』みたいなパラメータを指定して、自分専用モデルが作れる。」

「自分だけのAIアシスタント、みたいな感じか！」

モデルのファインチューニング（追加学習による味付け調整）にも興味が出てきたら、こちらも読んでみてください。→ ファインチューニングとは–料理のレシピで理解するAIの「味付け直し」

逆に、ローカルだと困ることはある？

「いいことずくめな感じだけど、デメリットはないの？」

「正直に言うよ。家庭用PCで動かせるモデルは、サイズが小さめになる。難しい推論、すごく長い文章の処理、専門的な知識の正確さ、みたいな部分ではクラウドの巨大モデルには及ばないことがある。外食（クラウド）の方が明らかに美味しいシーンも、まだまだあるんよ。」

「自炊だと限界もあるんだね。」

「そう。でも『プライバシー重視のタスク』『コストを抑えた実験』『カスタマイズして遊ぶ』みたいな用途では、ローカルLLMは本当に強い。使い分けが大事ってこと。」

どんなPCが必要？必要スペックとGPUの話をやさしく

GPUがないと動かないの？普通のノートPCでも大丈夫？

「ローカルLLMって、ゲーミングPCじゃないと無理？　普通のノートPCは諦めるしかない？」

「全然そんなことないよ！　代表的なツールであるOllamaの最小要件は、RAM 8GB・空きディスク約10GB・AVX2対応の64bit CPUだけ。GPUは必須じゃない。CPUだけでも動く。」

「え、本当に？　じゃあ今使ってるノートPCでもいけるかも！」

「まずは試してみるのが一番。ただ、CPUだけだと速度は遅めになる。その話は後でするね。」

メモリ（RAM）はどれくらい必要なの？

「RAMって、どれくらいあればいいの？」

「目安を表にするとこんな感じ。Q4量子化（モデルを軽量化した形式）での話だよ。」

RAMの目安	動かせるモデルの規模感
8GB	7Bクラス（小型・入門向け）
16GB	13〜14Bクラス（中型）
24GB以上	32Bクラス（大型）

「量子化ってなんか難しそう……」

「レシピの材料リストを、詳細版から簡略版に圧縮するイメージ。少し精度は落ちるけど、軽くなって普通のPCでも動くようになる魔法の変換だよ。」

GPUがあると何が変わるの？

「GPUを積んでたらもっと速いって聞いたけど、どれくらい違う？」

「体感レベルで全然違う。CPUだけで7Bモデルを動かすと、1秒あたり3〜8トークンくらい。日本語で言うと、ものすごくゆっくりテキストが出てくる感じ。でも8〜12GBのGPU（たとえばNVIDIA RTX 3060や4060）や、16GBのApple Siliconを積んだMacがあると、毎秒30〜60トークンまで跳ね上がる。」

「10倍近く速くなるのか！　それは全然違う体験だね。」

「対応してるGPUは、NVIDIAのGTX 900系以降（CUDAというしくみ）、LinuxならAMDのROCm、そしてApple SiliconのMacはMetalっていうしくみを自動で使ってくれる。最近のMacBook Proとかを持ってる人は、かなりいい環境で始められるよ。」

自分のPCで動くかどうか、どこを見て判断すればいい？

「自分のPCが対応してるかどうか、どうやって確認すればいい？」

「チェックするポイントはこの3つ。①RAMが8GB以上あるか。②ディスクの空き容量が10GB以上あるか。③CPUがAVX2に対応してるか。RAMとディスクはシステム情報から確認できる。AVX2対応かどうかは、2015年以降の一般的なIntelやAMDの64bit CPUならたいてい大丈夫。不安なら『自分のCPU名 AVX2』で調べてみて。」

Ollamaで始めるローカルLLM ─ まずはCPUだけで動かす入口

Ollamaって何？何ができるの？

「さっきからOllamaって何度も出てくるけど、何者なの？」

「ローカルLLMを動かすための無料のオープンソースツールだよ。Llama・Mistral・Gemma・Qwenなど、様々なオープンソースLLMを、コマンド数個で手元のPCに入れて動かせる。モデルを動かすだけじゃなく、REST APIも備えてるから、自作アプリからAIを呼び出すこともできる。」

「REST APIってことは、プログラムから使えるってこと？」

「そう。慣れてきたら、自分だけのAIチャットアプリとか、ドキュメント検索システムを作れる。RAGって技術を使えばもっと活用できるんだけど、それはまた別の話。興味あれば読んでみて。→ [RAGって何–AIに「カンペ」を渡す技術を5分で理解する](https://zhack-blog.com/rag/)」

どのOS（Windows/Mac/Linux）で使えるの？

「Ollamaって、自分が使ってるOSで使えるの？」

「macOS・Windows・Linux、全部対応してる。公式サイト（ollama.com/download）にそれぞれのインストーラーやスクリプトが置いてあるから、そこから入手できる。」

モデルを入手して動かすまでの大まかな流れは？

「実際にどうやって使うの？」

「大まかな流れはこんな感じだよ。」

Step 1：Ollamaをインストールする
公式サイトからインストーラーをダウンロードして実行。これだけ。

Step 2：使いたいモデルを選ぶ
公式のモデルライブラリ（ollama.com/library）で、どんなモデルがあるか眺めてみよう。

Step 3：モデルをダウンロードして動かす
ターミナル（コマンドプロンプト）で ollama pull モデル名 と打てばダウンロード、ollama run モデル名 で対話開始。

「コマンド2つだけ？　思ったよりシンプル！」

「そう、入口はシンプルに作られてるんよ。ただ、コマンドやモデル名はバージョンアップで変わることもある。最新の手順は必ず公式ドキュメントで確認するクセをつけておいて。ここに書いたのはあくまで『流れのイメージ』として読んでね。」

どのモデルを選ぶ？商用利用の注意と学習を続ける次の一歩

初心者はどのモデルから試すのが現実的？

「モデルって、どれを選べばいいの？　種類が多くて迷う。」

「最初は7B前後の小型モデルから試すのが現実的。RAM 8GBでも動くから、スペックの低いPCでも入門できる。代表的なモデルファミリーはこんな感じ。」

モデルファミリー	作ってる会社・組織	特徴メモ
Llama	Meta	商用・研究用途OK（条件確認要）
Gemma	Google	オンデバイス・エッジ向けに最適化
Mistral	Mistral AI	7BはApache 2.0で制限なく使える
Qwen	Alibaba	多言語対応が強め
DeepSeek	DeepSeek	コーディング系で評判

「こんなにあるんだ！」

「まず一個試して、使い心地を確かめるところから始めよう。全部試す必要はないし、最初から完璧に選ぶ必要もない。自炊だから、いろんな料理を試せるのが楽しみのひとつだよ。」

オープンソースLLMは仕事（商用）で使っても平気？

「仕事で使いたいんだけど、商用利用って大丈夫なの？」

「これ、大事なポイント。モデルによってライセンスがバラバラだから、一概に『大丈夫』とは言えない。たとえばMistral 7BはApache 2.0ライセンスで制限なく使えるけど、他のモデルは個人利用OKでも商用は要確認なケースがある。仕事で使う前は、必ずそのモデルの利用規約を読んで。」

「めんどくさそう……でも大事なことだよね。」

「法的なリスクを避けるためにも、ここは絶対に飛ばしちゃダメ。モデルの公式ページに必ずライセンス情報が書いてあるから、そこをチェックする習慣をつけよ。」

ローカルLLMをもっと活用するには次に何を学べばいい？

「ローカルで動かせるようになったら、次のステップは何があるの？」

「大きく2方向あるよ。一つはRAG（Retrieval-Augmented Generation）。自分の資料や社内ドキュメントをAIに読み込ませて、それを参照しながら回答させる技術。ローカルLLMとめちゃくちゃ相性がいい。もう一つはファインチューニング。モデルに追加学習させて、特定のタスクや口調に特化させる方法。どちらも奥が深いから、興味を持ったところから探ってみて。」

「RAGとファインチューニング、覚えた！」