ローカルLLMへの道
2026年版:ローカルLLM(Qwen3.6)+ AIエージェント導入・完全ガイド
RTX 3060 Ti(VRAM 8GB)と大容量メインメモリ(48GB)を最大限に活かし、自分専用の「次世代AI開発環境」を構築する手順です。
1. 準備:専用SSDの導入
- 推奨スペック: 1TB以上のNVMe M.2 SSD(内蔵型)
- 理由: Qwen3.6-35B-A3B(約20GB)等の巨大なモデルファイルをOS(Cドライブ)と分けて管理することで、動作の安定性と整理のしやすさが向上します。
- 資産性: AI専用の「脳の保管庫」として、画像生成モデルや自分専用の知識ベースもここに集約できます。
【まだSSDがない場合】 とりあえず既存ストレージに入れてOKです。Ollamaは
~/.ollama/にまとめて入るので既存データと混ざりません。モデルファイルは読み込みメインなのでSSDの消耗にもほぼ影響しません。空き容量が30GB以上あれば余裕で試せます。専用SSDは新モデルへの移行タイミングで買えば十分です。
2. AIエンジン(心臓部)の選定と導入
ローカルLLMを動かすための「ソフト(エンジン)」はいくつかありますが、習熟度に合わせて選びます。
| 手法 | 特徴 | 役割 |
|---|---|---|
| LM Studio | 視覚的・多機能。メモリ消費量や速度がグラフで見える。 | 初心者の導入・モデル検索・サーバー化に最適。 |
| Ollama(推奨) | 軽量・自動化。コマンド(黒い画面)で操作。 | PC起動時から自動常駐、エージェント連携に最適。 |
| Jan / GPT4All | シンプル・クリーン。 | チャット専用として手軽に使いたい時。 |
Ollamaでの導入手順(推奨)
-
インストール: ollama.com から入手してインストール。
-
保存場所を設定する(重要!インストール直後にやる): 何も設定しないとCドライブに入ってしまうので、モデルをpullする前に環境変数を設定しておく。
環境変数 設定値の例 用途 OLLAMA_HOST0.0.0.0Tailscaleなど外部からのアクセスを許可 OLLAMA_MODELSD:\OllamaModelsモデルの保存先をDドライブに変更 Windowsの環境変数は「システムのプロパティ → 環境変数」から設定できます。設定後はOllamaを再起動してください。
-
モデルのダウンロード: ターミナル(コマンドプロンプト)で以下を実行。
ollama pull qwen3.6:35b-a3b-q4_K_M -
自動起動: インストール後はPC起動時にバックグラウンドで自動待機します。アプリを開く手間がゼロ。
-
APIエンドポイント:
http://localhost:11434がPC内のAI窓口になります。
【注意】VRAM 8GBでの動作について Qwen3.6-35B-A3BはMoE(混合専門家)構造のため、アクティブパラメータは約3Bと軽量です。ただし全体のモデルファイルは約20GBあるため、8GBのVRAMだけでは収まりきらず、残りはメインメモリ(RAM)にオフロードされます。48GBのRAMがあるので動作はしますが、純粋なVRAM処理より速度は落ちます。それが気になる場合は、より小さい
Qwen3.6-27B(密モデル、2026/04/22リリース) の量子化版も選択肢です。
LM Studioでの導入手順(GUIが好みの場合)
- インストール: lmstudio.ai から入手。
- モデル検索: 虫眼鏡アイコンで
Qwen3.6-35B-A3Bを検索。 - ダウンロード:
bartowski氏提供等のリストからQ4_K_M(4bit量子化版)を選択。 - サーバー起動: 左メニュー「Local Server」でモデルをロードし、「Start Server」 をクリック。
- これで
http://localhost:1234がPC内のAI窓口になります。
- これで
3. モデルの管理とバージョンアップ
ソフトウェアのアップデートとは異なり、モデルはファイル単体なので「新しいモデルをダウンロードして切り替えるだけ」です。自動で更新されることはなく、自分のタイミングで試せるのがローカルLLMの気楽なところです。
複数モデルの使い分け
Ollamaは複数のモデルを同じフォルダで共存させられます。Cline側でモデル名を変えるだけで切り替え可能です。
ollama list
# 例:こんな感じで複数共存できる
# qwen3.6:35b-a3b-q4_K_M でかくて賢い
# qwen3.6:27b-q4_K_M バランス型
# qwen3.5:7b-q4_K_M 軽くて速い
用途によって使い分けるイメージ——
- 軽いチャット・質問 → 7Bの軽いモデル(速い)
- コードを書かせる → 35B-A3Bの賢いモデル(精度高い)
- 比較実験 → 両方に同じ指示を投げて比較
新モデルへのバージョンアップ(同じSSD内)
ollama pull qwen3.7:35b-a3b-q4_K_M # 新モデルをダウンロード
ollama list # 新旧が両方入ってることを確認
# Clineで動作確認
ollama rm qwen3.6:35b-a3b-q4_K_M # 問題なければ古いモデルを削除
- 動作確認してから削除できるので安心
- 気に入らなければそのまま古いモデルを使い続けられる
専用SSDを買ったタイミングでの移行手順
注意:
OLLAMA_MODELSで指定した1箇所しか見に行かないため、別ドライブに古いモデルが残っていてもOllamaからは見えません。必ず以下の順番でやること。
①OLLAMA_MODELSをDドライブのパスに変更(例:D:\OllamaModels)
②Ollamaを再起動
③ollama pullで使いたいモデルを全部入れ直す
④ollama listで確認
⑤Clineで話しかけて動作確認
⑥問題なければCドライブの ~/.ollama/models/ を手動削除
ollama rmはOllamaが認識しているモデルしか消せないので、OLLAMA_MODELSを変えた後のCドライブの残骸は手動削除が必要です。
4. VS Code連携(手足の接続):エージェントの選択
「フォルダ内を全部見せてあれこれさせる」ために、AIエージェント拡張機能を使います。
2026年現在、この分野の主役はClineとそのフォークであるRoo Codeの2強で、どちらもオープンソース・BYOKモデル(自前のAPIキーを使う方式)です。
| ツール | 特徴 | 向いている人 |
|---|---|---|
| Cline | 操作ひとつひとつにユーザー確認を求める、安全・丁寧な設計。インストール数500万超の最大コミュニティ。 | 初心者・慎重に動かしたい人 |
| Roo Code | Clineのフォーク版。Architect・Code・Debug・Askなどのモード分けで高度な自律実行が得意。 | 自動化・大規模作業をしたい人 |
| Kilo Code | ClineとRoo Code両方のいいとこ取りをしたフォーク。オートコンプリート機能も搭載。 | バランス重視の人 |
全部同時にインストールしてOK! それぞれがVS Codeのサイドバーに独立したパネルとして並ぶので、好きなときに好きなものを使い分けられます。ブランチを分けて同じ指示を出し出力を比較するという使い方もできます。
設定手順(Cline・Roo Code・Kilo Code共通):
- VS Codeの拡張機能からインストール。
- 設定で Provider を
OpenAI Compatibleにし、Base URL を以下のように設定。- Ollama使用時:
http://localhost:11434/v1 - LM Studio使用時:
http://localhost:1234/v1
- Ollama使用時:
- モデル名を入力して完了。
運用イメージ: 「このプロジェクトのフォルダ全体を読んで、新機能を追加して」と指示。AIがファイルを自動スキャン・修正・新規作成します。
5. ツール構成のしくみと移行のしやすさ
2026年現在のAIツールは「標準規格(OpenAI互換API)」に準拠しているため、スマホのSIMカードを差し替えるような感覚で中身を入れ替えられます。
なぜそんなに簡単に移行できるの?
現在のローカルLLM業界は「パーツの組み合わせ」で動いています。
| レイヤー | 役割 | 具体例 |
|---|---|---|
| 心臓部(AIモデル) | 思考・推論 | Qwen3.6-35B-A3Bなど |
| エンジン(サーバー) | モデルを動かす基盤 | LM Studio、Ollama |
| 手足(エージェント) | コードや作業を実行 | Cline、Roo Code、Kilo Code |
これらが 「OpenAI互換API」 という共通の言葉で喋っているため、「心臓だけ入れ替える」「手足だけ付け替える」ことが自由自在です。
LM Studio → Ollama の移行
- 切り替えの手間: 低め(ただし注意点あり)
- LM Studioを終了し、Ollamaを起動するだけ、という流れ自体はシンプルです。
- ただしデフォルトの保存フォルダが異なるため(LM Studioは
~/.lmstudio/models/、Ollamaは~/.ollama/models/)、同じGGUFファイルを共有するには設定変更が必要で少し面倒です。慣れないうちは素直に再ダウンロードするほうが無難です。
- メリット: PC起動時にAIが自動待機するようになり、アプリを開く手間がゼロになります。
Cline → Roo Code / Kilo Code などへの移行
- 切り替えの手間: 皆無(設定のコピペのみ)
- VS Codeの拡張機能として入れ、「Base URL」と「モデル名」を入力し直すだけ。
- 操作感: UIがClineとほぼ同じなので、学習コストもかかりません。
まとめ:導入ロードマップ
「一度決めたら変えられない」という心配は無用です。段階的に育てていけます。
- 既存ストレージの空き容量を確認(30GB以上あればOK、なければSSDを先に買う)
- Ollamaをインストール
- インストール直後に環境変数を設定(
OLLAMA_HOSTとOLLAMA_MODELSを忘れずに!pullする前にやる) ollama pull qwen3.6:35b-a3b-q4_K_M(20GBなのでダウンロード中にご飯)- VS CodeにCline・Roo Code・Kilo Codeを全部入れて全部設定
- 新しいモデルが出たら
ollama pull→ 動作確認 → 古いモデルを削除 - 新モデルへの移行タイミングで専用SSDを購入、手順に従って移行
この構成なら、手元の3060 Tiが24時間、あなた専属の「最強エンジニア」として働いてくれます。
- Reference: https://ollama.com/
- Reference: http://localhost:11434`
- Reference: https://lmstudio.ai/
- Reference: http://localhost:1234`
- Reference: http://localhost:11434/v1`
- Reference: http://localhost:1234/v1`
Write a comment