コンテンツにスキップ
ExcelもPDFも扱えるチャット型デスクトップエージェント「Simple Agent」の使い方と、Gemini/ローカルLLM(gemma4:12b-mlx)の実測比較

ExcelもPDFも扱えるチャット型デスクトップエージェント「Simple Agent」の使い方と、Gemini/ローカルLLM(gemma4:12b-mlx)の実測比較

2026年7月4日

「Simple Agent」というGUIエージェントを開発している。Claude Codeがターミナルとソースコードに対してやっていることを、事務ファイル(Excel・Word・PDF・CSV)とデスクトップに対してやるツールだ。チャットで「売上CSVを集計してExcelに書いて」と指示すると、LLMがツール(ファイル読み取り・Python実行・Excelセル更新など)を選んで実行し、書き込みの前には人間の承認を挟む。

この記事では、実際の画面と実行例をstep by stepで紹介したあと、同じタスクをクラウド(Gemini)とローカルLLM(gemma4:12b-mlx)で実行して所要時間を実測した結果をまとめる。計測中にはGemini無料枠のレート制限(429)や高負荷エラー(503)にまともに当たったので、その記録も隠さず載せる。エージェントを無料枠APIで回すとどうなるかの実例として参考になるはずだ。

Simple Agentとは

Golang + React(Wails)製のデスクトップアプリで、macOS / Windowsで動く。設計の柱は次の3つ。

  1. チャットで事務ファイルを操作する: Excel / Word / PowerPoint / PDF / CSV / テキストの読み取り・編集・作成。スキャン画像のOCR(LLMビジョン)にも対応
  2. AIにファイルを壊させない: 書き込み前の承認ダイアログ(diffプレビュー付き)、変更のたびに自動チェックポイント、作業フォルダ外へのアクセス遮断、全操作の監査ログ
  3. LLMを選べる: OpenAI / Gemini / Claude / Ollama / llama.cppをOpenAI互換APIで切り替え。機密文書はローカルLLMで完全オフライン処理できる

主なツール(エージェントが使える操作)

分類ツール
ファイル一覧取得、読み取り(UTF-8/Shift_JIS自動判定)、書き込み
Excel軽量目次(巨大ファイル対応)、行ウィンドウ読み取り、構造化抽出(表・結合セル・図形)、セル更新
Word/PowerPointテキスト抽出(レガシー .doc/.ppt も可)、テキスト置換(書式保持)、新規作成
PDFテキスト抽出(日本語対応)、ページ操作(結合・抽出・回転)、新規作成(日本語フォント同梱)
画像OCR・内容理解(LLMビジョン)。スキャンPDFのページ画像化にも対応
その他Pythonサンドボックス実行(Pyodide/wasm、pandas同梱、ネットワーク遮断)、現在日時

Python実行はPyodide(wasm)上で動くため、OSコマンドは一切実行できず、ホストのファイルシステムも見えない。エージェントに任意コード実行を許しつつ、被害が及ぶ範囲をブラウザのサンドボックス内に限定する構成だ。

画面構成

起動すると、ツールバー(作業フォルダ・会話履歴・レシピ・バッチ・Excel・変更履歴・設定)とチャット欄だけのシンプルな画面が出る。AIツールにありがちな吹き出しやグラデーションは使わず、業務アプリらしい見た目に寄せている。

Simple Agent のメイン画面

左上の作業フォルダが重要だ。エージェントはこのフォルダの外に一切アクセスできない(.. やシンボリックリンクによる脱出も遮断される)。作業は、まずこのフォルダに処理したいファイルを置くところから始まる。

Step 1: LLMプロバイダーを設定する

ツールバー右端の「設定」からLLMを選ぶ。プリセット(OpenAI / Google Gemini / Anthropic / Ollama / llama.cpp)を選ぶとベースURLとモデル名が自動入力される。

設定ダイアログ(Gemini)

  • APIキーはOSのキーチェーン(macOSならキーチェーンアクセス)に保存され、設定ファイルに平文では残らない
  • 「承認モード」は「常に確認」(書き込み前にダイアログ)と「自動承認」を選べる。まずは「常に確認」のままがよい
  • 「機密情報マスキング」を有効にすると、メール・電話番号・マイナンバー等を外部LLMへ送る前にローカルで置換し、応答時に復元する

Step 2: @でファイルを指定して指示する

チャット欄で @ を打つと作業フォルダ内のファイル名が補完される。ファイル名を正確に打つ必要はない。

@メンションによるファイル補完

今回のデモ用に、作業フォルダへ次のファイルを置いた。

  • 売上データ.csv: 6月の売上明細22行(日付・商品・担当・数量・単価)
  • 売上集計.xlsx: 見出し行だけの空ワークブック
  • 請求書_*.pdf: 取引先別の請求書3件
  • 領収書スキャン.png: 領収書のスキャン画像
  • 会議メモ.txt

実行例1: CSVを集計してExcelに書き込む

チャットにこう指示する。

売上データ.csvをまず読んで列名を確認してから、商品別に数量と金額(数量×単価)を集計して、合計金額の多い順に 売上集計.xlsxのSheet1の2行目以降へ書き込んでください。

エージェントは「ファイル読み取り →(列名を確認して計画を報告)→ Pythonで集計 → Excelセル更新」と自分でツールを組み立てて進める。ステップごとの進捗がフラットなログで表示され、実行中はいつでも停止できる。

CSV集計タスクの実行ログ(gemini-2.5-flash)

Excelセル更新は書き込み系のツールなので、実行前に承認ダイアログが出る。どのセルがどう変わるかのdiffを見てから「許可」を押す。

書き込み前の承認ダイアログ。セル単位のdiffが見える

完了後、ツールバーの「Excel」からワークブックを開くと、Excel風ビューア(FortuneSheet)で結果を確認・直接編集できる。

Excelビューアで開いた集計結果

集計値は検算した。ノートPC 12台 × 128,000円 = 1,536,000円をはじめ、7商品すべて正しい。

実行例2: 領収書画像のOCR

スキャンした領収書画像から情報を抜き出す。

領収書スキャン.pngの内容を読み取って、店名・日付・合計金額を教えてください。

元の領収書画像

OCR実行結果

画像を解析ツール(LLMビジョン)が一発で「店名: オフィスサプライミナト店、日付: 2026年6月28日、合計金額: ¥13,871」を返した。専用OCRエンジンを持たず、文字抽出と構造理解(どれが合計か)を同じモデルで一度にやるのがポイントだ。読めない文字を「それらしく補完」するハルシネーションのリスクはあるので、金額のような重要フィールドは元画像と並べて確認する運用を想定している。

実行例3: 請求書PDFの読み取り

請求書_株式会社アオバ商事.pdfから請求書番号と請求金額(税込)を読み取って教えてください。

請求書PDFの読み取り結果

PDFを読み取りツールがテキスト層を抽出し、「請求書番号はINV-2026-0601、請求金額は ¥356,400(税込)」と正答した(検算OK: 小計324,000 + 消費税32,400)。テキスト層のないスキャンPDFの場合は、ページを画像化してビジョン解析(実行例2と同じ経路)にフォールバックする。

バッチ処理: 請求書50件でも同じ手順で

同じ指示を複数ファイルに一括適用できる。ツールバーの「バッチ」から、指示テンプレート({file} が各ファイルパスに置換される)と対象ファイルを選ぶ。

バッチ処理ダイアログ

「試行モード」がよくできている。1件目だけを通常の承認フローで処理し、人間が結果を確認して「残りを続行」を押すと、それがバッチ全体への承認になり、残りは自動で処理される。そのため、「常に確認」モードでも承認ダイアログが50回出たりはしない。ファイルは1件ずつ順番に処理され(クラウドLLMのレート制限対策でもある)、失敗したファイルはスキップして最後にまとめて報告される。

安全機構: 変更履歴とロールバック

エージェントがファイルを変更するたびに、変更前の状態が自動でチェックポイントとして保存される。「変更履歴」からワンクリックで任意の時点に戻せる。Claude Codeのcheckpoint / rewindに相当する機能だ。

変更履歴(チェックポイント)。この時点に戻すボタンで復元

このほかに、すべてのツール実行は 監査ログ(audit.jsonl) に「いつ・どのファイルに・何を・誰の承認で」の形式で記録される。LLMへ送信したファイル内容の範囲もログに残るので、「何が外部に出たか」を後から確認できる。

レシピ: うまくいった手順を定型業務にする

完了した会話の指示列は「レシピ」として名前を付けて保存できる。保存時に指示中のファイル名が自動でパラメータ化({{ファイル1}})され、再実行時はドロップダウンで別ファイルに差し替えるだけで同じ手順を再現できる。「毎月の売上集計」のような定型業務を1クリックにする仕組みだ。

レシピ。ファイル参照が自動でパラメータ化されている

再実行は手順を固定的に再生するのではなく、指示をLLMに再投入して再計画させる方式だ。ファイルの中身が多少変わっても適応でき、書き込みは通常どおり承認を通るので暴走もしない。

ISO 9001/27001の台帳・レシピ一式をワンクリック導入するテンプレートも同梱している。

会話自体も自動保存されており、「会話履歴」からいつでも復元できる。

会話履歴。クリックで過去の会話を復元

ローカルLLMで動かす: Ollama + gemma4:12b-mlx

ここからが後半の本題。クラウドにデータを出せない機密文書のために、Ollama経由のローカルLLMで同じことができるかを試した。設定でプリセット「Ollama(ローカル)」を選び、モデル名に gemma4:12b-mlx(Appleシリコン最適化のMLXビルド、7.7GB)を入れるだけ。APIキーは不要。

設定をOllamaに切り替える

gemma4:12b-mlxは、実行例1のCSV→Excel集計タスクを完走した。ファイル一覧 → CSV読み取り → Excelの目次取得 → Excel読み取り → Python集計 → セル更新(1回目は数値の型でエラー→自分でリトライ)まで、約8分かけて正しい結果を出した。集計値は7商品すべて検算OK。

gemma4:12b-mlx がCSV→Excel集計を完走したログ

途中でツールがエラーを返しても謝って別の方法を試す様子は、クラウドモデルと変わらない。12Bクラスのローカルモデルでも、function callingベースのエージェントループが実用レベルで回るのは正直驚いた。

ローカルOCRとMLXビルドの注意点

gemma4 12Bはテキスト+画像のマルチモーダルモデルで、Ollamaレジストリ上は 12b-mlx も「Text, Image」入力と記載されている。ところが今回の環境(Ollama 0.31.1 = 執筆時点の最新版)では、ollama show gemma4:12b-mlx のCapabilitiesにvisionが現れなかった。APIで画像を添付してもモデルには渡らず、プロンプト評価は36トークンだけで、モデル自身も「画像が添付されていない」と回答した。MLXバックエンドのビジョン経路には、ランタイム側がまだ対応していないようだ。

そこで非MLXの gemma4:12b(GGUF版)に切り替えたところ、visionが有効になり(CLIPプロジェクタ52M付き)、実行例2のOCRがローカルで完走した。店名・日付・合計金額(¥13,871)まで全項目正答。

gemma4:12b(非MLX)によるローカルOCR。全項目正答

つまり「gemma4 12BクラスでローカルOCRは実用になる(ただし現時点のMLXビルドは画像入力不可、GGUF版を使う)」が正確なところ。Ollamaの更新でMLXビルドでも使えるようになる可能性が高い。

パフォーマンス実測: GeminiとローカルLLM(gemma4 / ornith)

同じタスクをgemini-2.5-flash(クラウド・無料枠)とgemma4:12b-mlx(ローカル)で実行し、指示送信から完了までのend-to-end時間を計測した。さらにQwen3.5アーキテクチャのエージェント特化9Bモデルornith:9b(Q4_K_M・5.6GB・テキスト専用)も同じタスクで追試した。

計測環境はMacBook(Apple M1、RAM 16GB、macOS 26.5)。アプリは開発モード(wails dev)で起動し、ブラウザUIをPlaywrightで自動操作して計測した。書き込みタスクの承認は、検出後すぐに自動クリックしている。各値は単発実行の実測値(参考値)。

タスク別の所要時間

タスクgemini-2.5-flashgemma4:12b-mlx (M1/16GB)ornith:9b (M1/16GB)
日付の質問(ツール1回)2.6〜3.2秒85.9秒16.5秒(※2)
CSV→Excel集計(実行例1)10.0秒(承認1回込み)490.8秒(約8.2分)未完(625秒で断念)
領収書OCR(実行例2)7.8秒168.9秒(※1)非対応(visionなし)
請求書PDF読み取り(実行例3)3.2秒140.5秒(約2.3分)49.7秒(ローカル最速)

※1 執筆時点のOllama 0.31.1では 12b-mlx ビルドに画像入力が通らないため、OCRのみ同じ12BのGGUF版 gemma4:12b で計測(前節参照)。 ※2 1回目の試行は質問をオウム返しして失敗。表の値は2回目。

Geminiとgemma4はすべてのタスクで正しい結果を出しており、両者の差は純粋に速度で、同じタスクでおよそ20〜50倍の開きがある。体感としては、Geminiは「話しかけたら返ってくる」、gemma4は「頼んで席を外し、コーヒーを淹れて戻ると終わっている」の違いだ。ornith:9bは速い代わりに完走率に難があった(次節)。

gemma4:12b-mlxの生の推論速度

Ollama APIを直接叩いて内訳も測った。

計測プロンプト評価生成速度合計
短文(ウォーム)24 tok10.2 tok/s22.7秒
売上CSV集計を依頼(思考モードあり)613 tok @ 51 tok/s2,621 tok @ 12.2 tok/s227.8秒
同上(思考モード無効 think:false)610 tok @ 48 tok/s226 tok @ 9.9 tok/s35.5秒
コールドスタート(モデルロード)——+8.9秒

OCR(非MLXの gemma4:12b)の生の値も測った。領収書画像はCLIP経由で約300トークンに変換され、思考なしなら26.7秒(うちモデルロード11.6秒)、思考ありで81.2秒だった。GGUF版の生成速度は約7 tok/sとMLX版(約10〜12 tok/s)より遅く、AppleシリコンにおけるMLX最適化の効果も確認できた。

M1/16GBでの生成速度は約10〜12 tok/s(MLX版)。特に目立ったのが思考(thinking)モードの影響で、同じ質問への回答時間が35.5秒から227.8秒へと6.4倍変わる。gemma4は思考トークンを2,600個近く出力してから答えるためだ。エージェント用途では毎ターンこれが発生するので、ローカルLLMを実用速度で回すには、思考モードの制御(または思考の短いモデル選び)が有効だ。アプリのエージェントループはシステムプロンプト+ツール定義で毎ターン数千トークンを評価するため、プロンプト評価速度(約50 tok/s)も速度に影響する。

ornith:9b: 生の速度は速いが、タスクとの相性がはっきり出た

ornith:9bはエージェント/コーディング特化をうたう9Bモデルで、生の推論はこのクラスとして優秀だった。プロンプト評価は約100〜137 tok/sとgemma4(GGUF版・約50 tok/s)の2倍以上速く、生成は約9.5 tok/s。この差が、PDF読み取りタスクの49.7秒(gemma4比で約2.8倍速)にそのまま表れている。回答も請求書の内訳まで表で整理する丁寧さで、品質は高かった。

計測(ornith:9b 素のAPI)プロンプト評価生成合計
売上CSV集計(思考モードあり)683 tok @ 99 tok/s2,168 tok @ 9.5 tok/s235.1秒
同上(think:false)685 tok @ 137 tok/s957 tok @ 9.7 tok/s104.3秒

一方で、CSV→Excel集計タスクは2回試行して2回とも書き込みまで到達できなかった。進め方自体はむしろ賢く、列名の確認 → Python集計 → Excel構造を解析ツールで既存の表形式を確認 → 形式を合わせて書き込み、とgemma4より計画的に動く。ところが、セル更新時の数値型エラー(gemma4は文字列化で自力復帰した同じ箇所)から立て直せず、最後は「Pythonスクリプトで直接Excelを書き換えてくださいませんか?」と人間に相談して止まった。日付の質問も、1回目は質問をオウム返しして失敗している。

ornith:9b のCSVタスク。計画的に進むが、セル更新の型エラーで断念してユーザーに相談

think:false でも957トークン生成する長考型で、思考の深さが速度を落としている面もある。同じ9〜12Bクラスでもタスクとの相性の差は大きく、「小さいモデルでエージェントが回るか」はサイズよりモデル次第だというのが、3モデルを比べた率直な感想だ。

Gemini無料枠の現実: エージェントは429を引きやすい

計測はすんなり終わらなかった。当初は gemini-2.5-flash の無料枠の日次クォータが尽きていた(HTTP 429)。そこで gemini-2.5-flash-lite に切り替えたが、今度はGoogle側の高負荷(HTTP 503 “high demand”)と分単位のレート制限に断続的に当たった。

エージェントループは1タスクで5〜10回LLMを連続で呼ぶため、無料枠のRPM(毎分リクエスト数)を1タスクで使い切ってしまうことがある。チャットボットなら1問1リクエストで済むところ、エージェントはツール呼び出しのたびに往復するからだ。さらにflash-liteには、タスク途中で「列名が見つからない」と早々に諦めたり、function callingの代わりに擬似ツールコールをテキストで出力したり(<ctrl42>call ...)といった、品質面の不安定さも見られた。日次リセット後の gemini-2.5-flash は全タスクを一発で完走しており、この差は大きい。

実運用の教訓としては次の3つ。

  • エージェント用途で無料枠を使うなら、リトライ(指数バックオフ)前提で設計する。Simple Agentは現状429で即エラーになるので、自動リトライは今後の課題
  • バッチ処理を逐次実行(並列なし)にしたのはレート制限対策として正解だった
  • 「クラウドが不調でもローカルLLMに切り替えれば仕事は止まらない」は、冗長化として実際に機能する。この日まさにGeminiが使えない時間帯に、gemma4がCSV集計を完走させた

対応ファイル形式(まとめ)

形式読み取り編集・保存新規作成
Excel (.xlsx/.xlsm)○○ セル更新△(テンプレート経由)
Word (.docx)○○ テキスト置換○
PowerPoint (.pptx)○○ テキスト置換○(デザインテーマ付き)
レガシー (.doc/.xls/.ppt)○ テキスト抽出××
PDF○(スキャンはOCR)△ ページ操作のみ○
画像 (.png/.jpg/.tiff)○ OCR+内容理解××
CSV/TSV・JSON/YAML・txt/md○○(wasmサンドボックス)○

テキスト系はUTF-8 / Shift_JISを自動判定するので、日本語の業務ファイルもそのまま扱える。

まとめ

  • チャット指示 → ツール実行 → 承認 → チェックポイント、というClaude Code型の体験が事務ファイルに対して成立している。CSV集計・OCR・PDF読み取りの実行例はすべて検算まで通った
  • 承認diff・チェックポイント・ワークスペース制限・監査ログの4点セットで、「AIにファイルを壊されない」状態を守る設計にしている。バッチの試行モード(1件目だけ確認)は、承認疲れへの現実的な解決策になる
  • 性能はgemini-2.5-flashが同一タスクで20〜50倍速い。一方gemma4 12B(ローカル)はM1/16GBという普通のマシンで、OCRを含む全タスクを正しく完走した。速度を取るならクラウド、機密性を取るならローカル、という切り替えが設定1つでできる
  • ただしローカルモデルの実力はサイズだけでは測れない。ornith:9bは生の推論が速くPDF読み取りはローカル最速だった一方、Excel書き込みは2回とも完走できなかった。エージェント用途では「自分の業務タスクで完走するか」を実際に試すのが確実
  • 無料枠APIでエージェントを回すとRPMを一瞬で使い切る。リトライ設計とローカルLLMへの逃げ道は、飾りではなく実際に必要だった

開発中のプロダクトなので、Excel構造化抽出の第2段階(グラフ・SmartArt)、MCPクライアント対応、トークン使用量表示などが今後のロードマップに載っている。