てんちょです。色々やりたいことがあるのになかなか手付かず。
先日、無慈悲にもクレジットの全消費により動かなくなってしまったスキャンファイルの自動リネームフロー。
月が替わってクレジットが回復するまでの間、代替手段を検討しました。当初は「AIを使わず、通常のOCR機能だけでリネームさせる方法」も検討しましたが、現場の雑多な書類を文字データだけで正確に分類・リネームさせるのは、どう考えても困難です。
「クラウドのAIが駄目なら、いっそ自前の環境にローカルLLMを構築してしまえばいいのでは?」
そんな突然の思い付きに突き動かされ、新たな実験を始めてみることにしました。調べてみると、最近は個人でも驚くほど簡単にローカル環境へLLMをセットアップできることが分かりました。
問題は動かすためのハードウェアです。テスト機にいい端末はないかと周辺を見渡してみると、自席の後ろに転がっていた小型のデスクトップPCを発見。CPUはCore i3-7100T、初期メモリはわずか8GBという、ちょっと物足りないスペック。これではさすがに心もとなかったので、これまた机の上に落ちていた(?)8GBのメモリを勝手に増設し、合計16GBの環境を急造しました。
OSと必要なドライバーをクリーンインストールし、満を持してセットアップ。まずはネットワークを介さず、完全にローカル環境だけで完結する「プロンプト入りの自動化スクリプト」を作成し、テスト用のPDFを読み込ませて実行しました。
結果は…リネームが完了するまでに、なんと約5分。
その間、小型PCのファンはこれまでに聞いたことがないほどの爆音で回り続け、タスクマネージャーのCPU使用率は見事なまでに100%に張り付いたままでした。
たった1つのPDFを処理させるだけで、端末が文字通り命を削るような大負荷。やはり8年落ちの省電力オフィスPCに、生身のAIを背負わせるのにはこれが限界のようです。
現在のPower Automateの利用状況をログで見ていると、現場の職員たちはかなりの頻度でスキャナを利用しています。1件につき5分の待ち時間が発生してしまうので実運用には耐えられそうにないですね。
ローカルLLMを実用レベルで動かすには、強力なGPUや最新のハードウェア性能が絶対に不可欠であることは、知識としては分かっていました。
しかし、「理屈はともかく、自分の手でちょっとやってみたかった」というのが本音です。結果としては実用化見送りとなりましたが、自席のジャンクパーツからAIサーバーが立ち上がる瞬間を見られただけでも、面白い実験でした。

こんな環境で動くほど甘くはないですよね。
(投稿者:てんちょ)

これはこれで気に入っていたけど、使えなくなっては困りますからね。
ネジを使わない構造のレール。見るたびに毎回感心しています。