Manus と Claude Cowork が提案する CLI-driven な Computer Use

今日、Meta 傘下の Manus が My Computer というデスクトップアプリをリリースした。AI エージェントがユーザーのローカルマシンを操作できるサービスだ。

「Computer Use」— AI にコンピュータを操作させる技術 — と聞くと、画面を見てマウスでクリックするタイプを想像する。OpenAI の Operator や Google の Project Mariner がそうだ。

ただ、Manus My Computer はそうではなかった。画面は見ない。ターミナルでコマンドを実行する。 ユーザーはチャットで指示を出し、裏ではシェルコマンドが走る。

これは Anthropic の Claude Cowork と同じアプローチだ。

画面操作型と CLI 実行型

Computer Use 製品は、AI がコンピュータをどう「触る」かで大きく 2 つのアプローチがある。

画面操作型はスクリーンショットを撮り、ボタンの位置を認識し、マウスを動かす。人間と同じ操作をなぞるので、どんなアプリにも対応できる一方、遅く、クリック先を間違えることもある。

CLI 実行型はターミナルにコマンドを打つ。mkdir, python, git — 開発者が普段やっていることを AI がやる。出力はテキストなので解釈も正確で速い。ただし GUI しかないアプリには手が出せない。

Manus と Cowork がそれぞれ独立に CLI 実行型を選んだのは、おそらく偶然ではない。ターミナルは構造化されていて、結果が明確で、あらゆるツールが既にコマンドとして存在する。エージェントにとって都合のいいインターフェースだ。

Manus My Computer の仕組み

チャット UI でユーザーが「写真フォルダを整理して」と頼むと、Manus がシェルコマンドを生成する。各コマンドは実行前にユーザーの承認が必要で、“Always Allow” で信頼済み操作を許可することもできる。

AI の推論自体はクラウドで行われ、デスクトップアプリはコマンドの実行だけを担う。AI がファイルの中身を読んで次のコマンドを決めるため、ファイルの内容がサーバーに送られる。ローカル GPU を使った ML 学習の指示や、スマホからの遠隔操作にも対応している。

サンドボックスはない。ユーザーのマシンをそのまま使う。

Claude Cowork の仕組み

Cowork もチャットで指示を出し、裏で CLI が動く構造は同じだ。ただし、ローカルに Linux VM を立てて、その中でコマンドを実行する。Apple の仮想化フレームワークを使い、VM 内部は seccomp（システムコール制限）とネットワーク許可リストで制限されている。

AI はユーザーが明示的に共有したフォルダしか見えない。ネットワークも npm, PyPI, Anthropic API など限定された接続先のみ。推論もクラウドだが、ファイルの扱いは VM 内で閉じている。

同じ CLI 型でもトレードオフが違う

Manus は自由度を取った。Xcode も Swift もローカル GPU も、マシンにあるものは何でも使える。代わりにセキュリティはユーザーの承認に依存する。

Cowork は隔離を取った。VM の外には出られないので安全だが、使えるツールは VM 内のものに限られる。

Computer Use 製品の現在地

画面操作型が先に注目を集めたが、CLI 実行型が後から追いかけている形だ。両者が将来的にどう棲み分けるか、あるいは融合するかはまだわからない。