
Geminiが「頼めば実行する」段階へ:電話・支払い代行とMacの操作代行が登場
GoogleがGeminiを「答えるAI」から「作業を片付けるAI」へと広げる動きを見せた。11月17日に、電話をかける、請求書を分析する、買い物を進めるといったタスクの遂行機能を公開し、19日にはMac版アプリで、パソコンの画面操作そのものを任せられる機能を発表した。いずれも、ユーザーが目的を伝えれば、複数の手順をGeminiが順にこなす点が共通している。
17日の発表では、この更新は新モデル「Gemini 4 Hydrogen」を使い、米国、日本、韓国、カナダ、オーストラリア、インドで無料展開される。国内メディアも日本で使えると伝えている。使い方は、Geminiのホーム画面にあるトグルをChatからTaskに切り替え、やってほしいことを伝えるだけだ。米国ではこれに加えて、Android・iOSからのテキストメッセージや、[email protected]へのメール転送でも依頼できる。高度な機能も米国から先に提供される。
Googleが示した例は具体的だ。担当者は車の整備予約のため、近くのディーラー2店にGeminiから同時に電話をかけさせ、空き時間をカレンダーと照らして予約を入れてもらったという。電話の相手には最初にAIであることが伝えられ、事業者側は拒否もできる。支払い情報や非公開のアカウント情報は、ユーザーが許可しない限り渡さないとされる。
ほかにも、Googleパスワードマネージャーとの連携で公共料金サイトにアクセスさせ、メール内の過去の請求書を分析して電気代が高かった原因を探る使い方が紹介された。USB-C充電器の購入では、ショッピング用データベースで製品を比較し、Google Payで決済、割引コードも見つけたという。決済にはAgent Payments Protocol(AP2)を使い、Mastercard、Visaと協力し、American Expressも近く対応予定だ。支出の上限を先に決められ、カードのポイントや購入保護も受けられる。レシートや配送情報はGoogle Walletに集まり、Walletは同日からiOSにも広がる。食料品の追加依頼はRCS経由でInstacartに引き継がれ、学校からのメールは日程としてカレンダーに登録される。現在Geminiは60以上のアプリとつながっている。
任せる範囲が広がれば安全性が問われる。Googleによれば、タスクはGoogle Cloudの仕組みで、アカウントごとに専用のハードウェア分離型仮想マシン上で動き、他のユーザーとは共有されない。プロンプトインジェクション(Webページなどに仕込まれた悪意ある指示)を検出するフィルターや、Google セーフ ブラウジングによるリンク制限も重ねている。購入ボタンを押す前には確認や事前承認を求め、信頼できる定型作業は「常に許可」にもできる。一方でGoogle自身、ミスをなくせてはいないと認め、サイト側がまだ対応途上のため、最後のクリックだけユーザーに戻す場合があるとしている。
19日のMac版は、同じ発想をパソコン上に持ち込んだものだ。Geminiはクリックや入力、メニュー操作、フォーム入力を代行し、作業は隔離された背景ウィンドウで進む。チャット内のライブプレビューで様子を見られ、メイン画面やカーソルは空いたままなので、ユーザーは別の作業を続けられる。操作を許可するアプリはユーザーが選び、いつでも一時停止でき、重要な操作は実行前に承認する。
想定用途として、デザインソフトでの写真の一括色調整、3Dシーンの設定、ローカルPDFから重量や寸法、住所を抜き出して配送見積もりのフォームに入力すること、複数地域のダッシュボードから指標とスクリーンショットを集めてGoogleスライドの資料にまとめること、フォルダ内の衣類写真を分析して相場を調べ、フリマ系サービスの出品を下書きすることが挙げられた。ただしMacの機能は現時点で米国の英語環境向けの提供で、gemini.google/macからアプリを入手する形になる。
二つの発表は、メールやカレンダー、決済手段、手元のファイル、Webサイトという別々の領域で、Geminiが実際に手を動かせるようになったことを示している。日本ではまず無料のタスク機能が使える一方、メール転送などの追加手段やMacの画面操作は、現時点では米国中心の提供だ。
出典:https://blog.google/innovation-and-ai/products/gemini-app/tasks-in-gemini-free-new-features / https://blog.google/innovation-and-ai/products/gemini-app/computer-use-mac / https://www.watch.impress.co.jp/docs/news/2157422.html