AI対応システムはウェアラブルのカメラとマイクを介して、音声、テキスト、画像によるフィードバックを提供
ピンホイール・トルティーヤ（トルティーヤのロール）が何なのか、ましてその作り方を知っている人は少ないでしょう。ですが、SRIの研究者たちは、AIを使って、誰にでも、たとえ初心者でもトルティーヤを作れるように、材料を１つずつ、そして手順を追って作り方を説明してくれるシステムを開発しました。AMIGOS（目標指向型支援を目的とする自律的マルチモーダル摂取、Autonomous Multimodal Ingestion for Goal Oriented Support）と呼ばれるSRIのこのシステムは驚くべきものです。ピンホイール・トルティーヤを作るという作業は何の変哲もないものに思われるかもしれませんが、そこからは紛れもない未来のシステムを垣間見ることができます。
「ピンホイール・トルティーヤを作るのは、もううんざりです。私たちの目標は軍事用途に移行することであり、車両のメンテナンスや戦場での医療、さらにはヘリコプターの副操縦士の役割を果たすところまで視野に入れています」とSRIのロボット工学、知覚・支援アプリケーション、および機械学習のリサーチエンジニアで、AMIGOSプロジェクトに携わるBob Priceは述べています。
米国防高等研究計画局（DARPA）の支援を受けたAMIGOSは、DARPAが知覚タスクガイダンス（PTG: Perceptual Task Guidance）と名付けた分野の最先端のシステムであり、ウェアラブルのカメラとマイクの機能を大きく進化させています。AIは、これらのデバイスを装着した人が見聞きすることを同じように見聞きし、マイクの音声を介した口頭フィードバック、また装着した人の目の前にあるレンズに投影される語句や画像を介したフィードバックを提供します。この間、ユーザーは両手がふさがっていないので自由にタスクを実行することができます。
AMIGOSにしっかりと教えこむ
SRIの協調・会話システム担当のアソシエイトディレクターであり、AMIGOSの主任研究員であるCharles Ortizは次のように述べています。「AMIGOSは、作業中のあなたの肩越しに作業を観察し、正しく実行する手助けをするとともに、必要に応じて誤りを見つけ、それを修正するアシスタントだと思ってください。人が行う作業のアシスタントは、ユーザーが行っていることを見て、それを理解し、追跡できなければならず、そのやり方と、次に行うべきことについて有効な指示を正確に出せなければなりません」
AMIGOSは、技術マニュアルやチェックリスト、イラスト、トレーニングビデオ、その他の情報源を確認して、さまざまな作業の標準操作手順やパーツ、マニュアル操作を学習します。「単純な料理のレシピですら非常に難しいのに、目の前のタスクが複雑で重要であればあるほど、その難しさがさらに増すことはお分かりでしょう」とPriceは言います。
「人が行う作業のアシスタントは、ユーザーが行っていることを見て、それを理解して追跡できなければならず、そのやり方と、次に行うべきことについて有効な指示を正確に出せなければなりません」- Charles Ortiz
AMIGOSが将来担うであろう作業には、戦場での医療など大きなリスクを伴うものがあるかもしれません。また、一見シンプルで害が少ないように見える作業でも、取り返しのつかない結果となることがあるかもしれません。たった1本のネジが失われただけで、何百万ドルもする戦闘機が離陸できないかもしれません。そして、ユーザー側の課題もあります。すべての人が同じやり方をするわけではありません。右利きのユーザーもいれば、左利きのユーザーもいます。すべての人が同程度の器用さや経験、専門知識を持っているわけではありません。新しい器具の使い方を覚えたり、不慣れなパーツを扱ったりしなければならないかもしれません。料理のように、１つの工程を見守りながら別のことをするというマルチタスクを求められることもあります。
AMIGOSはそれらすべてを予測し、適応しなければならないのです。
「巨人の肩の上」で
DARPAのPTGコンペティションでは、概念実証の計画課題として料理のアシスタントが提示されていました。そして、AMIGOSがSRIの回答でした。AMIGOSは目の前に並べられたさまざまな食材を見て認識することができ、手元にどのような調理器具や計量カップ・スプーンがあるかが分かっています。ボウルや皿とフライパンを見分けられるし、シェフの手をみて、つかむ、注ぐ、かき混ぜる、広げるなど、さまざまな動作や動きを「読み取る」こともできます。
その間、ヘッドピースを装着したシェフは、レンズの内側に表示される文字や画像で追加情報を見ることができます。これは拡張現実として知られているものです。そして最も注目すべきは、ユーザーが途中で質問できることです。「生地をかき混ぜました。次は？」と聞けば、「ナイフを使って薄くのばしてください」とAMIGOSが適切な答えを返してくれます。
トルティーヤを料理するときの微妙なニュアンスについてAMIGOSを訓練することは簡単ではなかったのですが、PriceとOrtizはAMIGOSの注意を日々の料理スキルではなく、非常に専門的な知識を必要とするガスエンジンなど、物理的な装置のメンテナンスや修理に向けさせようとしています。
「AMIGOSは有望なプロトタイプですが、もっと使いやすく、さらに精緻なものにするには時間が必要です。これを装着した人は、慣れない環境やストレスの多い環境、あるいは難しい環境の職についても、より多方面で熟練の域に達し、自身のスキルを高めることができるでしょう。AMIGOSは非常にユニークなAI技術なのです」とOrtizは述べています。
本文章は、米国防高等研究計画局（DARPA）の支援を受けた研究（契約番号HR001122C0009）に基づいています。本文章で表明された意見、研究成果、結論、または提言はすべて著者のものであり、必ずしも米国防高等研究計画局（DARPA）の見解を反映するものではありません。
