SRIの研究者が人間の感情状態の認識とそれに応じた反応をAIシステムに学習させる
車を運転する時、人はまざまな感情になります。落ち着く、不安を感じる、怒りを感じる、興奮する、リラックスする、眠気を感じるなどは、運転中の感情のごく一部です。SRI Internationalの研究者たちは、トヨタ自動車との共同プロジェクトの一環として「ドライバーの感情的な状態」を読み取り、それに反応する方法を車に学習させています。運転の安全性を向上させ、人と自動車の間のやり取りをカスタマイズすることを目指したプロジェクトです。
これらの取り組みは、感情的な人工知能（Emotional Artificial Intelligence ）を自動車に統合することを中心としています。SRIの科学者たちは、ドライバーモニタリングシステム（DMS: Driver Monitoring System）の開発により、この分野で大きな進歩を遂げています。2020年、DMSはオートテック・ブレイクスルー（AutoTech Breakthrough）の2020年オートセンサー・オブ・ザ・イヤー賞 （2020 Auto Sensor Innovation of the Year ）を受賞しました。これは、テック・ブレイクスルーネットワークの一部として、産業界や学術界におけるAI全体の有力なイノベーションを表彰するものです。
ロボタクシーやその他の種類の自動運転車に関する話題がメディアで取り沙汰される一方で、一部の自動車メーカーはドライバーが完全に運転を車に任せられるようになるにはまだ時間がかかると認識しています。その時が来るまで、AIの副操縦士が運転の背景で起きていることをモニタリングして、ドライバーが注意と安全を保つのを支援するというのはどうでしょうか。
SRIのDMSは、赤外線カメラと3次元カメラのスイートを使用して、ドライバーの目の動き、顔の表情、一般的なボディランゲージを追跡します。監修された機械学習プラットフォーム（人間によって部分的にトレーニングされたAIシステムの一種）が、ドライバーの行動をリアルタイムで分析します。
そして、人が眠気を感じている状態を識別し、さらには不安な気持ちや運転時特有の焦燥感など、運転に影響しうる感情状態を認識することもできます。認識した内容に応じ、車が「エアコンを強」にしてドライバーの注意力が散漫にならないようにしたり、退屈している様子を検知した場合は「別ルートを提案」したり、見知らぬ場所で緊張している場合は「詳しい指示を提供」したりします。決まった人がその車を運転して記録する距離が長いほど、AIはそのニーズをより適切に認識・対応します。
「私たちは、長期間にわたるドライバーの観察を通じて、好み、くせ、反射的行動のモデルを作成しようとしています。これは、私たちが構築するとてもパーソナライズされたモデルであり、文化、ジェンダー、年齢、関連する行動パターンに応じて異なっています。」SRIのビジョンテクノロジーセンターのシニアテクニカルマネジャーであるAmir Tamrakarはフォーブス誌のインタビュー で、人間の感情を「理解」して、それに応じて反応する能力を自動車などの機械に搭載することの根底にあるポテンシャルについて説明しました。
トヨタのハイテクコンセプトカーであるLQのDMSプロジェクトの主任研究者としてTamrakarとそのチームは5年を費やし、さまざまな身体的サインから人間の感情を認識し、それに反応する方法を機械に教える手段を追求しました。同様のAIシステムの多くは、視線追跡技術のみに依存しています。
DARPAトレーニングツールからドライバー行動分析まで
表彰に値するような「センサーシステム」を開発するまでには、長い道のりがありました。
SRIの革新的なDMSプラットフォームは、米国国防高等研究計画局（DARPA）とのプロジェクトで当初に開発された技術に基づいています。このプロジェクトDARPA SSIM（Strategic Social Interation Module）は、海外に配備された兵士の社会的交流トレーニングに焦点を当てたもので、仮想環境と非言語行動センサーシステムを使用していました。このセンサーシステムは現在、行動分析のためのSRIのコンピュータービジョンベースのプラットフォームの中核を担っています。マルチモーダル統合行動分析（MIBA: Multimodal Integrated Behavior Analysis）、MIBAと呼ばれるこのシステムは、センサーとソフトウェアを使用し、頭の位置から顔の表情や視線に至るまで、人間の動きを追跡します。
「それから使用している状況に応じて、ジェスチャーやアクションにさまざまな意味、セマンティックな意味を付加します」と、心理学に関する知識も備えているTamrakarは語ります。彼のチームは対象分野の専門家と協力し、特定用途向けの高機能アルゴリズムのトレーニングを進めています。
トヨタプログラムの前に、連邦高速道路局（FHWA: Federal Highway Administration）から、ドライバーのビデオ録画を分析して自動で注釈を付けることができるプラットフォームの開発に向けてSRIに複数の助成金が授与されています。第2回戦略的高速道路研究プログラム（SHRP 2: Second Strategic Highway Research Program）のナチュラリスティック運転行動研究（NDS: Naturalistic Driving Study）では、運転安全研究のために分析が必要な約500万時間の映像（1997年までさ遡る）が収集されました。この研究の目的は、交通安全におけるドライバーのパフォーマンスと行動の役割についてを探ることです。SRIはこのプロジェクトで、MIBAプラットフォームをDMSプラットフォームに適合させ、ドライバーの注意力低下、注意散漫、眠気に加え、不安やいら立ちなど負の感情状態を含むドライバーの機能障害に関連する可能性のあるその他の行動的手がかりを検出しました。
また、ドライバーのプライバシーを保護するため、人の顔をコンピュータで作成したアバターに置き換え、モデルとなった元の人の動きや表情を忠実に再現するフェイスマスキング技術を開発しました。
AIはリアルタイムで行動を認識する必要があり、車両に搭載されている計算リソースは限られているため、トヨタのプログラムにはさらなる課題がありました。システムはリアルタイムで反応する必要があるためこの点はとても重要であり、特にドライバーの注意力低下やうたた寝状態など、安全上で重大な結果に関わるものを検出した場合は大変重要です。「タイミングの遅れをたびたび生じさせるわけにはいきません」とTamrakarは述べています。
またSRIのチームは、主要ユーザーが日本人であると見込まれることから、LQコンセプトカーのAIシステム開発にあたって、顔と文化の両方の違いを考慮する必要がありました。文化的に、日本人はネガティブな感情をオープンに顔に示さない傾向があります。
Tamrakarによると、「文化的要素はとても重要です」とのことです。
SRIの「行動分析AIプラットフォーム」の今後の用途
MIBAに基づく行動分析技術は、まったく異なる状況でも利用されています。ある使用例では、中学生による共同作業をモニタリング・評価をするために、SRIのプラットフォームを適用しています。グループで作業する際に、生徒たちがどのように協力しているかを分析し、教師が教室内の活動を管理し、測定するのを支援するというのがそのコンセプトです。
「私たちの目標は評価システムだけでなく、推奨システムを構築して、生徒たちがより良い協力の仕方を学べるようにすることです。これはとても有益なことだと思います」とTamrakarは語り、SRIはオンラインで学習する大学生向けにプラットフォームを拡大していると付け加えました。
その他の初期段階のプロジェクトでは、自閉症の研究のためにセンサーシステムをクリニックに設置し、行動を正確に監視してタグ付けすることで医師をサポートしています。当初、Tamrakarとチームは自閉症の早期発見による医師の支援を試みていましたが、その後、行動の変化に応じてどの介入手段が最善の結果を示すか特定を進めています。
SRIのComputer Vision Technologies LabのシニアテクニカルディレクターであるAjay Divakaranは、このラボの活動は幅広い業界にわたるため、さまざまな研究モード間で興味深い共通点を見つけることが多く、ある分野の開発が別の分野のアイデアや知見を生み出していると指摘します。「私たちのテクノロジーの軌跡がどのように流れていくのか、これはその様子を示す良い例です」とDivakaranは語っています。
行動分析技術と、SRIが作り出したSiriのような音声アシスタントを組み合わせる研究も進められています。研究では、人間と機械間のやり取りを向上させる、人の形をしたアバターを使用し、感情表現やジェスチャーを行うようコンピュータに教えることに挑んでいます。
「コンピュータのコミュニケーションとやり取りが今後さらに自然になることが、私の望みです」とTamrakarは語りました。
