「AIのブラックボックス」で何が起こっているのか
今回のブログでは、SRIインターナショナルのコンピュータービジョンラボラトリ（Computer Vision Laboratory）のテクニカルディレクターであるYi Yao博士と彼女の取り組みについてご紹介します。Yao博士とそのチームは、人工知能（AI）とコンピュータービジョンに関する幅広い課題に取り組んでいますが、その中には「説明可能なAI（Explainable AI）」の開発も含まれています。
「SRIに入社した当初は、プロジェクトのライフサイクルとその範囲に大いに感銘を受けました。基礎研究から始まり、展開可能な製品を提供するまでに至る、このイノベーションのライフサイクル全体を通して手掛けるアプローチは素晴らしいものです。」とYaoは述べています。Yaoとそのチームは、アルゴリズムのモデル学習方法の最適化やデータポイズニング攻撃からの保護に重点を置いています。
コーダーから未来のAI開発の舞台へ
Yaoが入社して最初の５年間は、AIと機械学習（ML）アルゴリズムを実装するコアソフトウェアの作成に深く関わっていました。AIに関する技術的な知識と豊富な実務経験によってテクニカルマネージャーに昇進し、助成金（グラント）を獲得できたことから、当時所属していたSRIインターナショナルのコンピュータービジョン部門の自らのグループの研究課題を設定することができました。
「最初のプロジェクトだった『HUNTERプロジェクト』では、アルゴリズムの実装とユーザーインターフェースの開発を担当しました。これはエンド・ツー・エンドのシステムで、私はそのシステムのほぼ全段階に関わっていました。」とYaoは述べています。
Yao博士は、自身の長年の経験と多くのプロジェクトのライフサイクル全体を通して関わることで、自身の知識と専門性を深めてきました。現在もディープラーニング（DL）を含む機械学習（ML）に深く関わっています。「数年前までは、顔認識などのタスクでDLは人間より優れたパフォーマンスを発揮するとして、人々はその能力をもてはやしていました。ですが、今はDLやMLモデルが下す判断の妥当性を疑い始めています。AIの『ブラックボックス』と呼ばれる効果（エフェクト）は、MLやDLモデルから得らえるアウトプットが予測不可能であることを意味します。開発者はAIのアウトプットを過信しすぎることがあります。99％の確率で間違った答えになることもあります。」とYaoは述べています。
Yi Yaoとそのチームは、「AIのブラックボックス」で何が起こっているのかを理解することに取り組んでいます。
決断に次ぐ、決断
Yaoとそのチームが注力している仕事は、AIを確実に理解し、その精度、信頼性、予測インサイト（predictive insight）を向上させることに役立ちます。彼女によると、変数をわずかに変えるだけで現在のAIアルゴリズムから得られるものとは大きく異なる結果になることがあるので、チームはその理由を突き止めようとしているとのことです。「自信を持ってディープモデルを展開し、堅牢なAI対応技術を生み出すには、ディープラーニングの仕組みとトレーニングの仕組みを真に理解する必要があるのです。」とYaoは説明しています。
まるでマシンの中に人間がいるように
Yao博士のもう１つの研究分野は、AIアルゴリズムの学習やニューラルネットワークの推論に人間の知識を統合することです。「人間は物理学に基づいた解析モデルを大量に蓄積しているため、結果として閉形式（closed-form）のソリューションになってしまいます。しかし、私たちには現象を説明するための数学的モデルがあります。問題は、これを使ってディープニューラルネットワークをいかに訓練するかなのです。」とYaoは述べています。
Yao博士は新境地を探求することが大好きですし、SRIはイノベーションを起こすことが大好きです。この相思相愛な関係にて、Yao博士とそのチームはAIを活用した技術を探求して発展させています。Yao博士は、「これは新しいフロンティア（新境地）ですが、私たちのチームはこの分野に非常に強いと思っています。また、SRIがこれまで政府支援プログラムの下で開発したテクノロジーも活用することができます。これまでと同様に、研究を商業的なチャンスに繋げるように取り組んでいます。」と述べています。
Yi Yao博士がSRIにて手掛けるプロジェクト
Yao博士がこれまでに携わった、あるいは現在携わっているプロジェクトには、次のようなものがあります。
• Few-Shot学習におけるプロトタイプ適応を用いたハイブリッド一貫性トレーニング(Hybrid Consistency Training with Prototype Adaptation for Few-Shot Learning)：データが少ない（低データの）領域に対する深層学習の解決の探求。Yao博士と共著者が深層学習におけるデータギャップを埋めるための新しいアルゴリズムを開発。
• 共変量シフト下におけるドメイン汎化のための信頼性校正(Confidence Calibration for Domain Generalization under Covariate Shift)：モデル校正がドメイン汎化のための信頼性校正の課題に、モデル校正がいかに対応できるかについての研究。
• 注意指向の反実仮想編集によるユーザーのメンタルモデルの改善(Improving Users’ Mental Model with Attention-directed Counterfactual Edits)：ディープニューラルネットワークを用いたAIシステムにおけるエンドユーザーのメンタルモデルを改善するための効果的なアプローチの必要性を探る。
• トロイの木馬検出におけるトポロジカルプライヤー（Topological Prior）を用いたトリガーハンティング (Trigger Hunting with a Topological Prior for Trojan Detection：トロイの木馬に感染した学習モデルのデータによって影響を受けたアルゴリズムを特定するという課題に対応。
イノベーションの実現に向けて
Yao博士は、SRIで活躍するクリエイティブな思想家です。当時は、プロジェクトの課題があまりにも複雑であることに驚いたと言います。しかし、時が経って自らの専門性が高まるにつれ、困難な課題もそうでなくなっていきました。「SRIで仕事を続けていくうちに、手掛けている仕事が非常に難しいものであっても、その敷居が高くなるにつれて驚かなくなりました。そして、今ではプロジェクトの課題の中に非常に難しいものがあっても、めったに驚くことはありません。SRIは私に空を飛べるような翼を与えてくれて、私の創造性を現実の課題に応用できるようにしてくれました。」と述べています。
