自動化への過信

信頼が実際の能力を超えると、人はどう動くか。横にシステムの実際の能力、縦に人の信頼をとった図。能力は変わらないまま信頼だけが上がり、信頼と能力が合う線を超えると、超えた分が過信になり、人は出力を確かめずに従うようになる。概念図で、数値ではありません。John D. Lee と Katrina A. See（Human Factors、2004年）の、信頼と実際の能力が合っているかを見る考え方を図にしたものです。

当たる答えが続いたあとで、在庫の数を聞いたら。横にAIが在庫の数を知っている程度、縦にAIの答えへの信頼をとった図。AIは在庫の実数を見ていないので程度は低いまま、当たる答えが続いて信頼だけが上がり、合う線を超えた分が過信になって、在庫の答えも確かめずに使う。仕事の場面に置きかえた例えの概念図です。特定の会社や実際の出来事ではなく、数値もありません。

煙と警報の中で、道を間違えたロボットに従うか。横にロボットの案内の確かさ、縦にロボットへの信頼をとった図。非常時を再現しない模擬の研究では間違えたロボットは信頼されなかったが、煙と警報の中では、確かさが低いままのロボットへの信頼が合う線を超え、参加者は非常口の表示よりロボットの指す方へ進んだ。Paul Robinette ほか「Overtrust of Robots in Emergency Evacuation Scenarios」（HRI、2016年）の結果の向きを、Georgia Tech の発表をもとに示した概念図です。数値ではありません。