誰に対して、失敗するのか

全体平均では、見えない差がある

AI研究者でAlgorithmic Justice League創設者のJoy Buolamwini氏は、AIシステムは予期せぬ形で失敗することがあるため、 継続的に確認し続ける必要があると指摘しています。

彼女が行ったGender Shades研究では、商用の顔分析システムを属性別に検証すると、 明るい肌の男性ではほぼ誤りがない一方、暗い肌の女性では最悪の場合3割を超える失敗が確認されました。 全体平均だけを見ていては気づけない差が、集団を分けて評価することで初めて表面化したのです。

野球のAIも、平均値だけでは選手を守れない

これは野球でAIを使う場面でも同じことが言えます。投手と野手、右投げと左投げ、 高校生と社会人、故障歴のある選手とない選手、測定回数の多い選手と少ない選手で、予測の精度は本当に同じでしょうか。

球数や疲労から故障リスクを算出するモデルが、もし復帰直後の投手だけを外し続けているとしたら、 全体の的中率がどれだけ高くても、現場では危険な状態です。

全体の正解率が高いことと、
誰も見落とさないことは、別の話。

確かめる順番

この順番で確かめることで、AIの答えを「評価」としてそのまま受け取るのではなく、 「対話の材料」として扱うことができます。AIリテラシーとは、使い方の上手さだけでなく、 モデルがどの集団を見落としやすいかを疑い続ける姿勢のことでもあります。