【実用化困難】10億円かけて開発の”虐待判定AI”、判定ミス6割で今年度の導入断念こども家庭庁

読売新聞によると…

虐待が疑われる子どもの一時保護を巡り、人工知能（ＡＩ）にその必要性を判定させるシステムについて、こども家庭庁が導入見送りを決めたことがわかった。国が２０２１年度から約１０億円をかけて開発を進め、最終的な判断を下す児童相談所の職員を補助する役割が期待されていたが、テスト段階で判定ミスが６割に上った。ＡＩは虐待の判断にはなじまず、実用化は困難と結論付けた。

同庁によると、システムは慢性的な人手不足に悩む全国の児相での利用を想定し、搭載したＡＩに約５０００件の虐待記録を学習させた。傷の有無や部位、保護者の態度など９１項目に情報を入力すると、虐待の可能性が０～１００の点数で表示される。

　試作モデルがほぼ完成し、今年度に計１０自治体の児相に協力してもらい、過去の虐待事例１００件のリスクを判定させる検証を行った。精度を各児相の幹部が確認したところ、１００件中６２件で「著しく低い」などの疑義が生じたという。

　ある事例では、子どもが「母に半殺し以上のことをされた」と証言。「服をつかまれて床に頭をたたきつけられた」と訴えていたにもかかわらず、点数は「２～３」だった。あざなどがなかったためとみられる。

　同庁は今年度の導入を目指していたが、「児相に提供するのは時期尚早」として開発を保留して見送りを決定。ＡＩの発展状況を見ながら、再開するかどうかも含め検討するという。

　開発が頓挫した理由について、複数の専門家は、事例ごとに態様が異なる虐待をＡＩが高精度で判定することの難しさを指摘する。ＡＩの学習には膨大な量の記録が必要だが、今回の約５０００件では少なかったとも分析している。

　同庁関係者は「子どもの体重減少といった重要な項目が抜け落ちていた」と説明。また、９１項目には該当の有無を入力するだけで、ケガがあった場合でもその程度や範囲まで記入する仕組みにはなっておらず、精度が低くなったとしている。

　国立情報学研究所の佐藤一郎教授は「ＡＩは何でもできる『魔法の杖つえ』ではない。開発前に実現可能性を吟味し、綿密に制度設計しなければうまくいかない。ＡＩの活用は官公庁でも進むとみられるが、今回の失敗を他省庁や自治体とも共有し、今後に生かす必要がある」と指摘する。

　◆ 一時保護 ＝児童福祉法に基づき、虐待などが疑われる１８歳未満の子どもについて、児童相談所の判断で家庭から引き離す措置。期間は原則２か月以内で、２０２２年度の虐待による一時保護件数は２万９８６０件。こども家庭庁によると、同年度に全国の児相が虐待の相談を受けて対応した件数は、過去最多の２１万４８４３件だった。

［全文は引用元へ…］

以下,Ｘより

【ライブドアニュースさんの投稿】

【実用化困難】10億円かけて開発の"虐待判定AI"、判定ミス6割で今年度の導入断念こども家庭庁https://t.co/Cx4EjKIA6l

約5000件の虐待記録を学習させ、傷の有無など91項目を入力すると虐待の可能性が0～100の点数で表示される。テスト段階で判定ミスが6割に上り、開発を保留して見送りを決定した。 pic.twitter.com/VvkEX5p6aU
— ライブドアニュース (@livedoornews) March 3, 2025

虐待判定を機械に笑笑笑笑
あり得ないぐらいのバカさ加減。
— miyanomorichannel🇯🇵 (@MiyanomoriC) March 3, 2025

そもそも虐待かどうかの判定を機械がやるって、可能なのか？
人相手の仕事ほど、その経験値によるものが大きいと思う。
面談時の親や子のちょっとした表情、仕草、生活の様子から総合的に判断するんでしょ？
それなら、その費用で専門職員を育成して増やした方が良かったのでは…
— neko-neko@インドネシア送出機関 (@kuroneko090824) March 4, 2025

民間なら許されない事を
平気でやるからね
— HEADROCK (@ROCKSTEADY_6969) March 3, 2025

やっぱり使えないこども家庭庁
— s (@s6053845445104) March 4, 2025

こどもまんなかこども家庭庁
子供の回りは金と利権に群がる汚い大人ばかり
— 木偶のボイジャー【木端微塵子】 (@technoboyager) March 3, 2025

5000件とかケースが多様なものに対して学習データが少なすぎるんじゃないかな？
— ねこめ (@nekomelon) March 3, 2025

引用元　https://www.yomiuri.co.jp/national/20250302-OYT1T50076/

みんなのコメント

10億円もかけてこの結果とは、税金の使い方をもっと慎重に考えるべきではないか。開発前にもっと現場の意見を取り入れていたら、無駄な費用を抑えられたはずだ。
AIが万能ではないのはわかっていたはずなのに、虐待のように複雑な問題に適用しようとしたのは無謀だったのではないか。慎重に制度設計を行うべきだった。
児童相談所の人手不足は深刻だが、AIがうまく機能しないなら、まずは職員の増員や研修強化を優先するべきではないか。現場の負担軽減のための実効性ある施策を考えてほしい。
虐待の判定は単純なデータだけで決められるものではない。人間の経験や判断が必要な分野に、未熟なAIを導入するのは問題がある。
最終的に使えなかったとはいえ、今後の行政AI開発の教訓にはなるだろう。ただ、次回はもっと慎重に設計を進めてほしい。
AIに頼るのではなく、虐待対応の専門職を増やし、判断力を高める方向に予算を使うべきではないか。現場の負担を減らすための根本的な解決策が必要だ。
虐待を見極めるには、多くの情報や専門知識が必要だ。AIがそれを適切に判断できるとは思えない。やはり人間の判断が重要になる。
子どもを守るための施策が必要なのは当然だが、効果のないものに大金をかけるのは問題だ。もっと実用的な対策に予算を回してほしい。
虐待を数値化して判断すること自体に無理があったのではないか。家庭環境や精神的な要因など、機械では測れない要素が多すぎる。
AIを導入する前に、既存の児童相談所の運営体制を見直すことが先だったのではないか。根本的な改革なしに新技術を導入してもうまくいかない。

このAIの失敗から学ぶべきことは多いが、やはり虐待問題は人間が判断しなければならない分野だということが改めて証明された。
税金を使って開発するなら、現場のニーズをもっと反映させるべきだ。最初から使えないシステムに10億円もかけるのは、あまりにもずさんだ。
AIを活用するのはいいが、精度が低すぎては意味がない。人間が適切に活用できるような補助的な仕組みを考えるべきだった。
児童相談所の業務が厳しくなっているのは事実だが、その解決策がAIというのは短絡的だったのではないか。専門職の育成やサポートを強化するべきだろう。
虐待問題を本気で解決する気があるなら、職員の負担軽減や現場での判断能力向上に投資すべきだった。AI導入が目的になってしまっていたのではないか。
失敗を踏まえて、今後どのような支援策を進めるのかが重要になる。単に「AIがダメだった」で終わらせるのではなく、根本的な解決策を考えてほしい。
一時保護の判断は慎重に行うべきだが、AIに任せるという発想がそもそも間違いだったのではないか。人間が適切に判断できる体制を整えるべきだ。
AI技術の活用自体は否定しないが、今回のようなケースには向いていなかった。別の分野での活用方法を模索するべきではないか。
児童相談所の業務をサポートする仕組みは必要だが、それがAIである必要はない。専門職の負担軽減につながるような、もっと現実的な方法を考えるべきだ。
10億円かけても結果が出なかったということは、それだけ虐待判定が難しいということだ。AIではなく、より専門的な知識を持つ人材の育成に力を入れるべきではないか。

コメントをする

japannewsnavi編集部Aの見解

10億円の”虐待判定AI”、なぜ導入が見送られたのか

こども家庭庁が開発を進めていた「虐待判定AI」の導入が見送られることになった。2021年度から約10億円を投じて開発され、全国の児童相談所（児相）での活用が期待されていたが、実験段階で判定ミスが6割に及び、実用化が困難と判断された。

AIの活用は官公庁でも積極的に進められているが、今回の失敗はその難しさを改めて浮き彫りにしたと言える。特に、虐待の判断という極めて繊細な問題に対し、AIが適切に対応できるかどうかが大きな課題となった。

虐待判定AIの仕組みとその問題点

このAIは、全国の児童相談所の慢性的な人手不足を補うために開発された。虐待の可能性を数値化し、職員が最終判断を下す際の参考にするという仕組みだった。具体的には、過去の約5000件の虐待記録を学習し、傷の有無や保護者の態度など91項目を入力すると、虐待リスクが0～100の点数で表示される。

しかし、テスト運用の結果、100件中62件で「著しく低い」などの疑義が生じた。中には、子どもが「母に半殺し以上のことをされた」と証言し、「服をつかまれて床に頭をたたきつけられた」と訴えたにもかかわらず、AIの判定はわずか2～3点だったという。この結果を見ると、AIが虐待を適切に判断できていないことが明らかである。

この精度の低さにはいくつかの原因があると考えられる。

データ量の不足
　AIが正確な判断を行うには、より多くの事例を学習する必要がある。5000件ではデータとして不十分だった可能性が高い。
情報入力の限界
　91項目の情報を入力しても、ケガの程度や範囲を詳細に記入する仕組みがなく、AIが判断する上での情報が不足していた。
虐待の多様性
　虐待には身体的虐待だけでなく、心理的虐待やネグレクト（育児放棄）などさまざまな形がある。それらを一律の基準で評価すること自体が難しい。
AIの判断基準のズレ
　AIはあざや外傷など「目に見える証拠」に頼りやすいが、虐待の本質はそれだけではない。精神的虐待など、数値化しにくい要素を適切に判断できないのは致命的な欠陥だった。

このような問題が解決できない限り、AIを児相の業務に組み込むことは難しい。

10億円の税金が無駄になったのか？

今回のAI開発にかかった費用は約10億円。これほどの資金を投入したにもかかわらず、導入が見送られることになった。これについて「税金の無駄遣いではないか」と批判する声も多い。確かに、結果としてAIは使えなかったが、この取り組みが完全に無意味だったとは言い切れない。

AIの活用は今後も進むとみられ、今回の失敗から得られた教訓を他の行政機関が活かすことができれば、無駄にはならない。ただし、問題なのは、開発前にこうした課題を十分に検討しなかったことだ。国立情報学研究所の佐藤一郎教授も「AIは何でもできる『魔法の杖』ではない。開発前に実現可能性を吟味し、綿密に制度設計しなければうまくいかない」と指摘している。

今後、官公庁がAIを導入する際には、十分な試験運用を行い、実際に現場で使えるものかどうかを慎重に見極める必要がある。