人工知能は、大量のデータやアルゴリズムによる分析を必要とする行政機関での利用が増えており、時には人間が犠牲になることもあります。ルーシーの話を例に...。 Télérama社の同僚に目撃されたLucieは、彼女が「借金ロボット」と呼ぶものの標的となった。彼女は、自分の収入が正しく申告されていると確信しているにもかかわらず、家族手当事務所（CAF）から500ユーロ以上の過払い金を請求するメールを受け取りました。彼女は何度も電話をかけ、あるソフトウェアが彼女の状況を分析したことを知った。さらに、CAFの「リスクスコア」が0.4点であることも判明しました。6ヶ月経った今でも、彼女は誰に連絡すればいいのかわからないとTéléramaは書いています。

データマイニングの台頭

ソフトウェアはこのように、受信者ごとに異なる膨大なデータを用いて、この「リスクスコア」を算出することで受信者のリスクを判断し、それが高ければ自動的に手続きを開始することができます。 これらのデータは、市民権を得ている要素、消費習慣など様々です。すべてがクロスリファレンスされ、分析され、約1300万世帯が対象となります。 これはデータマイニングと呼ばれ、さまざまなソースからのデータを大量に利用することです。CAFでは数年前から使用していますが、だんだんと普及してきており、すべての行政機関が参加しています。例えば、税務署です。2021年の税金詐欺に関する報告書によると、2020年に実施されたチェックの3分の1は、人工知能が原因だったという。前年に比べて5分の1になりました。 この数字は年々着実に増加しており、これは意図的なものです。このアルゴリズムは、CFVR（Targeting of Fraud and Query Valuation）と呼ばれるもので、フランスの3,700万世帯の情報を含むファイルを利用しています。 原則として、行政によるこれらの個人データの使用は、Commission Nationale Informatique et Liberté（Cnil）の監督を受けなければならず、各ファイルの作成および使用は、まず同委員会の承認を得なければならないとされている。残念ながら、委員会はすべてをコントロールできるほどの規模ではありません。

巨大な差別的可能性

また、他の安全装置もあります。個人情報とその保護というと、自動的にRGPD（欧州データ保護規則）を思い浮かべます。ヨーロッパのすべてのインターネットユーザーは、この問題に対処しなければならず、例えば、すべてのウェブサイトでは、自分のコンピュータにクッキーをインストールしてほしいかどうかをクリックして選択することが体系的に義務付けられています。GDPRの適用範囲は明らかにそれよりもはるかに広く、ルーシーの話を取り上げれば、完全に自動化された意思決定は明示的に禁止されています。問題は、彼女が自分の問題を説明するために人間と話すことができなかったことだ。 ですから、私たちは本当にグレーゾーンにいます。このことは、欧州が2021年4月に人工知能の利用に関する規制案を発表したことで、より明らかになりました。それは、中国式の社会的統制や、悪人と善人を選別する評価システムを望んでいないことを明確に示しています。しかし一方で、特に社会的給付の配分という文脈で、行政によるこのようなAIの利用があります。数日前、ヒューマン・ライツ・ウォッチがこの問題に関する長いレポートを発表しましたが、そこに示されているのは、個人データに基づくこれらの自動化されたリスクスコアは、非常に大きな差別的可能性を秘めているということです。完全に絨毯の上に流されてしまうリスク。   https://www.rfi.fr/fr/france/20211124-comment-l-intelligence-artificielle-investit-l-administration-française