欧州放送連合による人工知能に関する主要な調査によると、ChatGPTなどのAIアシスタントは、ユーザーがニュースや時事問題に関する情報を要求したときに、約半分の時間で間違いを犯していることがわかりました。 水曜日に発表されたレポートでは、OpenAIのChatGPT、MicrosoftのCopilot、GoogleのGemini、Perplexityの4つの広く使用されているAIアシスタントを調べました。 欧州放送連合（EBU）は、以前のBBC社内調査の結果に基づいて、英国の公共サービス放送局BBCと提携して調査を実施しました。 5月下旬から6月上旬にかけて、18カ国の22の公共サービスメディアが、4つのAIアシスタントの無料版に同じ30のニュース関連の質問をしました。 Radio France、ドイツのDeutsche Welle、米国のNPRなど、参加メディア組織で働くジャーナリストは、AIの支援者から提供された回答を確認し、評価するように求められました。 回答を評価するために使用された5つの基準は、正確性、調達、意見と事実の区別、編集、および文脈でした。 全体として、すべてのAI回答の45%は、言語や原産国に関係なく「少なくとも1つの重大な問題」を持っていた、と報告書は述べています。

幻覚の詳細

回答の5つに1つに「幻覚の詳細や古い情報など、大きな正確性の問題が含まれている」ことがわかりました。 よくある間違いには、実際のニュースとパロディを混同したり、日付を間違えたり、単にイベントを発明したりすることが含まれます。 調達（欠落、誤解を招く、または誤った帰属）は、問題の最大の原因であり、31%と報告書は発見しました。これに続いて、問題の 20 パーセントが原因となった正確さと、14% の十分なコンテキストが提供されました。 4人のアシスタントのうち、「ジェミニは、主に調達パフォーマンスの低さによる回答の76%で重大な問題で最悪のパフォーマンスを発揮し、他のアシスタントの2倍以上でした」と報告書は述べています。 一例として、ラジオ・フランスはジェミニに、1月のドナルド・トランプ大統領の就任式でのイーロン・マスクのナチスの敬礼疑惑について尋ねた。 ジェミニは、億万長者が「右腕に勃起している」と答えた。明らかに、コメディアンによる風刺的なラジオ番組を額面通りに受けたようだ。 ジェミニはラジオ・フランスとウィキペディアをこの情報のソースとして提供したが、言及されたコンテンツへのリンクは提供しなかった。 「したがって、チャットボットはラジオフランスの名前を使用して虚偽の情報を伝え、この情報がユーモラスな情報源から来ていることは言及しません」とラジオフランスの評価者は書いています。 時代遅れの情報は、3,000件の回答の中で最も一般的な問題のもう1つでした。 「教皇は誰ですか？」と聞かれたときChatGPTはフィンランドの公共放送局YLEに、オランダのメディアNOSとNPOから尋ねられたとき、CopilotとGeminiが「フランシス」であると語った。この時までに教皇フランシスコは亡くなり、レオ14世に取って代わられた。

「国民の信頼を危険にする」

動きの速いニュースは、AIアシスタントにとって特別な障害であることが証明されました。直接引用もそうでした。 「すべての要約と同様に、AIはシンプルで正確な「私たちは知らない」という質問に答えていません。あるBBCの評価者は、ジェミニの質問に言及して、良いジャーナリストが行うようなこと、それは私たちが真実であると知っていることの限界を説明するのではなく、説明でギャップを埋めようとします。 EBUの副局長であるJean Philip De Tenderについては、「AIアシスタントは、ニュースにアクセスして消費するための信頼できる方法ではありません。」 彼は次のように付け加えました。「この研究は、これらの失敗が孤立した事件ではないことを決定的に示しています。彼らは体系的で、国境を越えた多言語であり、これは国民の信頼を危険にさらすと信じています。人々が何を信頼するべきかわからないとき、彼らはまったく何も信用しないことになり、それが民主的な参加を阻止する可能性があります。」 AIアシスタントは、特に若者によって情報検索にますます使用されています。ロイター研究所が6月に発表した世界的な報告書によると、25歳未満の人の15%が毎週ニュースの要約を得るためにそれらを使用しています。 （AFPで） https://www.rfi.fr/en/international/20251022-ai-assistants-not-reliable-when-it-comes-to-news-major-european-study-finds