「生成AIチェッカー」には誤検出と過信という問題があり、アカハラ・パワハラの温床になる危険があります。株式会社ユーザーローカルの「生成AIチェッカー」を公開中止に追い込みましょう！

株式会社ユーザーローカルは2024年1月12日、「生成AIチェッカー」の公開を開始しました。これは、ある文章が生成AIで作成されたものであるかどうかを判定するソフトウェアです。

しかし、「生成AIチェッカー」にはさまざまな問題が予想されます。詳細は後述しますが、第1に、精度が高くない、すなわち、誤判定の危険が小さくないことです。第2に、「生成AIチェッカー」を使う人が、その結果を過信する危険があります。第3に、これは英語圏での研究ですが、ノンネイティブが書いた文章は生成AIによるものと判定されやすいという問題があります。

これらの問題の影響を受けやすいのは、レポートや論文を書く学生や研究者、エントリーシートを書く就活生、それに、さまざまな文章をなりわいとするライターやジャーナリストです。あなたの文章を「生成AIチェッカー」が誤って生成AIによるものだと判定し、さらに、「生成AIチェッカー」の使用者がその結果を過信した場合、あなたが学生であれば単位を認定されない、研究者であれば論文を受理されない、就活生であれば就職ができない、ライターやジャーナリストであれば連載を終了させられるなどの不利益が考えられます。

ここで、前述の「生成AIチェッカー」の問題点について、詳しく説明します。

第1に、精度が高くない、すなわち、誤判定の危険が小さくないことです。株式会社ユーザーローカルは「生成AIチェッカー」の精度を公表していません。過去の例では、OpenAIが開発した「AI classifier」というツールは、精度が十分ではないとして公開が中止されました。(https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text)

第2に、「生成AIチェッカー」を使う人が、その結果を過信する危険があります。過去の例では、編集者が「生成AIチェッカー」と同様のソフトウェアを用いて、生成AIを使用したと判定されたライターをクビにしたところ、実際にはそれは「冤罪」であり、ソフトウェアの誤りであったことが判明しました。(https://authory.com/blog/how-ai-detectors-are-destroying-livelihoods)

第3に、これは英語圏での研究ですが、ノンネイティブが書いた文章は生成AIによるものと判定されやすいという問題があります (https://arxiv.org/abs/2304.02819)。「生成AIチェッカー」は日本語を対象としていますが、同様の偏りがある可能性があります。

そこで、株式会社ユーザーローカルには、「生成AIチェッカー」の公開の中止を求めます。

株式会社ユーザーローカルの「生成AIチェッカー」は、多くのメディアで肯定的に取り上げられており、また、無料で公開されていることから、多くの利用者を獲得することが予想されます。その場合には、前述のような問題が顕在化し、誤判定と過信によって、多くの人 (特に学生、研究者、就活生、ライター、ジャーナリスト) の社会的地位が危うくなることが危惧されます。

一方で、株式会社ユーザーローカルは「生成AIチェッカー」を無料で公開しており、もし公開を中止したとしても、その経済的な損失はわずかであると考えられます。

株式会社ユーザーローカルが「生成AIチェッカー」の公開を中止する決断ができるよう、みなさまのお力添えをお願いいたします。