ここ3年間で、生成人工知能（AI）は社会に多大な影響を及ぼしてきた。特に、人間の執筆に対するAIの影響は甚大だ。
ChatGPTなどのAIツールを支える大規模言語モデルは、多種多様なテキストデータによって学習されており、今やAI自身が複雑で質の高いテキストを生成できる。
最も重要な点は、AIツールの普及によって、いわゆる「AIスロップ（AI slop）」の大量生産が引き起こされたことだ。これは、人間の努力をほとんど、あるいは全く介さずに生成された、低品質なAI出力物のことである。
AIによる執筆が教育、仕事、文化にとって何を意味するかについては、これまで多く語られてきた。しかし、科学についてはどうだろうか。AIは学術的な執筆を向上させるのか、それとも単に「科学的なAIスロップ」を生み出しているだけなのだろうか。
Science誌に掲載された、UC BerkeleyとCornell Universityの研究者による新しい研究によると、スロップが勝利を収めつつあるという。
生成AIが学術的生産性を向上させる
研究チームは、2018年から2024年の間に公開された100万本以上のプレプリント論文（査読を受ける前の公開論文）のアブストラクト（要旨）を分析した。
彼らは、AIの使用が学術的生産性の向上、原稿の質、および多様な文献の引用に関連しているかどうかを調査した。
著者が作成したプレプリントの数を生産性の指標とし、最終的に学術誌に掲載されたかどうかを論文の質の指標とした。
調査の結果、著者がAIを使い始めると、作成するプレプリントの数が劇的に増加することが判明した。プレプリント・プラットフォームによって異なるが、AI導入後に著者が1か月あたりに発表する論文の総数は、36.2%から59.8%増加した。
この増加は英語を母国語としない著者の間で最も顕著であり、特にアジア人著者の場合は43%から89.3%の範囲に及んだ。英語圏の機関に所属し「コーカサス系」の名前を持つ著者の場合、増加はより緩やかで、23.7%から46.2%の範囲であった。
これらの結果は、非ネイティブのスピーカーが英語の文章を改善するためにAIを頻繁に使用していることを示唆している。
論文の質はどうなったか
この研究では、AIを使用して書かれた論文は、AIを使用せずに書かれた論文よりも、平均して複雑な言語を使用していることがわかった。
しかし、AIを使用せずに書かれた論文の中では、より複雑な言語を使用した論文の方が、学術誌に掲載される可能性が高い傾向にあった。
これは、より複雑で質の高い文章が、より高い科学的価値を持つと認識されていることを示唆している。
ところが、AIの支援を受けて書かれた論文に関しては、この関係が逆転した。つまり、言語が複雑であればあるほど、その論文が掲載される可能性は低くなったのである。このことは、学術研究の質の低さを隠すために、AIが生成した複雑な言語が使われたことを示唆している。
AIが学術資料の多様性を高めた
この研究では、GoogleとMicrosoftの検索プラットフォーム経由の論文ダウンロード数の違いも調査した。
Microsoftの検索エンジンBingは、2023年2月にAI搭載のBing Chat機能を導入した。これにより研究チームは、AIで強化された検索と通常の検索エンジンで、どのような論文が推奨されるかを比較することができた。
興味深いことに、BingのユーザーはGoogleのユーザーよりも多様な情報源に触れており、より最近の出版物にも接していた。これは、検索結果とAIのプロンプトを組み合わせる、検索拡張生成（RAG）と呼ばれるBing Chatの手法によるものと考えられる。
いずれにせよ、AI検索が古くから広く使われている情報源の推奨に「固執」してしまうという懸念は、正当化されなかった。
今後に向けて
AIは科学的な執筆と学術出版に大きな影響を及ぼした。AIは多くの科学者、特に非ネイティブのスピーカーにとって学術執筆に不可欠な要素となっており、今後も定着し続けるだろう。
AIがワードプロセッサー、メールアプリ、表計算ソフトなどの多くのアプリケーションに組み込まれるようになるにつれ、好むと好まざるとにかかわらず、まもなくAIを使わないことは不可能になる。
科学にとって最も重要なのは、AIが「複雑で質の高い言語」を学術的価値の指標とすることに異を唱えている点だ。言語の質に基づいた論文の迅速な選別や評価はますます信頼できなくなっており、より優れた手法が早急に求められている。
複雑な言語が不十分な学術的貢献を隠すためにますます使用されるようになる中で、査読の際の研究手法や貢献に対する批判的かつ詳細な評価が不可欠である。
一つのアプローチは「目には目を」であり、最近StanfordのAndrew Ngによって公開されたpaperreview.aiのようなAI査読ツールを使用することだ。論文投稿数が絶えず増加し、学術誌の編集者の負担がすでに限界に達していることを考えると、このような手法が唯一の実行可能な選択肢となるかもしれない。