臨床試験の論文にわざと誤りを書き込み、AIに探させた研究が出ました。AIは表と本文の数字の食い違いのような誤りを、人間の査読者よりよく見つけました。ただ、誤りを入れていない原稿にも、AIは「結論が結果に支えられていない」という指摘をたくさん付けていました。
つまり、AIの指摘は誤り探しには役に立ちますが、全部に従ってよいものではありません。なお、この研究はまだ査読を受けていない段階の論文で、人間との比較も2008年の過去の査読を使ったものです。
私自身にも思い当たることがあります。10月30日、京都大学の大学院の授業で、医学系の大学院生200人以上に、論文を投稿する前の最終チェックをAIにさせる話をしました。AIに原稿を読ませると、統計解析がおかしい、この結論は言い過ぎだ、という指摘がとても多く返ってきます。今回の研究では、その「言い過ぎ」の指摘が、誤りを入れていない原稿にも多く付いていました。
この続き (完全版) は note で無料公開しています。
