Oxford, Stanford, and Sakana AI launch CUSP, finding frontier models fail to forecast scientific breakthroughs
The benchmark tests models on 4,760 historical scientific events.
#18hardmaru@HARDMARUForecasting Scientific Progress with Artificial Intelligence
Turns out AI is just as bad at forecasting biology and physics breakthroughs as we are. To be fair, most breakthroughs cannot be predicted. Science is more like an evolutionary search process. Though ironically, LLMs are pretty good at predicting its own AI benchmarks…
Sakana AI@SakanaAILabs科学の進歩は、どこまでAIで予測できるか？ 最先端のAIにより未来の科学的成果を予測する能力を検証する論文が、オックスフォード大学、スタンフォード大学、@Allen_AI などの研究者との共著で発表されました。Sakana AIのリサーチサイエンティスト山田祐太朗が共同著者として参加しています。 https://arxiv.org/abs/2605.22681 https://seanwu25.github.io/CUSP-Science/ 本研究では、AIの科学予測能力を評価するベンチマーク「CUSP」を提案し、4,760件の科学イベントを用いて検証を行いました。その結果、現在の最先端モデルは有望な研究方向を見分けることはできる一方で、それが実現するか、いつ実現するかの予測は難しいことが分かりました。また、これらの限界は学習データの量だけでは説明できないことも示されています。 この結果から改めて分かるのは、科学は依然としてオープンエンドな営みであり、最先端のAIをもってしても、その発展の方向性を予測することは難しいということです。AIは科学の進歩を予言する存在ではなく、人間と共にその探索を進める協働者として最も力を発揮するでしょう。 さまざまなAIと人間の創造性が組み合わさることで、科学はこれからも予想できない方向に展開していくはずです。Sakana AIも、山田が開発者として携わってきたAI Scientistをはじめ、科学の発展に資するAI開発に努めていきます。