Sakana AI、研究開発プロセスそのものを自動化する「AIサイエンティスト」を開発

Sakana AIは、LLMを活用し、研究開発プロセスそのものを自動化する技術「AIサイエンティスト」を開発した。

「AIサイエンティスト」は、「アイデア創出」「実験の実行と結果の要約」「論文の執筆及びピアレビュー」といった科学研究のサイクルを自動的に遂行するAIシステムだ。

最初の実証実験として、「AIサイエンティスト」は、LLMを活用して機械学習の研究に取り組んだ。下記画像は、実際に「AIサイエンティスト」が生成した機械学習研究論文の例だ。言語モデル、拡散モデル、Grokkingといった機械学習の研究分野における様々な論文を生成した。

Sakana AI、研究開発プロセスそのものを自動化する「AIサイエンティスト」を開発 — 「AIサイエンティスト」が実際に作成した論文の例

特筆すべき点は、最初の準備以外、一切人間の介入なしで、このシステムが機械学習研究の全ライフサイクルを自律的に実行できるということだ。研究アイデアの発案、実験の設計・実施、結果の収集と分析までを自動で行い、その結果をもとに研究論文を執筆する。

さらに、論文執筆を担当するLLMとは別に、査読者役のLLMが生成された原稿を批評し、フィードバックを提供して研究を改善するほか、次のサイクルでさらに発展させるべき有望なアイデアの選定も行う。

コストに関しては、各アイデアが実装され、論文となる過程で1本あたり約15ドル（2300円）であった。

Sakana AIは、「AIサイエンティストが実際に作成した論文の例は、最も関連性の高い実験だけでなく、実施したすべての実験を共有していることや、成功した理由の解釈が若干間違っていることなどの欠点はあるものの、この論文は興味深い新しい方向性を提案し、良い実験結果を示している。このアイデアの有望性は、AIサイエンティスト自身が実験を行い、査読を行うことが実証されている。」としている。

なお、「AIサイエンティスト」は、オックスフォード大学とブリティッシュ・コロンビア大学との共同研究により「The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery」という論文にまとめて公開されており、ソースコードもオープンソース化しているとのことだ。