Рецензенты присвоили высокий рейтинг статье, созданной ИИ.
Компания Sakana AI рассказала о новом достижении в области искусственного интеллекта. Её система AI Scientist-v2 смогла создать научную статью, которая успешно прошла процедуру рецензирования на семинаре международной конференции по машинному обучению ICLR 2025.
Как проходил эксперимент
AI Scientist-v2 полностью автономно выполнила весь процесс создания научной работы:
- сформулировала научную гипотезу;
- разработала код для проведения экспериментов;
- провела анализ данных;
- подготовила текст статьи к подаче.
Из трёх представленных системой работ одна получила средний рейтинг 6,33 балла, что превысило установленную на семинаре оценку, необходимую для принятия публикации.
Изображение: Sakana AI
Изображение: Sakana AI
Изображение: Sakana AI
Изображение: Sakana AI
Объективность и этические аспекты
Чтобы обеспечить объективность, рецензентам не сообщали, какие из работ были созданы искусственным интеллектом. Однако, несмотря на успешное прохождение рецензирования, статья была отозвана до официальной публикации в соответствии с протоколом эксперимента. Это связано с тем, что научное сообщество ещё не разработало чёткие стандарты обработки материалов, созданных ИИ.
Проблемы и вызовы
В ходе внутреннего анализа команда Sakana AI обнаружила ряд недостатков.
- Ошибки в цитировании: неправильное указание авторов и года публикации.
- Ограничения языковых моделей при интерпретации сложных научных данных.
Эти недостатки подчёркивают необходимость дальнейших исследований и разработки стандартов для научных работ, созданных ИИ.
Значение для будущего науки
Представители Sakana AI заявили, что их эксперимент открывает новые горизонты для использования ИИ в науке. Они надеются, что их работа послужит основой для разработки этических стандартов и методов оценки качества исследований, созданных ИИ.