Бывший сотрудник OpenAI Дэвид Робинсон, работавший над вопросами безопасности искусственного интеллекта, раскритиковал подход компании к разработке новых моделей. По его мнению, стремление как можно скорее выпускать новые системы создает дополнительные риски, поскольку меры безопасности не всегда соответствуют темпам развития технологий.
Об этом сообщает Reuters.
В статье под названием "Я уволился с OpenAI, потому что ее культура не работает", опубликованной в субботу в журнале The Atlantic, Робинсон подчеркнул, что компании, создающие искусственный интеллект, в частности OpenAI, должны действовать гораздо осторожнее. Он считает, что перед запуском более мощных моделей необходимо уделять больше внимания исследованиям, оценке рисков и разработке надежных механизмов защиты.
"Время проб и ошибок прошло", - написал Робинсон. По его словам, обеспечение безопасности передовых систем ИИ должно основываться на подходах, подобных тем, которые используются в авиации и атомной энергетике, где ошибки могут иметь серьезные последствия.
Бывший работник также обратил внимание на стратегию OpenAI, известную как "итеративное развертывание". Она предусматривает постепенный выпуск технологий с последующим усовершенствованием защитных механизмов по мере выявления проблем. Робинсон считает, что такой подход не обеспечивает должного уровня осторожности в условиях стремительного развития возможностей искусственного интеллекта.
Его критика стала частью более широкой дискуссии в области о том, не слишком ли быстро разработчики продвигаются к созданию более мощных моделей. OpenAI и ее конкурент Anthropic оказались под усиленным вниманием после инцидентов, связанных с недостатками защитных механизмов или неожиданным поведением экспериментальных систем.
По словам Робинсона, он проработал в OpenAI три с половиной года. За это время он принял участие в разработке концепции готовности компании к потенциальным рискам и координировал подготовку отчетов по безопасности перед запуском 12 передовых моделей.
"Поскольку компания мчится от одного запуска к другому, ей не удается достичь того уровня осторожности, который, по моему мнению, необходим", — подытожил он.
Агенты искусственного интеллекта дважды пытались получить доступ к ресурсам Библиотеки и архива Канады (Library and Archives Canada). Обе попытки, по данным исследовательской компании Transluce, оказались безуспешными. Признаков компрометации правительственных систем Канады пока не выявлено.
