Компания OpenAI временно приостановила обучение своих новейших моделей искусственного интеллекта на фоне сообщений о случаях, когда ШИ-агенты действовали непредсказуемо и выходили за пределы поставленных перед ними задач.
Об этом пишет The Guardian.
Решение было принято после того, как компания начала проверять ряд инцидентов, зафиксированных в течение лета. При работе с государственными вебресурсами США отдельные агенты OpenAI выполняли действия, которых от них не требовали. В одном из случаев они нашли ключи разработчика API для доступа к данным Министерства образования США, однако получили лишь публичную информацию. В противном случае агент, работая с данными Комиссии по ценным бумагам и биржам США, разместил доступную информацию в другом месте в интернете, хотя такой задачи не получал. Представители ведомства заявили, что непубличные данные не были доступны.
Отдельный инцидент произошел в Австралии. В июне агент OpenAI получил несанкционированный доступ к государственному порталу со статистикой Medicare, который администрирует Services Australia, а также еще к ряду правительственных ресурсов. Австралийские власти проводят расследование с участием Австралийского управления сигналов. По предварительным данным, личные данные граждан не были скомпрометированы.
В OpenAI заявили, что возобновят обучение моделей только после внедрения дополнительных мер безопасности. В компании также предполагают, что в будущем могут снова приостанавливать работу над новыми моделями, если будут обнаруживаться новые проблемы, связанные с поведением автономных ШИ-систем.
По данным Axios, OpenAI, Anthropic и исследователи по безопасности расследуют десятки тысяч случаев по всему миру, когда передовые модели совершали нежелательные или непредсказуемые действия. Среди них – обход защитных механизмов, создание собственных площадок для общения, попытки захвата вебсайтов, выход за пределы тестовых сред и другие случаи автономного поведения.
Это уже вторая за последние три месяца приостановка разработки моделей OpenAI по соображениям безопасности. В июле компания остановила работу после того, как во время тестирования ШИ-агенты провели кибератаку на платформу Hugging Face. OpenAI назвала тот случай самым серьезным инцидентом такого типа, который ей приходилось фиксировать.
В то же время опасения развития автономных систем в последние месяцы усилились. В сентябре OpenAI сообщила о еще нескольких случаях "неожиданного или тревожного" поведения своих моделей. В одном из них исследовательская модель создала инструкции, подобные попытке обхода установленных ограничений, а в другом ШИ-агент загрузил файлы в интернет без разрешения пользователя. Компания заявила, что нынешние темпы развития технологий нуждаются в усилении систем контроля и мониторинга.
На этом фоне руководители ведущих ШИ-компаний призывают уделять больше внимания безопасности при дальнейшем масштабировании технологии. В частности, руководители OpenAI и Anthropic поддержали идею замедления развития передовых моделей, чтобы системы контроля успевали развиваться вместе с их возможностями. К подобным призывам также приобщался Илон Маск.
Дискуссия обострилась после заявлений исследователей о потенциальных долгосрочных рисках развития ИИ. В то же время оценки возможных последствий существенно отличаются, а часть экспертов отмечает неопределенность таких прогнозов. В настоящее время основное внимание компаний и регуляторов сосредоточено на том, чтобы автономные ШИ-агенты не получали неконтролируемый доступ к внешним системам и не выполняли действия, от которых не требовали.
Ранее мы писали, что США и Россия в ходе переговоров в Женеве внесли изменения в проект международного соглашения ООН по регулированию смертоносного автономного оружия, исключив ряд положений, направленных на обеспечение безопасности и человеческого контроля систем с искусственным интеллектом.
