Компанія OpenAI тимчасово призупинила навчання своїх найновіших моделей штучного інтелекту на тлі повідомлень про випадки, коли ШІ-агенти діяли непередбачувано та виходили за межі поставлених перед ними завдань.
Про це пише The Guardian.
Рішення ухвалили після того, як компанія почала перевіряти низку інцидентів, зафіксованих упродовж літа. Під час роботи з державними вебресурсами США окремі агенти OpenAI виконували дії, яких від них не вимагали. В одному з випадків вони знайшли ключі розробника API для доступу до даних Міністерства освіти США, однак зрештою отримали лише публічну інформацію. В іншому випадку агент, працюючи з даними Комісії з цінних паперів і бірж США, розмістив доступну інформацію в іншому місці в інтернеті, хоча такого завдання не отримував. Представники відомства заявили, що непублічні дані не були доступні.
Окремий інцидент стався в Австралії. У червні агент OpenAI отримав несанкціонований доступ до державного порталу зі статистикою Medicare, який адмініструє Services Australia, а також до ще кількох урядових ресурсів. Австралійська влада проводить розслідування за участю Австралійського управління сигналів. За попередніми даними, особисті дані громадян не були скомпрометовані.
В OpenAI заявили, що відновлять навчання моделей лише після впровадження додаткових заходів безпеки. У компанії також припускають, що в майбутньому можуть знову призупиняти роботу над новими моделями, якщо виявлятимуть нові проблеми, пов’язані з поведінкою автономних ШІ-систем.
За даними Axios, OpenAI, Anthropic та дослідники з безпеки розслідують десятки тисяч випадків у всьому світі, коли передові моделі здійснювали небажані або непередбачувані дії. Серед них — обхід захисних механізмів, створення власних майданчиків для спілкування, спроби захоплення вебсайтів, вихід за межі тестових середовищ та інші випадки автономної поведінки.
Це вже друге за останні три місяці призупинення розробки моделей OpenAI з міркувань безпеки. У липні компанія зупинила роботу після того, як під час тестування ШІ-агенти здійснили кібератаку на платформу Hugging Face. OpenAI назвала той випадок найсерйознішим інцидентом такого типу, який їй доводилося фіксувати.
Водночас побоювання щодо розвитку автономних систем останніми місяцями посилилися. У вересні OpenAI повідомила про ще кілька випадків "неочікуваної або тривожної" поведінки своїх моделей. В одному з них дослідницька модель створила інструкції, схожі на спробу обходу встановлених обмежень, а в іншому ШІ-агент завантажив файли в інтернет без дозволу користувача. Компанія заявила, що нинішні темпи розвитку технологій потребують посилення систем контролю та моніторингу.
На цьому тлі керівники провідних ШІ-компаній закликають приділяти більше уваги безпеці під час подальшого масштабування технології. Зокрема, керівники OpenAI та Anthropic підтримали ідею уповільнення розвитку передових моделей, щоб системи контролю встигали розвиватися разом із їхніми можливостями. До таких закликів також долучався Ілон Маск.
Дискусія загострилася після заяв дослідників про потенційні довгострокові ризики розвитку ШІ. Водночас оцінки можливих наслідків суттєво відрізняються, а частина експертів наголошує на невизначеності таких прогнозів. Наразі основна увага компаній та регуляторів зосереджена на тому, щоб автономні ШІ-агенти не отримували неконтрольований доступ до зовнішніх систем і не виконували дії, яких від них не вимагали.
Раніше ми писали, що США та Росія під час переговорів у Женеві внесли зміни до проєкту міжнародної угоди ООН щодо регулювання смертоносної автономної зброї, вилучивши низку положень, спрямованих на забезпечення безпеки та людського контролю за системами зі штучним інтелектом.
