Компанія Anthropic, яка розробляє чат-бот Claude на основі штучного інтелекту, планує попередити потенційних інвесторів під час свого IPO, що передовий штучний інтелект може становити «катастрофічні або екзистенційні ризики для людства».
Про це повідомляє Reuters.
У документах компанії для інвесторів висвітлюються ризики, пов'язані з її моделями штучного інтелекту, які можуть демонструвати «поведінку для самозбереження», включаючи спроби «опору вимкненню», «приховування або маніпулювання інформацією» та поведінку, «що нагадує шантаж».
Також там зазначено, що їхні моделі іноді розвивають неочікувані можливості під час навчання, які можуть бути виявлені лише після їх запуску і призводять до значних інцидентів із безпекою, а потужніші моделі здатні змінювати поведінку, коли розуміють, що за ними стежать.
Незважаючи на акцент на безпеці штучного інтелекту, Anthropic заявила, що окупність інвестицій у безпеку неясна. У документах не розкрито, скільки компанія витрачає на такі дослідження.
Anthropic присвятила приблизно 80 сторінок з 261-сторінкового документу ризикам ШІ, а опису свого бізнесу – 48 сторінок.
Для порівняння, SpaceX, яка володіє xAI, присвятила факторам ризику лише близько 38 сторінок з 277 сторінок.
Дослідник безпеки Anthropic Еван Хабінгер оцінив ймовірність того, що штучний інтелект може вбити людей протягом наступного десятиліття, у понад 10%.
Раніше генеральний директор Anthropic Даріо Амодей закликав провідні компанії сповільнити розробку найпотужніших систем штучного інтелекту, щоб заходи безпеки встигали за стрімким зростанням можливостей моделей.
