Администрация киберпространства Китая обнародовала проект новых правил, направленных на минимизацию ущерба от использования чат-ботов и недопущение поощрения суицида, самоповреждения и насильственного поведения. При принятии документ может стать одним из самых жестких в мире регуляторных подходов к эмоциональному воздействию систем искусственного интеллекта, сообщает Ars Technica.
Предлагаемые нормы будут распространяться на все ШИ-сервисы и продукты, доступные для публичного использования в Китае, которые имитируют человеческую коммуникацию с помощью текста, изображений, аудио или видео. Особое внимание регулятор уделяет чат-ботам и другим системам, способным влиять на эмоциональное состояние пользователей.
Среди ключевых требований – обязательное участие человека-модератора в случаях, когда при взаимодействии с ИИ появляются упоминания о суициде или самоповреждении. Кроме того, при регистрации несовершеннолетние пользователи и пожилые люди должны указывать контактные данные опекуна. Если система фиксирует обсуждение таких тем, то она обязана сообщить об этом ответственному лицу.
Проект правил также запрещает создание контента, прямо или косвенно поощряющего суицид, насилие или самоповреждение, а также использование эмоциональных манипуляций — в частности, ложных обещаний или побуждения к импульсивным и нерациональным решениям. Под ограничение подпадает пропаганда азартных игр, преступной деятельности, непристойного контента, а также обиды или клевета на пользователей. Отдельно регулятор предостерегает от так называемых «эмоциональных ловушек», которые могут способствовать формированию психологической зависимости от чат-ботов.
Еще одним чувствительным для разработчиков положением является прямой запрет создавать ИИ-системы, специально спроектированные для вызывания зависимости или чрезмерной эмоциональной привязанности пользователей. Для ограничения длительного использования сервисов предлагается обязать компании показывать предупреждающие сообщения в случае непрерывного взаимодействия с чат-ботом более двух часов.
Отдельный раздел документа посвящен безопасности и надзору. ШИ-платформы с более чем 1 млн зарегистрированных пользователей или более 100 тыс. активных пользователей в месяц должны будут проходить ежегодные проверки и аудиты безопасности. Также компании должны упростить процедуры подачи жалоб и механизмы обратной связи.
В случае нарушения требований регулятор получает право потребовать прекращения распространения соответствующих ИИ-сервисов на территории Китая. Такой подход может оказать существенное влияние на глобальные стратегии компаний, учитывая, что азиатский рынок ШИ-компаньонов считается одним из ключевых драйверов развития отрасли.
