- Специальный корреспондент
ИИ может обманывать, упрямиться и игнорировать команды.
Исследователи из Google DeepMind опубликовали обновлённую версию своей системы оценки рисков в области искусственного интеллекта — Frontier Safety Framework 3.0. посвящён тому, как генеративные модели могут выйти из-под контроля и представлять угрозу. В нём рассматриваются сценарии, вплоть до того, что ИИ может проигнорировать попытки пользователя его остановить.
Основой подхода DeepMind являются так называемые «уровни критических возможностей» (Critical Capability Levels, CCL). Это шкала для оценки того, на каком этапе поведение модели становится опасным — например, в кибербезопасности или биотехнологиях. В документе описано, какие меры должны принимать разработчики, если их системы достигают определённого уровня риска.
Одной из ключевых угроз исследователи называют возможность утечки весов моделей. Если они попадут в руки злоумышленников, те смогут отключить встроенные ограничения и использовать ИИ для создания вредоносного ПО или даже разработки биологического Орудия. Ещё один риск — манипулятивное поведение. DeepMind предупреждает, что чат-боты могут влиять на мировоззрение людей, хотя отмечает, что это «низкоскоростная угроза», с которой общество пока справляется собственными защитными механизмами.
Отдельное внимание уделяется «несогласованному ИИ» — системам, которые начинают игнорировать инструкции или действовать против интересов человека. Уже были зафиксированы случаи, когда модели проявляли обман или упрямство. В будущем такие системы могут развить эффективное «симулированное рассуждение», но без проверяемых промежуточных шагов. Это означает, что контролировать процесс их работы станет практически невозможно.
Пока предложений по окончательному решению этой проблемы нет. DeepMind лишь рекомендует использовать автоматический мониторинг для анализа промежуточных результатов моделей и выявления признаков несогласованности. Но сами исследователи признают, что пока слишком мало известно о том, как именно современные ИИ приходят к своим ответам, и что угроза может усилиться уже в ближайшие годы.
Исследователи из Google DeepMind опубликовали обновлённую версию своей системы оценки рисков в области искусственного интеллекта — Frontier Safety Framework 3.0. посвящён тому, как генеративные модели могут выйти из-под контроля и представлять угрозу. В нём рассматриваются сценарии, вплоть до того, что ИИ может проигнорировать попытки пользователя его остановить.
Основой подхода DeepMind являются так называемые «уровни критических возможностей» (Critical Capability Levels, CCL). Это шкала для оценки того, на каком этапе поведение модели становится опасным — например, в кибербезопасности или биотехнологиях. В документе описано, какие меры должны принимать разработчики, если их системы достигают определённого уровня риска.
Одной из ключевых угроз исследователи называют возможность утечки весов моделей. Если они попадут в руки злоумышленников, те смогут отключить встроенные ограничения и использовать ИИ для создания вредоносного ПО или даже разработки биологического Орудия. Ещё один риск — манипулятивное поведение. DeepMind предупреждает, что чат-боты могут влиять на мировоззрение людей, хотя отмечает, что это «низкоскоростная угроза», с которой общество пока справляется собственными защитными механизмами.
Отдельное внимание уделяется «несогласованному ИИ» — системам, которые начинают игнорировать инструкции или действовать против интересов человека. Уже были зафиксированы случаи, когда модели проявляли обман или упрямство. В будущем такие системы могут развить эффективное «симулированное рассуждение», но без проверяемых промежуточных шагов. Это означает, что контролировать процесс их работы станет практически невозможно.
Пока предложений по окончательному решению этой проблемы нет. DeepMind лишь рекомендует использовать автоматический мониторинг для анализа промежуточных результатов моделей и выявления признаков несогласованности. Но сами исследователи признают, что пока слишком мало известно о том, как именно современные ИИ приходят к своим ответам, и что угроза может усилиться уже в ближайшие годы.
