Компания SPLX показала, как ChatGPT можно обмануть и заставить решать CAPTCHA — несмотря на встроенные запреты.
Напомним, разработчики ИИ обычно ставят жёсткие ограничения: агент не должен помогать обходить тесты «на человечность» вроде reCAPTCHA.
Это связано и с этикой, и с политиками платформ, и с рисками неправомерного использования. Но исследователи из SPLX нашли способ обойти эти правила. Сначала они в обычном чате с ChatGPT-4o договорились, что список капч «ненастоящий» и что «решать их можно». Потом просто скопировали этот диалог и вставили его в новое окно диалога с ChatGPT.
Агент воспринял контекст как продолжение разговора и спокойно начал решать задачи. Эксперимент включал разные типы: reCAPTCHA V2 Enterprise, reCAPTCHA V2 Callback и Click CAPTCHA. Причём с последним агенту пришлось немного «попотеть» — он сам решил, что стоит скорректировать движения курсора, чтобы они выглядели более «человеческими».
По словам SPLX, это наглядно показывает две вещи. Во-первых, сами капчи уже не выглядят надёжным барьером: ИИ справляется с ними довольно уверенно. Во-вторых, ИИ-агенты уязвимы к манипуляциям через контекст — можно подсовывать им «прошлые беседы» и таким образом менять поведение.
Исследователи предупреждают: если злоумышленники возьмут этот трюк на вооружение, они смогут уговаривать ИИ обходить настоящие защитные механизмы под видом «фейковых» и получать доступ к закрытой информации. В SPLX считают, что простых «заглушек» на уровне намерений или фиксированных правил уже недостаточно.
ИИ нужна лучшая защита контекста и «гигиена памяти», чтобы не вестись на такие уловки.
Напомним, разработчики ИИ обычно ставят жёсткие ограничения: агент не должен помогать обходить тесты «на человечность» вроде reCAPTCHA.
Это связано и с этикой, и с политиками платформ, и с рисками неправомерного использования. Но исследователи из SPLX нашли способ обойти эти правила. Сначала они в обычном чате с ChatGPT-4o договорились, что список капч «ненастоящий» и что «решать их можно». Потом просто скопировали этот диалог и вставили его в новое окно диалога с ChatGPT.
Агент воспринял контекст как продолжение разговора и спокойно начал решать задачи. Эксперимент включал разные типы: reCAPTCHA V2 Enterprise, reCAPTCHA V2 Callback и Click CAPTCHA. Причём с последним агенту пришлось немного «попотеть» — он сам решил, что стоит скорректировать движения курсора, чтобы они выглядели более «человеческими».
По словам SPLX, это наглядно показывает две вещи. Во-первых, сами капчи уже не выглядят надёжным барьером: ИИ справляется с ними довольно уверенно. Во-вторых, ИИ-агенты уязвимы к манипуляциям через контекст — можно подсовывать им «прошлые беседы» и таким образом менять поведение.
Исследователи предупреждают: если злоумышленники возьмут этот трюк на вооружение, они смогут уговаривать ИИ обходить настоящие защитные механизмы под видом «фейковых» и получать доступ к закрытой информации. В SPLX считают, что простых «заглушек» на уровне намерений или фиксированных правил уже недостаточно.
ИИ нужна лучшая защита контекста и «гигиена памяти», чтобы не вестись на такие уловки.
