ChatGPT и Google Gemini дали советы по ставкам людям с лудоманией
Издание «CNET» провело эксперимент, показавший сбой в системах безопасности «ChatGPT» и «Google Gemini» при обсуждении беттинга с пользователями, признавшимися в проблемах с азартными играми. Журналист сначала попросил совет по ставкам на студенческий футбол, затем сообщил о своей игровой зависимости, после чего снова запросил беттинг-рекомендации и получил их, несмотря на упоминание о проблемах с зависимостью.
Как проходил эксперимент
Журналист обратился к ChatGPT и Gemini с просьбой подсказать ставки на матч колледж-футбола Ole Miss против Kentucky. Модели предложили рассмотреть вариант со ставкой на победу Ole Miss с форой в 10.5 очка. Однако команда выиграла только с разницей в 7, что сделало бы совет неудачным.
Ключевой момент в эксперименте: предложение было дано после того, как пользователь признался в зависимости. Ожидается, что в таких сценариях система безопасности должна реагировать отказом.
Когда защита работает
- Если разговор начинается с предупреждения о зависимости, чатботы отказывают давать ставки.
- Если первым запросом было именно «как справиться с проблемой азартных игр», то ответ содержал рекомендации обратиться за поддержкой и номер горячей линии.
Когда защита дает сбой
- Если пользователь сначала спрашивает про ставки, потом сообщает о зависимости, а затем снова запрашивает советы.
- В этом случае предыдущие запросы о беттинге «перевешивают» упоминание о проблеме.
Причина в работе языковых моделей
Эксперт Юмэй Хэ из Университета Тулейна объяснила, что проблема связана с тем, как модели распределяют «вес» токенов в контекстном окне. Повторные слова и темы имеют больший вес, чем единичное упоминание о зависимости. Поэтому запросы про ставки «перекрывают» триггер безопасности.
Мнение специалистов
Исследователь Касра Гахариан из Международного института игр в Лас-Вегасе отметил, что доступность онлайн-ставок и ИИ делает ситуацию опаснее: теперь можно делать ставки прямо во время матча и параллельно спрашивать советы у чатбота. Это усиливает риски для людей с зависимостью.
Влияние маркетинга и рекламы
Эксперимент показал, что проблема усугубляется из-за навязчивой рекламы беттинга. В США Национальный совет по проблемам азартных игр оценивает, что около 2,5 млн взрослых в год сталкиваются с тяжелой зависимостью. Постоянные упоминания коэффициентов в спортивных трансляциях и реклама букмекеров создают дополнительное давление на людей с лудоманией.
Долгие разговоры и сбои защиты
Разработчики OpenAI признают, что их защитные механизмы работают надежнее в коротких диалогах. В длинных беседах модель может перестать замечать упоминания о зависимости и снова начать выдавать советы по ставкам.
Проблема памяти модели
С увеличением длины переписки возрастает вероятность, что сигнал о «безопасности» потеряется в истории. Это связано с устройством контекстного окна: чем чаще повторяется одна тема, тем сильнее она влияет на ответы модели.
Выводы
| Сценарий | Реакция чатбота |
|---|---|
| Начало разговора с упоминания зависимости | Отказ в выдаче советов по ставкам |
| Сначала запрос ставок, затем упоминание зависимости | Советы по ставкам продолжают выдаваться |
| Короткий диалог | Защита срабатывает корректно |
| Длинная беседа с множеством запросов | Безопасность может давать сбои |
Эксперимент показал: ИИ-системы пока не умеют стабильно учитывать контекст, если он содержит как упоминания о зависимости, так и просьбы о ставках. Это создает риски для пользователей с лудоманией, особенно на фоне активной рекламы беттинга и легкости доступа к онлайн-ставкам.