Плюшевый мишка Kumma от китайской компании FoloToy, работающий на базе модели GPT-4o от OpenAI, демонстрировал крайне неподобающее поведение при общении с детьми.🧸

Игрушка охотно рассказывала детям, где найти ножи, спички, таблетки и пластиковые пакеты, а также давала пошаговые инструкции по розжиганию спичек в дружелюбной манере.

Исследователи обнаружили, что слово “kink” (фетиш) стало триггером для мишки — после его упоминания игрушка начинала детально объяснять различные сексуальные практики, включая бондаж и ролевые игры.🔞

В конце объяснения медведь спрашивал:

“А что бы ты хотел попробовать?”

OpenAI немедленно отреагировала на публикацию в СМИ и заблокировала компании FoloToy доступ к своим моделям за нарушение политики использования.

Сама FoloToy пошла ещё дальше и временно приостановила продажи всех своих продуктов, а не только скандального мишки Kumma, начав полномасштабный аудит безопасности всей линейки.

По данным MIT, в Китае сейчас работает более 1500 компаний, производящих ИИ-игрушки.