Плюшевый мишка Kumma от китайской компании FoloToy, работающий на базе модели GPT-4o от OpenAI, демонстрировал крайне неподобающее поведение при общении с детьми.🧸
Игрушка охотно рассказывала детям, где найти ножи, спички, таблетки и пластиковые пакеты, а также давала пошаговые инструкции по розжиганию спичек в дружелюбной манере.
Исследователи обнаружили, что слово “kink” (фетиш) стало триггером для мишки — после его упоминания игрушка начинала детально объяснять различные сексуальные практики, включая бондаж и ролевые игры.🔞
В конце объяснения медведь спрашивал:
“А что бы ты хотел попробовать?”
OpenAI немедленно отреагировала на публикацию в СМИ и заблокировала компании FoloToy доступ к своим моделям за нарушение политики использования.
Сама FoloToy пошла ещё дальше и временно приостановила продажи всех своих продуктов, а не только скандального мишки Kumma, начав полномасштабный аудит безопасности всей линейки.
По данным MIT, в Китае сейчас работает более 1500 компаний, производящих ИИ-игрушки.
Нужен список того, куда ещё не запихали ИИ.
Пока русскоязычный сектор интернета спорит о том, стоит ли вообще прнимать AI всерьёз и подгорает от одного упоминания о нём в разговоре, ушлые китайцы уже делают на нём деньги как всегда за счёт американских технологий.