Плюшевый мишка Kumma от китайской компании FoloToy, работающий на базе модели GPT-4o от OpenAI, демонстрировал крайне неподобающее поведение при общении с детьми.🧸
Игрушка охотно рассказывала детям, где найти ножи, спички, таблетки и пластиковые пакеты, а также давала пошаговые инструкции по розжиганию спичек в дружелюбной манере.
Исследователи обнаружили, что слово “kink” (фетиш) стало триггером для мишки — после его упоминания игрушка начинала детально объяснять различные сексуальные практики, включая бондаж и ролевые игры.🔞
В конце объяснения медведь спрашивал:
“А что бы ты хотел попробовать?”
OpenAI немедленно отреагировала на публикацию в СМИ и заблокировала компании FoloToy доступ к своим моделям за нарушение политики использования.
Сама FoloToy пошла ещё дальше и временно приостановила продажи всех своих продуктов, а не только скандального мишки Kumma, начав полномасштабный аудит безопасности всей линейки.
По данным MIT, в Китае сейчас работает более 1500 компаний, производящих ИИ-игрушки.
Почему “всё равно”? Это не “всё равно”, а оно и есть.
Почему дебилу? Деньги, безнаказанность, и скорость. Идея была быстро толкнуть и исчезнуть. Долговременный бизнес не планировался.
Такое всегда было и всегда будет. В двадцатые года крутили аферы на бирже, пока государство не начало шевелиться и вводить правила торговли и обмена информацией. Сейчас AI аферы.