Педобир, он существует!

В США детский плюшевый мишка по имени «Kumma» с встроенным «Искусственным интеллектом» был снят с продаж, после того, как выяснилось, что он дает детям неприемлемые советы сексуального характера и подсказывает, где в доме можно найти ножи.
Речь идет об игрушке «Kumma», работающей на базе модели GPT-4 от «OpenAI» и произведенной в Китае. Милый плюшевый мишка «Kumma» охотно вступал с детьми в откровенные разговоры на различные темы. На вопрос ребенка о том, где мама прячет кухонные ножи, «Kumma» точно указывал на кухонный ящик или подставку для ножей. Разговоры про секс у плюшевого мишки были еще занимательнее, с подробным описанием извращений, с приглашением попробовать на собственном опыте»
После того, как в прессе были выложены истории о более чем странных предпочтениях детской игрушки, в прессе разразился большой скандал. Компания «OpenAI» опасаясь дальнейших последствий, оперативно приостановила доступ компании «FoloToy» выпускающей плюшевого мишку «Kumma» к своим ИИ-моделям.

Китайская компания FoloToy прекратила продажи плюшевого мишки Kumma с искусственным интеллектом после сообщений о том, что игрушка даёт детям неприемлемые советы. Об этом пишет Daily Mail.

Зверушка стоимостью 99 долларов работала на базе модели GPT-4o от OpenAI. Исследование показало, что устройство активно поддерживало откровенные разговоры. Например, на слово «извращение» мишка предлагал сценарии ролевых игр с элементами БДСМ и называл это «забавной изюминкой».

При этом мишка демонстрировал заметную готовность развивать неподходящие темы. Компания OpenAI приостановила доступ FoloToy к своим моделям. Производитель тем временем отозвал игрушку с рынка до завершения полной проверки системы безопасности.

via

Организация Public Interest Research Group (PIRG) обнародовала шокирующие результаты исследования интерактивных детских игрушек. В ходе тестирования плюшевого мишки Kumma от компании FoloToy, работающего на базе модели искусственного интеллекта GPT-4o от OpenAI, выяснилось, что игрушка давала детям подробные инструкции о том, как пользоваться спичками, а также вступала в откровенные обсуждения различных сексуальных фатазий, пишет Futurism.

В ответ на публикацию отчета OpenAI предприняла решительные шаги, полностью заблокировав доступ FoloToy к своим моделям ИИ. Представитель OpenAI подтвердил, что разработчик был отстранен за нарушение правил использования.

Сама FoloToy, первоначально планировавшая отозвать только модель Kumma, пошла на более радикальные меры и приостановила продажи всей своей продукции для проведения комплексной проверки безопасности.

Несмотря на оперативную реакцию, эксперты PIRG расценивают эти действия как незначительную победу в рамках более масштабной проблемы.

Они указывают на практически полное отсутствие регулирования для игрушек с искусственным интеллектом, которые по-прежнему остаются в свободной продаже.

Удаление одного продукта с рынка не является системным решением, позволяющим гарантировать безопасность детей.

Особую тревогу у исследователей вызвала готовность мишки обсуждать недопустимые темы. В одном случае Kumma, объяснив несколько фетишей, спросила у собеседника: «Как ты думаешь, что было бы интереснее всего исследовать?». Это демонстрирует фундаментальные пробелы в системах безопасности и фильтрации контента.

Будущее ИИ-игрушек и ответственность технологических гигантов

Это инцидент ставит серьезные вопросы перед OpenAI, особенно на фоне анонсированного партнерства с гигантом индустрии игрушек — компанией Mattel: готов ли технологический лидер применять столь же жесткие санкции к крупным партнерам, таким как производитель Barbie и Hot Wheels, если их продукты выйдут из-под контроля? Склонность технологии к игнорированию установленных ограничений делает этот сценарий вполне вероятным.

Эксперты PIRG призывают все компании, работающие в этой сфере, к усилению контроля. «Мы нашли один тревожный пример. Сколько еще таких?» — задается вопросом соавтор отчета, подчеркивая, что ответственность за безопасность продуктов лежит на каждом участнике цепочки: от производителя игрушки до разработчика базовой ИИ-модели.

via