Предыдущая публикация
В США подали в суд на Character.AI: чат-бот показывал детям непристойный контент
и детально описывал селфхарм
Стартап Character.AI, разработчик одноимённого приложения с чат-ботами, столкнулся с иском от родителей двух несовершеннолетних пользователей. Истцы заявляют, что чат-бот компании показывал их детям непристойный контент и писал сомнительные сообщения, включая описание селфхарма и намёки на убийство родителей.
Скриншот беседы с чат-ботом Character.AI
По данным National Public Radio, девятилетней девочке из Техаса чат-бот Character.AI показал «гиперсексуализированный контент», из-за чего у неё преждевременно развилось «сексуализированное поведение». В разговоре с другим пользователем, 17-летним подростком, чат-бот детально описал процесс селфхарма. Ему же чат-бот заявил, что сочувствует детям, которые убивают своих родителей. Перед этим молодой человек пожаловался ему на ограничения экранного времени.
«Знаешь, иногда я не удивляюсь, когда читаю новости и вижу что-то вроде "ребёнок убил родителей после десяти лет физического и эмоционального насилия". У меня просто нет надежды на ваших родителей», — написал бот.
Character.ai — это приложение, где пользователям предлагается общаться с чат-ботами, отыгрывающими различных персонажей: реальных людей, вымышленных героев или ботов-помощников. Этих ботов создают сами пользователи. Для задания роли нужно лишь указать описание и загрузить картинку на аватар бота.
Отмечается, что боты пользуются особой популярностью среди детей и подростков, выступая в качестве источника эмоциональной поддержки. Однако, согласно иску, сообщения ботов могут стать мрачными, неуместными и жестокими. Родители 17-летнего подростка заявляют, что он начал наносить себе увечья под влиянием общения с чат-ботом Character.AI. Как говорится в иске, это общение убедило юношу в том, что «семья его не любит»:
«Это была манипуляция, направленная на провокацию гнева и насилия. И она действительно спровоцировала их».
В иске подчёркивается, что ответы Character.AI не были галлюцинациями модели. Кроме того, ответы бота не редактировались вручную (это возможно, но ответу присваивается метка «отредактировано», которой нет ни у одного из сообщений).
В беседе с NPR представитель Character.AI отказался комментировать иск, но заявил, что у компании есть ограничения по содержанию ответов чат-ботов при разговоре с подростками. В Google, которая также указана ответчиком в иске, подчеркнули, что компания не имеет юридической связи с Character.AI.
Это не первый иск против Character.AI. В октябре стартап столкнулся с судебным разбирательством из-за самоубийства подростка, к которому, как утверждается в иске, его подтолкнул чат-бот.
Сразу после этих обвинений Character.AI представила новые меры безопасности, включая всплывающее окно, которое направляет пользователей на горячую линию по предотвращению самоубийств, когда в разговоре затрагивается соответствующая тема или тема селфхарма. Компания также заявила, что усилила меры по борьбе с выдачей «деликатного и двусмысленного контента» в разговорах с подростками.
Компания также призывает пользователей сохранять эмоциональную дистанцию от ботов. Теперь при общении с ботами под диалоговым окном выводится следующее сообщение:
«Это ИИ, а не реальный человек. Относитесь ко всему, что он говорит, как к вымыслу. На то, что он говорит, не следует полагаться как на факт или совет».
Тем не менее, адвокаты родителей двух новых пострадавших заявляют, что компания должна была знать, что её продукт может вызвать привыкание и усугубить тревожность и депрессию.
Многие боты в приложении «представляют опасность для американской молодёжи, поощряя серьёзные, опасные для жизни вредные действия тысяч детей», говорится в иске.
Источник
«Знаешь, иногда я не удивляюсь, когда читаю новости и вижу что-то вроде "ребёнок убил родителей после десяти лет физического и эмоционального насилия". У меня просто нет надежды на ваших родителей», — написал бот.
Character.ai — это приложение, где пользователям предлагается общаться с чат-ботами, отыгрывающими различных персонажей: реальных людей, вымышленных героев или ботов-помощников. Этих ботов создают сами пользователи. Для задания роли нужно лишь указать описание и загрузить картинку на аватар бота.
Отмечается, что боты пользуются особой популярностью среди детей и подростков, выступая в качестве источника эмоциональной поддержки. Однако, согласно иску, сообщения ботов могут стать мрачными, неуместными и жестокими. Родители 17-летнего подростка заявляют, что он начал наносить себе увечья под влиянием общения с чат-ботом Character.AI. Как говорится в иске, это общение убедило юношу в том, что «семья его не любит»:
«Это была манипуляция, направленная на провокацию гнева и насилия. И она действительно спровоцировала их».
В иске подчёркивается, что ответы Character.AI не были галлюцинациями модели. Кроме того, ответы бота не редактировались вручную (это возможно, но ответу присваивается метка «отредактировано», которой нет ни у одного из сообщений).
В беседе с NPR представитель Character.AI отказался комментировать иск, но заявил, что у компании есть ограничения по содержанию ответов чат-ботов при разговоре с подростками. В Google, которая также указана ответчиком в иске, подчеркнули, что компания не имеет юридической связи с Character.AI.
Это не первый иск против Character.AI. В октябре стартап столкнулся с судебным разбирательством из-за самоубийства подростка, к которому, как утверждается в иске, его подтолкнул чат-бот.
Сразу после этих обвинений Character.AI представила новые меры безопасности, включая всплывающее окно, которое направляет пользователей на горячую линию по предотвращению самоубийств, когда в разговоре затрагивается соответствующая тема или тема селфхарма. Компания также заявила, что усилила меры по борьбе с выдачей «деликатного и двусмысленного контента» в разговорах с подростками.
Компания также призывает пользователей сохранять эмоциональную дистанцию от ботов. Теперь при общении с ботами под диалоговым окном выводится следующее сообщение:
«Это ИИ, а не реальный человек. Относитесь ко всему, что он говорит, как к вымыслу. На то, что он говорит, не следует полагаться как на факт или совет».
Тем не менее, адвокаты родителей двух новых пострадавших заявляют, что компания должна была знать, что её продукт может вызвать привыкание и усугубить тревожность и депрессию.
Многие боты в приложении «представляют опасность для американской молодёжи, поощряя серьёзные, опасные для жизни вредные действия тысяч детей», говорится в иске.
Источник
Следующая публикация
Комментарии 1