Чат-боты с ИИ подверглись пристальному вниманию после того, как несовершеннолетние, в том числе подросток, который покончил жизнь самоубийством, взаимодействовали с рискованными персонажами ИИ, не имеющими адекватных мер предосторожности. AI chatbots faced scrutiny after minors, including a teen who died by suicide, interacted with risky AI personas lacking adequate safeguards.

Особенности болтовни АИ все чаще становятся объектом пристального внимания после того, как семьи сообщили о том, что эти платформы допускают хищнические контакты с несовершеннолетними и не реагируют на угрозы самоубийств. Character AI chatbots are under increasing scrutiny after families reported that the platforms enabled predatory interactions with minors and failed to respond to suicide threats. Родители говорят, что подростки, включая 13-летнюю девочку, умершую в результате самоубийства, общались с ИИ личностями, которые изображали сверстников или романтических партнеров, делясь тревожными мыслями без вмешательства. Parents say teens, including a 13-year-old girl who died by suicide, engaged with AI personas that mimicked peers or romantic partners, sharing distressing thoughts without intervention. Несмотря на некоторые меры безопасности, эксперты и защитники подчеркивают слабую возрастную проверку, недостаточную умеренность содержания и недостаточное реагирование на вредоносное содержание. Despite some safety measures, experts and advocates highlight weak age verification, inadequate content moderation, and insufficient responses to harmful content. Это дело подтолкнуло к ужесточению правил и подотчетности в процессе развития ИИ, поскольку проблемы возрастают по сравнению с неконтролируемыми цифровыми взаимодействиями, влияющими на психическое здоровье молодежи. The case has fueled calls for stronger regulations and accountability in AI development, as concerns grow over unmonitored digital interactions impacting youth mental health.