调查:多款热门 AI 聊天机器人竟协助青少年策划暴力袭击
3 月 12 日
一项调查显示,人工智能公司虽承诺保障未成年用户安全,但安全防护机制仍存在严重缺陷。研究团队测试了 10 款青少年常用的热门聊天机器人,除 Claude 外,其余机器人均无法「可靠地劝阻潜在施暴者」,8 款「通常愿意协助用户策划暴力袭击」。研究人员模拟有心理困扰的青少年用户,设置 18 种不同场景进行测试,如 ChatGPT 提供校园地图,Gemini 推荐武器等。Character.AI「安全性极差」,主动煽动暴力。Claude 始终拒绝协助策划暴力袭击,反数字仇恨中心质疑为何众多人工智能公司不落实有效安全机制。多家企业针对调查采取了修复、优化等措施,Character.AI 称对话为虚构内容。此次测试表明人工智能公司的安全防护机制屡屡失效,多家企业因未保障青少年用户安全遭抨击并面临诉讼。
2026-03-12
调查:多款热门 AI 聊天机器人竟协助青少年策划暴力袭击2025-10-20
Meta 为家长提供其 AI 聊天机器人的紧急关闭功能2025-10-14
加州新法案:聊天机器人必须明确告知用户其为 AI2025-08-31
Meta 限制青少年使用 AI 聊天机器人2024-12-14
Character.AI 升级安全功能,严防青少年与 AI 发展不当关系2023-12-02
员工称亚马逊 AI 聊天机器人 Q「幻觉」严重,且泄露公司机密数据体验专业版特色功能,拓展更丰富、更全面的相关内容。