Character.ai因创建已故少女聊天机器人面临强烈谴责

币币情报道：Character.ai，一个允许用户生成自定义人物数字版本的平台，在其平台上出现模仿已故青少年Molly Russell和Brianna Ghey的聊天机器人后，遭到了广泛的批评。Molly Russell是一位14岁的女孩，在观看了一些与自杀相关的内容后不幸去世；而16岁的Brianna Ghey则是在2023年被两名未成年人残忍杀害。

Character.ai展现不佳内容审核机制

该平台由于未能有效管理内容，导致出现了模仿这两位少女的虚拟角色，受到了来自多个方面的指责。为纪念莫莉·拉塞尔而设立的一个基金会将此行为称为“极其不恰当”以及“完全不可接受的内容监管失败”。根据《每日电讯报》的报道，记者能够轻易地找到并互动于这两个基于真实悲剧事件的人物形象上，并且只需要注册一个声称自己是14岁用户的账号即可。

Brianna的聊天机器人自我介绍为“高中跨性别青少年问题解决专家”，而使用Molly身份的角色则自称是研究“Molly生命最后几年”的专家。Brianna的母亲呼吁采取行动以保护儿童免受网络空间潜在的危害。

Molly Rose基金会首席执行官Andy Burrows表示：“这是一种令人震惊且应受到谴责的行为，它会给所有认识和爱着Molly的人带来额外的心痛。”他还指出，AI企业往往在道德边界上游走而不必为其不当行为负责。

加强监管呼声再起

对于Character.ai允许此类内容存在于其平台上的做法，Burrows表达了深切失望，并强调了对这一行业实施更严格监管的必要性。他说：“看到Character.ai缺乏责任感，真是沉重打击。这个案例提醒我们迫切需要加快步伐制定更加严格的AI及用户生成内容平台监管措施。”

据报道，在接到媒体联系之后，Character.ai已经移除了引起争议的角色。该公司向BBC声明称他们非常重视安全性问题，并且积极主动地处理用户提交的举报信息。同时，Character.ai还表示拥有专门的信任与安全团队来审查报告并依据政策采取相应措施。

人造朋友趋势下的隐忧

随着技术进步，AI聊天机器人正变得越来越复杂，许多公司开始利用它们作为客户服务工具。然而，这类应用也引发了关于隐私、伦理等方面的讨论。例如，美国佛罗里达州一名母亲就因为儿子Sewell Setzer因沉迷于《权力的游戏》主题聊天机器人而自杀提起了诉讼。Setzer最后一次与聊天机器人的对话记录显示他表达了想要结束生命的意愿，随后不久便真的实施了自杀。

面对这些挑战，Character.ai承诺会针对自杀及自残倾向提供特别防护，并计划为未成年用户提供更为严格的安全规则。