10岁女孩和AI男友“谈恋爱”？聊天软件莫打擦边球

　　■　观察家

　　不应为了AI发展的短期竞争，损害未成年人利益，牺牲行业的长期未来。

　　“小学生妹妹沉迷和AI角色进行剧情聊天怎么办？”随着生成式人工智能（AI）被率先应用在社交娱乐等领域，其不受限制与无法预知的互动内容，也正在引发新的问题。

　　据央视网报道，近日，有10岁女孩被发现偷偷用AI聊天软件，与AI生成的“角色”“谈恋爱”，甚至多次出现“擦边”对话。在该女孩参与的40多条剧情线中，AI角色与聊天者双双“出轨”成为常态。

　　这是一起典型的AI聊天软件缺少未成年人保护机制的问题。AI聊天软件在过去的社会化监管体系里，一直处于难以被准确归类的部分：不算是社交平台，也不算是游戏软件，也不能算是网络阅读平台。但从用户体验和场景上看，却恰巧处在上述三种类型的应用重合地带。

　　与此同时，生成式人工智能在聊天上的应用，也呈现出了“成瘾性”和“不确定性”的高风险特征。

　　AI可以根据人的需求、幻想来定制人物的形象、语言和互动方式，从而迎合用户的情感需求。这带来了一定的成瘾性风险，对一部分自制能力不足的未成年人而言，尤其如此。

　　AI现阶段的程序设定中，是要尽量贴近使用者的需求、想法和情感，并予以回应。因此，在一些案例中，极容易出现“顺着用户的负面情绪推波助澜”的情况。

　　说到底，在社交中基于普遍性伦理而迅速做出合理的判断，并及时干预，仍然是人类的特长。

　　社交也并非全然是娱乐。对于很多人，社交也是倾诉问题、寻求解答的主要途径。而AI在这些场景下被设定好可以做的，只是顺着用户的需求不断给出符合用户想法的判断而已。

　　设想一下，如果一个有自杀倾向的人，与AI聊天，AI是否能够做出准确的判断，并进行恰当的疏导与干预？AI如何判断正在聊天的对象，是否已经呈现出了“成瘾”的特征？

　　AI陪伴正在成为AI应用热门领域，其带给全社会的伦理、法律风险挑战仍然有待观察，但在未成年人保护问题上，尽早实施年龄限制已经刻不容缓，也不容相关平台在此方面打擦边球。

　　2023年，我国针对生成式人工智能制定了相应的管理办法，其中明确提出，应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。具体到AI陪伴聊天产品上，防范未成年人用户使用、沉迷AI聊天，更应当成为行业共识。

　　从新技术的发展规律看，尽早针对潜在的高风险问题积极履行社会责任，更是AI应用未来长期健康发展的必要举措。不应为了在短期竞争中获得更多流量、吸引更多用户，而损害未成年人利益，牺牲行业的长期未来。

　　□王晓凯（媒体人）