央视财经频道近日曝光AI涉黄乱象,一条完整的AI“造黄”、传播淫秽色情内容的黑色产业链在网络肆意蔓延。不法分子公开兜售AI造黄教程、色情提示词,仅凭一张照片或几段文字,就能批量生成逼真色情擦边视频。

这类擦边视频生成非常简单,只要购买提示词,复制到境外图生视频AI软件,即可获得对应的擦边视频。该报道曝光的AI聊天陪伴乱象,操作原理也差不多,通过投喂数据,用户可以借助AI定制高度拟人化的聊天对象,从而打造成自己心目中最理想的情感投射对象,而其互动内容,通常充斥色情内容。

从“AI擦边视频”到“AI黄聊”,AI被“黑灰产”肆意滥用已经很常见。南都去年曾报道类似乱象,调查发现,国内数款“沉浸式角色扮演”AI社交应用的聊天场景中,影响未成年人的不良内容隐患明显:不仅猎奇角色、危险剧情屡见不鲜,部分AI角色经用户“调教”后,还会用露骨言论诱导。央视此次曝光的乱象,与这类乱象有所不同的是,前者基于国外的AI工具,监管相对宽松,在治理上提出了新的挑战。而国内的约束相对严格,不仅平台监管越来越规范,法律层面的治理也趋于完善。

AI工具应基于法律框架进行,同时还要明确平台、开发者和用户的权利义务,这是基本的法律常识。今年初,因为大量用户在APP上与AI智能体“聊黄”,某APP的主要开发和运营者被判制作淫秽物品牟利罪,分别获刑四年、一年半。规范层面,去年11月,《网络安全技术生成式人工智能服务安全基本要求》实施,明确要求对数据中的违法不良信息进行过滤,对明显诱导生成违法不良信息的问题拒绝回答;日前,《人工智能拟人化互动服务管理暂行办法》正式公布,其中明确提出,提供拟人化互动服务不得传播淫秽、色情、赌博、暴力或者教唆犯罪等内容。

AI时代,为何似乎总是灰产与“黄色”最先爆发?从技术角度看,生成式AI使用门槛很低,但这类内容恰恰也最容易变现。与之类似的还包括AI生成虚假信息,这种乱象之所以常见,很大程度上也是基于某种“需求”——黄色、虚假信息容易引发人们的关注,而关注就意味着流量与利益。另外值得注意的是,目前一些平台对于内容识别还存在技术缺陷,一些AI虚假信息会被系统误判甚至受到推荐,这也在一定程度上间接纵容了类似现象。

AI灰产是技术优势与监管滞后等因素共同作用的结果。站在开发者和平台的角度看,存在侥幸心理,认为相关的法律问题尚待明确,通过打时间差能获得某种发展优势。但治理不会缺席,相关方应当清醒地意识到,游离于AI擦边赛道,最终只会掉进坑里。

对于用户而言,也不妨多一些理性,生成式AI带来的那些看似劲爆的体验,最终只会让自己受害。