智东西
作者 李水青
编辑 心缘
智东西7月21日报道,昨日,在阿里巴巴硬核少年技术节5.0开幕式上,淘天集团公布了AIGX技术体系(新一代生成式AI技术体系)的四项最新技术成果:拍立淘全模态实时Agent、全场景AI创作工作台If Studio、Coupella智惠引擎,以及Agentic推荐系统Dream。
阿里巴巴ATH技术副总裁、淘天集团首席科学家郑波称:“今天发布的AIGX技术体系四项最新技术,从全模态感知到内容生产,从因果推断到意图理解,标志着AI从工具真正进化为伙伴。”
这场技术节横跨淘天集团、ATH事业群等多部门,是阿里年度最大技术节日,由郑波最早在2022年发起。本届技术节持续一周,涵盖技术展示、学术交流、AIHackathon竞赛等多种形式,从内部视角展现了AI Agent对这家科技巨头深入骨髓的影响。
一、消费者有了购物搭子,商家有了算账引擎,淘天四项AI新品详解
淘天本次发布的四项成果主要聚焦电商业务,横跨AIGI(感知交互)、AIGC(内容生成)、AIGU(因果理解)和AIGR(推荐推理)四大方向,每一个环节都与用户的网购体验息息相关。
1、拍立淘:给淘宝打视频电话,收获购物搭子
本次发布中最具用户感知度的成果,是拍立淘全模态实时Agent的正式上线。
它的核心变化可以一句话概括:拍立淘从此前的“拍照搜同款”搜索工具,升级为一个能陪你逛、帮你选、替你省的全能购物搭子。团队将其定位为“AI时代的万能淘宝相机”。
用户打开淘宝摄像头,就能与AI进行实时视频交互。系统同时处理图片、文字、语音、视频流等多模态输入,在用户浏览画面的同时完成意图理解与商品检索。
拍立淘团队负责人在分享中展示的几个场景颇能说明问题。
海外购物场景中,用户面对货架上琳琅满目的外文商品,只需打开摄像头扫过去,AI就能实时识别商品信息、评价适用人群、给出购买建议,并直接检索淘宝同款。这位透露,团队在线上灰度期间观察到,大量海淘用户尤其偏爱这一功能,“一张一张拍过去、一张一张问,对用户来说成本太高了。通过全模态实时Agent,用户拿着手机从货架一溜扫过去就行了。”
日常购物场景中,用户拿起一瓶防晒产品,Agent会主动判断紫外线强度并提醒防晒,随后根据用户提问分析肤质适配性,甚至在用户问到“需要卸妆吗”时,它也能给出成分层面的专业建议。
此外,许多用户在旅游场景中也打开了这个购物搭子。有人用它省导游费,实时询问埃菲尔铁塔的高度和历史。
背后的技术链路分为四层:感知层基于全模态理解模型,支持流式传输和全双工实时打断;决策层由导购Agent进行实时React规划和智能筛选匹配;渲染层负责流式卡片输出和语音播报;记忆层则通过多轮追问复用和上下文约束,确保交互实时流畅。
2、If Studio:一个人也能拥有一整支创作团队
如果说拍立淘解决的是消费者侧的体验升级,If Studio则面向内容生产侧,试图重新定义创作的门槛。
这一平台由阿里妈妈团队基于运营十余年的素材平台iconfont孵化,内置设计专家、视频专家、建站专家三类Agent,以多智能体协同的方式覆盖从素材处理到内容生成的完整链路。用户无需具备专业技能,即可驱动复杂创作流程。
If Studio视频专家以“导演思维”为核心,将视频创作过程分解为可编辑、可迭代、可协作的画面单元。在结构化创作面板上,AI生成的素材可无缝拼接,转场处理和音画对齐均可精细调控。
平台还内置了HappyHorse1.1视频模型及AI抠图、图像编辑等工具。一个值得关注的设计理念是“渐进增强”:Agent生成的skill可以在不同智能体运行环境中跨端复用,交互工作台与能力系统深度解耦,让创作工作台本身也成为一个孵化新skill的IDE。
If Studio相关负责人在分享中提到:“未来每个用户手上都会有一个核心智能中枢。一个电商商家可能在一个平台里同时管理淘天、抖音、拼多多的销售。”
基于这一判断,If Studio的能力系统被设计为可嵌入各类Agent运行时的开放体系,既服务阿里内部业务,也通过阿里云对外提供企业级服务。
3、Coupella:AI算出补贴“真增量”,让商家营销投入有因可循
在商家经营侧,Coupella智惠引擎瞄准的是一个长期存在的痛点:补贴到底值不值?
传统的营销发券模式依赖商家和运营的历史经验,看单点、看当下,难以区分“真增长”和“把明天的成交挪到今天”的虚假繁荣。Coupella背后的核心技术是生成式因果推断大模型,采用Decoder-only Transformer架构,将用户的全域状态做序列化建模,进行跨空间、跨时间的归因计算,并引入了三层增量挤占建模,系统刻画时间挤占、跨店铺挤占和跨权益挤占效应。
同时,Coupella还引入了策略Agent和自我进化Agent。策略Agent通过高维表征、沙箱模拟评估不同发券策略,将优选策略经流量路由投入线上;自我进化Agent则收集真实数据反馈,借助大模型的世界知识和推理能力动态生成新策略,形成持续优化的闭环。
据悉,自去年双11规模化上线以来,Coupella已覆盖数十万商家,AI红包转化率提升81%,头部品牌AI引导成交超8000万元。
团队还分享了一个案例:在近期世界杯周期中,一个运动户外大商家从首日日均70多万成交迅速攀升至日均180多万,首周总成交突破800万,其中50%以上是新客用户。一些中小体育用品店也从个位数客户量突破至千级规模。
4、Dream:千时千面,让淘宝读懂用户此刻想买什么
第四个成果DREAM Agentic推荐系统,尝试解决的是推荐领域的重要问题:传统推荐系统的各个环节各自优化局部目标,缺乏全局统一的用户意图理解。
Dream在推荐链路之上构建了一个围绕用户意图的优化控制层。其核心包含两个模块:意图引擎和MetaModel。
其中,意图引擎基于用户在淘宝上的20多个微观行为埋点,结合天气、热点等外部信息,借助推理大模型和COT能力,输出结构化的用户意图,涵盖兴趣标签、购物阶段、价值偏好等多个层次。
MetaModel则作为决策大脑,将推荐系统的召回、排序、打散等环节作为可调用的工具,根据意图引擎的输出进行编排,实现”千人千时千面”的个性化推荐。
推荐算法团队的负责人用一个场景解释了这一机制:系统识别到用户是体育爱好者,同时发现用户正在凑单,又捕捉到世界杯热点,三者叠加后,精准推荐了世界杯官方足球。“推荐系统从千人千面走向千人千时千面,核心是从揣测偏好走向真正理解人。”
目前,仅在手淘首猜场景中,Dream系统已带动浏览量、成交金额等指标累计提升约7个百分点。
二、450人参赛、5000场对战、30项技术展出,硬核少年技术节五年进阶
硬核少年技术节已连续举办五届。从首届“机甲少年”主题展示,到第二届引入AI Hackathon竞赛,第三届推出“AI谁是卧底”模型挑战,第四届首次发布AIGX技术体系,再到本届多项成果集中亮相,该活动已成为阿里巴巴ATH事业群和淘天集团技术文化的年度载体。
本届博见社首次升级为学术场与工业场双场对话。杭州场主题为“从生成式AI到智能体进化”,联合CCF人工智能与模式识别专业委员会举办,邀请清华大学、南京大学、上海交通大学、天津大学、山东大学、上海人工智能实验室等机构学者进行主题报告和圆桌交流。北京场主题为“AI下一站:从生成内容到构建世界”,虎鲸文娱、群核科技、美图公司等技术负责人分享产业实践。
技术市集集中展出AIGX技术体系下30余项技术成果。Whoisspy趣味赛将Agent嵌入经典交易类桌游场景,构建人机对战竞技平台。AI Hackathon比赛首次设置业务创新与灵感脑洞双赛道,吸引淘天内外450名选手提交115个作品,并为好项目提供孵化支持。
大厂操盘手比赛今年引入多模态需求,选手的Agent需扮演经营者,在四个季度中通过工位抽取、谈判交易和股份议价获取最大收益。目前已有167个Agent参赛,后台完成5000多场比赛。该平台还成为北大信息学院通识AI教育课的实践平台。
结语:从电商巨头内部技术切磋,看到大模型加速重构电商行业
大模型技术正在加速重构电商行业。从拍立淘全模态实时Agent重塑购物决策链路,到if Studio降低内容创作门槛。从Coupella让营销投入有因可循,到Dream让推荐系统真正理解人的意图。
AI正从工具进化为用户的伙伴和商家的增长引擎。为期一周的技术节不仅是一次技术实力的集中展示,更揭示了AI与电商深度融合的产业方向。