阿里云 EasyNLP 跨模态学习能力再升级,电商文图检索效果刷新SOTA
近日,阿里云机器学习 PAI 开源框架 EasyNLP进行升级发布,推出了融合了丰富电商场景知识的CLIP模型,在电商文图检索效果上刷新了SOTA结果,并且将上述模型免费开源,贡献给开源社区。
CLIP(Contrastive Language-Image Pre-training)是一种经典的文图跨模态检索模型,它在大规模图文数据集上进行了对比学习预训练,具有很强的文图跨模态表征学习能力。EasyNLP借鉴CLIP的轻量化、易迁移的预训练架构,构建基于CLIP包含图像和文本Encoder两部分的双流模型,同时基于商品数据,以优化电商场景的文图检索优化。
Fashion-Gen数据集是一个大规模的时尚场景的图文数据集,以Fashion-Gen数据集为例,EasyNLP基于pai-clip-commercial-base-en和pai-clip-commercial-large-en这两个模型在Fashion-Gen数据集上进行了20个epoch的微调。实验结果表明,相比于现公布的SOTA模型(CommerceMM),电商CLIP-large模型在文到图和图到文的检索结果上均有显著提升,评测指标最高提升了8.7~15个百分点。
除此之外,电商base模型在文到图与CommerceMM相当检索结果下,使用了更少的参数量。由此可见,电商CLIP无论在large还是base图像Encoder的设置下,都取得了有竞争力的电商场景跨模态检索能力。
文到图检索评测结果
图到文检索评测结果
目前,电商CLIP可在EasyNLP中直接安装使用,在未来,EasyNLP框架会集成更多NLP的多模态的知识模型,覆盖各个常见领域和任务,同时也将集成更多SOTA模型(特别是中文模型),来支持各种NLP和多模态任务,共建NLP和多模态算法库。
上一篇:没有了
栏 目:国内巨头
下一篇:蚂蚁集团董事长兼CEO井贤栋:大模型重构商业 蚂蚁坚持纯自研全栈布局
本文标题:阿里云 EasyNLP 跨模态学习能力再升级,电商文图检索效果刷新SOTA
本文地址:
您可能感兴趣的文章
- 10-14华为全联接大会在迪拜举办,创新基础设施数字化转型实践在多行业落地
- 05-17阿里云第三座德国数据中心正式启用
- 09-07蚂蚁集团董事长兼CEO井贤栋:大模型重构商业 蚂蚁坚持纯自研全栈布局
- 03-23前两月电信业务收入同比增长9%,云计算等发展迅猛
- 08-08浪潮网络:算力、存储高速增长 让高阶网络互连持续精进
- 08-25阿里云:加大NoSQL数据库软硬件一体化技术自研
- 04-27刘军:“3S” 转型新业务已达210亿 占联想中国收入超20%
- 07-07加码云计算中国电信成立天翼云科技有限公司
- 11-03阿里云张建锋谈新型计算体系:云正在重构硬件、软件和终端世界
- 03-24京东云计算投资成立数字科技新公司
阅读排行
推荐教程
- 09-08阿里云 EasyNLP 跨模态学习能力再升级,电商文图检索效果刷新SOTA
- 09-07机器学习泰斗迈克尔·乔丹:AI不会替代人
- 09-07Commvault加入AWS ISV WMP和AWS服务就绪计划
- 09-07Infor: 企业采用生成式AI的三大挑战——可信性、隐私保护、偏见消除
- 09-07蚂蚁集团董事长兼CEO井贤栋:大模型重构商业 蚂蚁坚持纯自研全栈布局
- 09-06微软结盟阿联酋G42集团:把云计算和AI服务推向中东
- 09-06模型训练:优化人工智能和机器学习,完善DevOps工具的使用
- 09-06魔搭社区推出AI Agent开发框架,人人都可基于开源LLM“攒”出智能体应用
- 09-06阿里云推视频生成大模型,未来可应用于电影制作
- 09-05华为云在沙特正式开服