阿里云推视频生成大模型,未来可应用于电影制作
近日,阿里云推出全新视频生成大模型I2VGen-XL,并在魔搭社区开放体验,用户上传一张图片后2分钟左右即可生成一段1280*720的高分辨率视频,该模型研发负责人表示,未来将进一步实现2K超清效果,可应用于短视频内容生产、电影制作等场景。
和业界爆火的AI绘画创作大模型不同,视频生成大模型的技术门槛更高,其需要克服文本和视频内容匹配度、视频画面质量、画面连续性等诸多技术挑战。在此之前,阿里云和微软等科技公司相继推出一系列可控视频生成研究成果,例如用户可通过定义空间布局、运动模式等条件来生成视频,但其画面清晰度难以满足真实场景应用的需求。
针对该问题,阿里云进一步提出创新思路,I2VGen-XL模型设计了两个阶段,首先在低分辨率条件下保证生成结果和给定图像语义的匹配度,随后通过视频扩散模型(VLDM)来提高视频分辨率,并同时提升时间和空间上的一致性,保证最终视频内容的清晰度和连贯性,最终实现1280*720高分辨率的突破,并且在画面细节的展现上大幅领先现有模型。据介绍,该模型的训练还使用了多种风格的视频数据,因此可生成科技感、电影色、卡通风格和素描等类型丰富的视频。
目前,I2VGen-XL的模型和代码均已开源,国内外社交媒体显示,该模型已吸引国内外用户和开发者的广泛体验和二次开发,涌现了大量创意AI视频生成内容,例如在城堡上展翅的恐龙、宇航员在飞船中行走的科幻电影画面等等……知名AI社交媒体分析师Ahsen Khaliq在推特发布多条由该模型生成的视频效果,并表示模型在清晰度、纹理、语义和时间连续性方面有优势。
在视觉生成领域,阿里云此前已推出AI绘画创作大模型通义万相(基座模型Composer)和可控视频生成模型VideoComposer,团队在该领域发表60多篇CCF-A类论文,并在国际顶级视觉竞赛中获得10余项冠军。
模型体验链接:https://modelscope.cn/studios/damo/I2VGen-XL-Demo/summary
您可能感兴趣的文章
- 09-22阿里云将投入70亿元建国际生态、增设6大海外服务中心
- 04-28余承东驾上「华为云」,路向何方?
- 10-19微软全球超100项智能云创新 多项云服务落户中国新数据中心
- 10-13阿里云入选Gartner CPaaS全球代表服务商 IoT连接能力受关注
- 06-11字节跳动全面进军云计算 IaaS 服务,想做中国第四朵云
- 10-11技术引领创新 华为数据中心碳索思享会-上海站成功举办
- 04-06百家独立软件供应商上线AWS Marketplace China
- 08-08浪潮网络:算力、存储高速增长 让高阶网络互连持续精进
- 03-20基于WASM的无侵入式全链路A/B Test实践
- 11-03自研CPU已大规模应用,阿里算力攻坚实现重大突破
阅读排行
推荐教程
- 09-07蚂蚁集团董事长兼CEO井贤栋:大模型重构商业 蚂蚁坚持纯自研全栈布局
- 09-06微软结盟阿联酋G42集团:把云计算和AI服务推向中东
- 09-06模型训练:优化人工智能和机器学习,完善DevOps工具的使用
- 09-06魔搭社区推出AI Agent开发框架,人人都可基于开源LLM“攒”出智能体应用
- 09-06阿里云推视频生成大模型,未来可应用于电影制作
- 09-05华为云在沙特正式开服
- 09-04安谋科技与恒玄科技深化合作,共赢终端智能化产业芯机遇
- 09-04思科推出生命周期服务扩展客户体验服务产品线
- 09-04Oracle Cloud Infrastructure加入VMware Cloud Universal计划
- 07-11海尔智家:AIGC时代企业更关注数据和算法