阿里云魔搭发起“ModelScope-Sora开源计划”,将为中国类Sora模型开发提供一站式工具链

3月23日,2024全球开发者先锋大会上,阿里云魔搭社区公布“ModelScope-Sora开源计划”,将以开源力量助力中国类Sora模型的探索和创新。该计划将

3月23日,2024全球开发者先锋大会上,阿里云魔搭社区公布“ModelScope-Sora开源计划”,将以开源力量助力中国类Sora模型的探索和创新。该计划将为类Sora模型开发提供一站式工具链,涵盖数据处理工具、多模态数据集、类Sora基础模型、训练推理工具等。现阶段,魔搭发布了业界首个开源的多模态数据处理系统Data-Juicer,包含100多种高效算子,可大幅提升视频数据处理效率和质量。

Sora引发整个技术圈对多模态大模型的关注。除采用DiT模型架构外,学习了大量高质量数据,无疑也是Sora效果惊人的秘诀。阿里通义实验室资深算法专家李雅亮表示,“数据决定了机器学习任务的天花板,只有‘投喂’的数据质量高、颗粒度细、数量多,模型训练才能走出‘垃圾进,垃圾出’的困境。”

不过,类Sora模型的数据处理挑战极大。主流大数据框架并非为多模态数据设计,而视频处理难度较图文又大幅攀升,现有工具难以应对。因此,“ModelScope-Sora开源计划”首先上架了由阿里通义实验室研发的多模态数据处理系统Data-Juicer,它可对庞杂的多模态数据去粗取精,“榨出”更高质量、更丰富、更易“消化”的数据。

Data-Juicer支持文本、图片、音频、视频,内置筛选、映射、去重、格式化输出、美学打分等上百种高效算子,开发者可以像玩乐高一样自由组合。就像精于剪辑的导演,Data-Juicer能根据指定动作自动剪出视频片段,还能增强分辨率、调整宽高比、去除文本段,或通过计算光流判断视频动静,只保留精彩瞬间。此外,它还可自动打标,对光线变化、环境氛围都能精细捕捉并生成文字描述。

魔搭开源的Data-Juicer流程示意图

李雅亮介绍,魔搭社区还推出了基于Data-Juicer的沙盒实验室。研发人员可以先在迷你数据集和模型上快速迭代,找到最合适的配方。

然后,在Data-Juicer的数据加工流水线上,开发者可以使用阿里云PAI来调用集群和GPU进行大规模数据处理,后续还可在PAI上一站式完成模型的训练、推理。

魔搭“ModelScope-Sora计划”同步开源了基础类Sora模型。华东师范大学段忠杰博士联合魔搭社区,实现了DiT架构的视频生成扩散模型lite-Sora,并在小规模数据集上初步训练,得到能生成大幅度运动视频的实验模型。该模型正进一步深度训练,最终目标是完成对Sora的复现。

魔搭开源的lite-Sora模型架构图

接下来,魔搭社区还将举办“ModelScope-Sora挑战赛”, 鼓励更多开发者打造并开源自己的类Sora模型,共同加速中国多模态大模型的发展。同时,魔搭将助力构建开放的中文高质量多模态数据集。作为国内规模最大、最活跃的AI开源模型社区,阿里云魔搭目前已汇聚3000多款优质模型及上千数据集,为超过400万开发者提供模型及免费算力服务。

魔搭“ModelScope-Sora开源计划”链接:
https://www.modelscope.cn/brand/view/MultiModality

免责声明:本文内容来源于第三方或整理自互联网,本站仅提供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。

相关推荐

  • 联想、阿里云、百度智能云项目落地与客户成效解析

    2026年世界杯落幕后,联想集团披露了一封来自FIFA的感谢信,信中肯定了双方共同开发的FIFA AI Pro及其应用效果。这款AI分析工具已被全部48支参赛球队使用。联想在世界杯承担AI开发、系统集

    2026-09-13
  • 权威报告:中国AI云市场爆发,阿里云占比38.1%稳居第一,超二三四名总和

    5月19日,国际权威市场调研机构英富曼(Omdia)发布最新的《中国AI云市场份额2025》报告,2025年中国AI云市场总规模达567亿元人民币,其中,阿里云在AI IaaS和MaaS两大领域均位列第一,总份额从上半年的35.8%上涨至38.1%,整体稳居第一,超过二到四名总和。 Omdia《中国AI云

    2026-05-19
  • 阿里云上线万小智2.0,打通AI建站、域名备案和上线经营环节

    5月14日,阿里云上线企业级AI建站平台万小智2.0,可为用户提供从网站生成、域名备案、网站上线到后台管理运营等环节的完整服务,最快几分钟,就能生成并上线符合用户需求的生产级网站。 企业级AI建站平台万小智2.0 过去一年,AI开发网站是大模型最热门的应用领域之一,业界涌现了Lovable、Bolt

    2026-05-15
  • 阿里云ECS AMD实例年终狂欢,算力成本最多立省75%

    年终大促倒计时!阿里云 AMD 企业级实例价格直降!2025年12月8日-31日,阿里云迎来企业级 AMD 实例专属优惠。ECS AMD 通用算力型实例 u2a 低至2.5折/年,2核2G低至1.12元/天,算力性能超 u1 实例40%。本次 AMD 实例年终大促,是 u2a 实例首次以历史最低折扣面向用户提供高性价比

    2025-12-12
  • g9i热卖背后:阿里云与英特尔共筑AI时代云运营之道

    在信息技术快速发展的今天,云服务已然成了驱动千行百业创新的动力系统。随着AI等创新技术对算力的需求加速膨胀,云厂商更需要发挥自己规模优势和效率优势,以更低的成本,高效灵活地提供计算资源。 在2025年云栖大会的一场联合采访中,阿里云与英特尔的两位专家,为我们揭示了支撑全球超大规模云服务商高效运转的核心思路。最新发

    2025-10-19
  • 份额领跑与未来突围:阿里云引领 AI 云市场竞逐

    当下中国AI云市场正上演着一场精彩的增长盛宴,2025年上半年223亿元的市场规模,让这条赛道成为科技领域的焦点。在这片竞争激烈的赛场中,阿里云以35.8%的市场份额稳稳站在榜首,这个数字甚至超过了排名2-4位企业的总和,形成了独特的“断层优势”。 阿里云智能首席技术官周靖人(中)回答媒体提问

    2025-09-27
  • 亚信科技、阿里云达成“能力中心”合作,联办大模型论坛

    9月25日,2025阿里云栖大会期间,亚信科技与阿里云签署合作协议,亚信科技正式成为阿里云“能力中心”。双方共同举办了“打造可持续运营的大模型交付体系”专题论坛,亚信科技执行董事、首席执行官高念书,阿里云智能集团政企事业部副总裁李力,中国经济改革研究基金会理事长石明磊,中国通信标准化协会副秘书长王雪飞,中国信通院云计算

    2025-09-26
  • 让天下没有难查的故障:2025 阿里云 AI 原生编程挑战赛正式启动

    在云原生与 AI 原生架构加速演进的今天,系统复杂性已远超传统边界。运维与可观测不再只是“看日志、查指标、盯告警”,AI 大模型为 Operation Intelligence 实践指明了新方向。 秉持“以赛为媒”的宗旨,阿里云云原生编程挑战赛始终致力于为热爱技术的年轻人提供一个挑战世界级技术问题的舞台,孵化前沿

    2025-09-03
  • 亚信科技+阿里云 | 大模型协作新突破,让百行千业用上普惠AI !

    亚信科技:领先的信息技术产品与服务提供商。 阿里云:全球领先的云计算及人工智能科技公司。 亚信科技+阿里云=覆盖“需求分析、咨询规划、产品研发、实施交付、运营运维”的云与AI“全栈服务”提供商!人工智能时代,双方携手助力百行千业政企客户“多快好省”用上普惠AI。 ​#1 AI+政务

    2025-04-15
  • 阿里云AI技术成果亮相春晚,云技术支持全球观众看直播

    1月28日晚,阿里云首次亮相中央广播电视总台蛇年春晚,云技术支持全球观众观看春晚直播。作为总台春晚云计算AI独家合作伙伴,阿里云为春晚直播提供了强大的全球云基础设施和通义大模型AI技术支持。 今年春晚的直播画面,通过阿里云部署在全球的云基础设施,从北京分发到全球各地的网络平台及网络转播机构,同时满足8K电

    2025-01-29