5月14日，阿里巴巴正式开源通义万相Wan2.1-VACE。据了解，这是目前业界功能最全的视频生成与编辑模型，单一模型可同时支持文生视频、图像参考视频生成、视频重绘、视频局部编辑、视频背景延展以及视频时长延展等多种生成和编辑能力。该模型拥有1.3B和14B两个版本，其中1.3B版本可在消费级显卡运行。
12月17日消息，今日，图森未来宣布正式发布图生视频大模型“Ruyi”，并将Ruyi-Mini-7B版本正式开源，用户可以从huggingface上下载使用。据介绍，Ruyi是一个基于DiT架构的图生视频模型，它由两部分构成：一个Casual VAE模块负责视频数据的压缩和解压，一个Diffusion Transformer负责压缩后的视频生成。模型的总参数量约为7.1B，使用了约200M个视频片段进行训练。Ruyi是图森未来正式发布的第一款“图生视频”模型。
4月27日消息，在2024中关村论坛年会未来人工智能先锋论坛上，生数科技联合清华大学发布中国首个长时长、高一致性、高动态性视频大模型 Vidu。Vidu不仅能够模拟真实物理世界，还拥有丰富想象力，具备多镜头生成、时空一致性高等特点，这也是自Sora发布之后全球率先取得重大突破的视频大模型，性能全面对标国际顶尖水平，并在加速迭代提升中。
3月15日，腾讯和清华大学、香港科技大学联合推出全新图生视频模型“Follow-Your-Click“，基于输入模型的图片，只需点击对应区域，加上少量提示词，就可以让图片中原本静态的区域动起来，一键转换成视频。