字节跳动强势进军AI视频生成领域,多款新模型引发行业竞争加剧

发布:2024-09-25
浏览254次

在视频生成大模型赛道,又有“新玩家”强势入局。9月24日,字节跳动同一天发布两款视频生成大模型,这也是该公司正式宣告进军AI视频生成领域。从现场演示的效果来看,只需输入简单的提示词或图片,一条接近实拍的影视级的AI视频就可自动生成,并且能实现自然连贯的多拍动作和多主体复杂交互。

今年2月,OpenAI推出的视频生成大模型Sora引发市场轰动,然而Sora发布至今7个月仍未正式上线。在Sora正式开放前的窗口期,国内外厂商纷纷加快推出文生视频类的模型产品。据记者不完全统计,截至目前,快手可灵、生数科技Vidu、智谱清影、阿里通义万相视觉模型作为国产AI视频模型,逐步落地面向C端用户开放。

分析人士认为,数据、场景和用户是核心竞争要素,数据是训练高质量模型的关键,场景决定了产品的市场适应性和商业潜力。在当前视频生成大模型领域,互联网大厂或将扮演引领者的角色。

9月24日,字节跳动旗下火山引擎在深圳一举发布了两款视频生成大模型:豆包视频生成-PixelDance和豆包视频生成-Seaweed。同时,字节跳动还发布了豆包音乐大模型、同声传译模型等产品。在现场,最受关注的产品莫过于两款视频生成模型。从现场展示的视频生成效果来看,无论是语义理解能力、多个主体运动的复杂交互画面,还是多镜头切换的内容一致性,豆包视频生成大模型均表现不俗。

此前视频生成模型大多只能完成简单指令,豆包视频生成模型则能实现自然连贯的多拍动作与多主体复杂交互。有创作者在体验豆包视频生成模型时发现,其生成的视频不仅能够遵循复杂指令,让不同人物完成多个动作指令的互动,人物样貌、服装细节甚至头饰在不同运镜下也保持一致,接近实拍效果。

据火山引擎介绍,豆包视频生成模型基于DiT架构,通过高效的DiT融合计算单元,让视频在大动态与运镜中自由切换,拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。此外,豆包视频生成模型在镜头切换时能同时保持主体、风格、氛围的一致性。

事实上,今年5月,字节跳动旗下的剪辑软件剪映APP低调上线AI作图和AI视频生成功能并官宣其品牌为“即梦”,其核心功能就包括AI视频生成,但彼时其视频生成功能仍较Sora有一定差距。今年8月,字节跳动在苹果、安卓等应用商店上架“即梦AI”APP,面向用户下载使用,并上线付费会员服务。如今,字节正式宣布两款AI视频生成模型的推出,并面向企业市场开启邀测。

字节跳动有关负责人表示,目前新款豆包视频生成模型正在即梦AI内测版小范围测试,未来将逐步开放给所有用户。

值得一提的是,在字节跳动发布上述多款模型产品当日,豆包大模型最新的调用量数据也一同被公布。据火山引擎总裁谭待透露,自5月火山引擎正式发布豆包大模型以来,其日均调用量整体呈现爆发式增长。截至今年9月,豆包大模型的日均Tokens(表示和传递信息的标识符)调用量已经超过1.3万亿,在4个月的时间里Tokens整体增长超过了10倍。

除了语言模型,谭待表示豆包大模型在多模态方面也取得进展,目前豆包文生图模型日均生成图片5000万张,此外,豆包目前还日均处理语音85万小时,相当于7万天的广播节目播出时长的总和。今年5月,字节跳动发布豆包大模型后,掀起了国内大模型领域的降价潮。为了吸引更多的企业用户,降低大模型使用门槛,阿里、百度、腾讯等大模型厂商纷纷宣布对主力模型进行降价,部分厂商甚至表示轻量级模型免费对用户开放。

目前,此轮大模型价格战仍有持续之势。继5月份首次大幅降价之后,9月19日,阿里宣布阿里云百炼平台上的三款通义千问主力模型再次降价。产品的降价幅度在50%至85%之间不等。

尽管价格战激烈,阿里云智能集团首席技术官周靖人此前在接受媒体采访时认为,今天大模型的运用以及基于大模型的各种各样创新,现在还在早期的阶段,“(大模型)今天的价格不存在说已经足够低了,相对未来庞大的应用来说还是太贵了。”他表示。

在火山引擎发布会当天,谭待谈及价格战时也表示:“这样大幅的降价背后,其实大量的创新应用随之不断涌现,这也是几个行业里面模型调用量在突飞猛进的关键。其他厂商也在跟随我们的步伐,不断把模型进行降价,大家共同努力让应用的生态更加繁荣。”在谭待看来,Tokens价格已经不再是妨碍创新的阻力。反过来,随着应用的不断增多,模型性能又成为应用上量的关键。

近段时间以来,国内外AI大模型厂商密集推出迭代产品。9月13日,OpenAI正式发布新一代大模型“o1”。据介绍,“o1”大模型具备更强大的推理能力,能够解决多步骤问题,在复杂的科学、数学和编程任务方面,“能够像人类一样思考”。

而在AI视频生成大模型领域,今年2月以来,OpenAI推出的Sora引发了市场的轰动,然而截至目前Sora仍未面向公众开放。自Sora公布以来,国内外已有十多家公司发布或更新视频生成模型。今年6月6日,快手发布可灵大模型,系国内首个对标Sora的视频生成大模型产品,支持通过文生视频、图生视频、视频续写功能,生成最长2分钟、30帧的1080P高分辨率视频。

9月19日,可灵再次发布迭代的1.5模型,在画面质量、动态质量、文本响应度等方面均有大幅提升。据披露,目前已有超260万人使用过可灵AI,并累计生成超2700万个视频、5300万张图片。同样是在9月19日,阿里宣布通义万相视频生成功能上线。据介绍,通义万相视频模型支持最长5秒、每秒30帧、分辨率为720P的视频生成,并生成与画面匹配的音效,目前已开放文生视频、图生视频两个创作入口。

9月23日,美图公司宣布美图奇想大模型完成视频生成能力的升级。相关数据显示,美图奇想大模型的单次文生视频时长、单次图生视频时长均达5秒,已支持1分钟、帧率24FPS、分辨率1080P的超长视频生成,支持任意视频尺寸输出。

对于当前激烈竞争的AI视频生成领域,东吴证券分析师张良卫团队此前在研报中认为,在当前的视频生成技术竞赛中,互联网大厂很可能将扮演引领者的角色。该团队认为核心竞争要素在于数据、场景和用户。数据是训练高质量模型的关键,而场景决定了产品的市场适应性和商业潜力,互联网大厂在这三个维度均占优势。