界面新闻记者 |
界面新闻编辑 | 文姝琪
9月24日，字节跳动一口气发布了豆包视频生成-PixelDance、豆包视频生成-Seaweed两款大模型，面向企业市场开启邀测。
目前，新款豆包视频生成模型正在即梦AI内测版小范围测试，未来将逐步开放给所有用户。但从发布会现场展示的视频生成效果来看，无论是语义理解能力，多个主体运动的复杂交互画面，还是多镜头切换的内容一致性，豆包视频生成大模型都表现出不错的效果。
比如，其中一个视频输入是，“特写⼀个⼥⼈的面部，有些⽣⽓，戴上了⼀副墨镜，这时⼀个男⼈从画⾯右侧⾛进来抱住了她。”视频画面显示，其不仅遵循了这个复杂指令，还能够按指令的时序去完成连续的动作，两个主体之间也能比较顺畅的进行交互，而且人物表情也比较准确传达了指令所描述的情绪。
而一位提前拿到内测资格的创作者体验生成的视频也显示，其生成的视频不仅能够遵循复杂指令，让不同人物完成多个动作指令的互动，人物样貌、服装细节甚至头饰在不同运镜下也保持一致，接近实拍效果。
一位多模态大模型科学家看完上述创作者使用豆包视频生成的视频后告诉界面新闻，如果demo效果保真的话，豆包视频生成大模型确实是相当不错了。从学术角度或者模型能力角度来说，其肯定达到了Sora的水平，尤其在在人物动作上非常棒。
字节跳动旗下火山引擎总裁谭待在发布会接受界面新闻等媒体采访时透露，豆包系列大模型并不是按照某个固定的时间计划发布的，有好东西就尽快推出。“我们的逻辑是推出的产品要质量可靠，有充分用户反馈，不能是半成品。就像视频和语言模型发布一样，不一定要抢第一，要推出成熟的产品。”
但在一位行业观察人士看来，这个节点一口气发布两款视频生成模型，对字节跳动更大的意义在于“拥有”。Sora发布之后，国内从业者都期待字节跳动能够第一个做出来中国版Sora，最后却是快手第一个做出来了“可灵”，而且效果还不错，字节跳动必然承受了一些压力。
并未过多公布模型技术细节
据界面新闻了解，豆包视频模型支持黑白、3D动画、2D动画、国画、水彩、水粉等多种⻛格，同时支持1:1、4:3、16:9等多个比例，能够适配电影、电视、电脑、手机等多场景。
相较于可灵等国内其他视频生成模型，豆包视频模型技术细节上略显神秘，并未对外公布太多信息。
此前，快手方面对外公布的信息显示，可灵背后的技术原理和Sora类似，都是把常用于视频生成人工智能的扩散模型与Transformer架构相结合，这有助于其理解更大的视频数据文件并更有效地生成结果。和Sora相比，可灵的一个关键优势是依托于快手短视频平台，数亿用户上传了大量可用于训练可灵的视频数据。
据谭待介绍，豆包视频模型经过剪映、即梦AI等业务场景的持续打磨和迭代，深度优化的Transformer结构，则大幅提升了豆包视频生成的泛化能力。同时，豆包视频生成模型基于DiT架构，让视频在大动态与运镜中自由切换，拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。
他强调，在镜头切换时可同时保持主体、风格、氛围的一致性是豆包视频生成模型的技术创新所在。
界面新闻从多位大模型从业者处了解到，人物动作是当下视频生成模型共同面临的挑战，Sora做得也不够好。目前，Sora看起来主要还是以运镜和基础动作为主，复杂动作比较差，豆包视频模型生成的demo已经有了明显提升。
但这仅限于豆包视频模型生成demo展现出的水准，几位从业者均表示，实际的水准比较难判断。
谭待在采访中明确表示，这两款视频生成模型并不是期货，字节跳动已经在内测API和应用，预计国庆节后会公开更多API。
已规划视频生成模型商用方向
界面新闻在发布会现场发现，此次前来参加发布会的人多到严控进场的程度，绝大多数参会者都是火山引擎的合作伙伴和对大模型有潜在需求的企业客户。
谭待在发布会现场也向这些合作伙伴和潜在客户介绍了豆包视频生成模型的商用方向，包括电商营销、动画教育、城市文旅、微剧本等企业场景，同时也能为专业创作者和艺术家们提供创作辅助。
这和此前可灵探索的商用方向基本一致，但字节跳动更务实一些。可灵推出后，快手高调推出了由可灵深度参与制作的奇幻微短剧《山海奇镜之劈波斩浪》，并于近日联合李少红、贾樟柯等9位知名导演启动了完全依托视频生成大模型制作电影短片“可灵AI”导演共创计划，试图以此来证明视频生成大模型在影视制作领域的可用性。
从《山海奇镜之劈波斩浪》的探索来看，可灵真正深入参与影视剧制作仍然有较大难度。和外界想象差异较大的是，这部微短剧虽然画面均由AI生成，但整部影片并不是又AI一气呵成，而是使用可灵大模型的文生图和图生视频功能生成了很多时长5秒的分镜头，再由后期剪辑团队人工剪辑而成。从成本降幅来看，其带来的价值也不如外界预期的那么大，整体的降幅不超过四分之一。
豆包视频生成模型的侧重点在于电商营销等对视频内容质量要求相对较低的场景中。在上述多模态大模型科学家看来，从目前各个视频生成模型的能力来看，它们距离商用影视创作有多远还有点难说，但应用在电商营销等场景中已经完全够用。
字节跳动并未在发布会上公布豆包视频生成模型在商用场景的定价。谭待表示，视频模型和语言模型应用场景不同，定价逻辑也不同。要考虑新、老体验和迁移成本，而最终能否广泛应用取决于是否比以前生产力ROI提升很多。
但他强调大模型价格已不再是阻碍创新的门槛。今年5月，豆包大模型公布低于行业99%的定价，引领国内大模型开启降价潮。火山引擎披露的数据显示，截至9月，豆包语言模型的日均tokens使用量超过1.3万亿，相比5月首次发布时猛增十倍，多模态数据处理量也分别达到每天5000万张图片和85万小时语音。
在谭待看来，大模型的应用成本已经得到很好解决，行业要从卷价格走向卷性能，支持更大的并发流量正在成为大模型行业发展的关键因素。
