编辑  | 言征出品 | 51CTO技术栈(微信号:blog51cto)上周，OpenAI的第一个视频生成模型Sora在互联网上疯传。然而，与此同时，一批来自竞争对手公司的人工智能专家和研究人员迅速分析和批评了Sora的Transformer模型，引发了物理辩论。 Gary人工智能科学家 Marcus也在其中，他不仅批评Sora生成视频的准确性，还直接将矛头指向视频合成的生成人工智能模型。图片1、OpenAI的竞争对手联合在一起！Sora的扩散模型结构引起了Meta和谷歌研究人员的怀疑，他们认为这个模型并没有真正理解物理世界。LeCun认为，仅仅从提示中生成看似逼真的视频并不意味着系统地理解物理世界。他指出，生成与世界模型中的因果预测非常不同。看似合理的视频空间很大，视频生成系统只需要成功生成样本。LeCun也有自己的解决方案——Meta最新的AI模型V-JEPA与Sora不同，JEPA不是生成性的，而是在表示空间中进行预测。这是为了使V-JEPA的自我监控模型看起来优于Sora的扩散Transformer模型。Eric研究员也是企业家 Xing支持Lecun的观点，他说：“基于理解的代理模型必须超过LLM或DM。”Gemini Pro 1.5发布的时机再好不过了。Sora制作的视频是在Geminini 1.5 在Pro上运行，模特批评视频中的不一致性，认为“这不是真实场景”。马斯克紧随其后。他说，特斯拉的视频生成能力在预测精确物理方面优于OpenAI。尽管专家们很快否认了生成模型的能力，但对模型背后“物理”的理解却被忽视了。2、真正懂物理的Transformer？Sora使用类似GPT模型的Transformer架构，OpenAI相信该基础将“理解和模拟现实世界”，这将有助于实现AGI。虚幻引擎5生成的数据虽然不被称为物理引擎，但可以用来训练Sora的底层模型。Jim，NVIDIA高级研究科学家 通过解释数据驱动的物理引擎，Fan澄清了OpenAI的Sora模型。“Sora通过大量视频梯度下降，在神经参数中隐含学习物理引擎，”他说。他称Sora为可学习模拟器或世界模型。范也表达了他对Sora简化论的反对。“我看到一些声音反对:‘Sora不是在学物理，它只是在操纵2D中的像素’。我恭敬地不同意这种简化主义的观点。这类似于说，‘GPT-4不是在学习编码，而是在采样字符串。好吧，transformer所做的就是操纵整数序列(令牌ID).神经网络只操纵浮点数。他说：“这不是正确的论点。3、Perplexity创始人Aravindity仍处于GPT-3时刻 Srinivas最近一直在社交媒体上发言，他还发言支持Lecun。“现实是，Sora虽然令人惊叹，但还没有准备好准确模拟物理。有趣的是，OpenAI本身在任何人指出之前就已经指出了模型的局限性。该公司的博客称，Sora可能很难准确地模拟复杂场景的物理特征，因为它可能无法理解因果关系的具体例子。它还可能与提示的空间细节混淆，如遵循特定的相机轨迹。Fan还将Sora比作2020年的“GPT-当时模特需要“大量的提示和标记”。然而，这是“第一次令人信服地证明上下文学习是一个新的特征”。当前的限制不会影响产生的输出质量。去年8月，当OpenAI收购数字产品公司Global时 Illumination，当公司创建开源游戏Biomes(类似于我的世界)时，通过自动代理构建视频生成和模拟模型平台的范围是一些猜测。现在，随着Sora的发布，颠覆电子游戏产业的可能性只会升级。如果Sora处于GPT-3时刻，那么它的GPT-4时刻该如何理解呢？在此之前，怀疑论者将继续辩论，并可能给对方上一两节课。图片4、Meta 昨天，Meta和Lecun支持的答案Open 人工智能Sora共同发布了一种新的人工智能模型，称为视频联合嵌入预测架构（V-JEPA）。V-通过分析视频中对象之间的交互，JEPA提高了机器对世界的理解。该模型延续了Meta副总裁兼首席人工智能科学家Yann LeCun的愿景是创造类似于人类学习的机器智能。 去年发布的I-JEPA的第五次迭代已经从抽象的比较图像而不是像素本身扩展到视频。除了空间信息外，还引入了时间(基于时间)动力学的复杂性，通过学习图像到视频来促进预测方法。V-JEPA预测视频中缺失的部分，而无需重新创建每一个细节。它从未标记过的视频中学习，这意味着它可以开始学习，而不需要人类分类的数据。 这种方法使V-JEPA更有效，需要更少的训练资源。该模型特别擅长从少量信息中学习，比旧模型更快，资源密度更低。该模型的开发包括屏蔽大多数视频。这种方法是让V-JEPA在没有详细数据的情况下，根据有限的上下文进行猜测，帮助他们理解复杂的场景。V-JEPA关注的是视频中发生的事情的总体概念，而不是具体的细节，比如树上单叶的运动。V-JEPA在测试中显示出有希望的结果，它使用了一小部分通常需要的数据，优于其他视频分析模型。这种效率被认为是人工智能向前迈出的一步，使其能够在不进行广泛再培训的情况下将模型应用于各种任务。 未来，Meta计划将扩展V-JEPA的功能，包括增加声音分析，提高其理解长视频的能力。 这项工作支持Meta更广泛的目标，即促进机器智能，使其更像人类一样执行复杂的任务。V-JEPA是基于知识共享的非商业许可证，允许世界各地的研究人员探索和建立该技术。