Sora已到来,现实不存在了?

AI资讯2个月前更新 Alex
2,925 0 0
Sora已到来,现实不存在了?

在2024年2月16号,openAI发布了其最新的研究成果Sora,从其官网介绍可知,sora可以基于详细的文本描述生成60s的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色,和之前各家发布的文生图工具生成的各种各样抽象的图片不同,Sora几乎可以达到电影级别的效果。

Sora已到来,现实不存在了?

不过目前openAI并没有向大众开放这一功能,截止目前也只向一部分专业人士开放,我们也只能在openAI官网上欣赏已经生成好的视频。

下面的这段sora生成的视频里,一位女士身穿黑色皮衣、还有多镜头,包括从大街景慢慢的切入到对女士的脸部表情的特写,以及潮湿的街道反射霓虹灯的光影效果,总体上效果非常惊艳!

 

01 sora的基本原理

OpenAI 也发布了一份关于 Sora 详细的技术报告,介绍了其背后的技术原理和应用。

那么,Sora 是如何实现这一突破的呢?受到 LLM 成功实践经验的启发,OpenAI 引入了视觉块嵌入代码(patches),这是一种高度可扩展且有效的视觉数据表现形式,能够极大地提升生成模型处理多样化视频和图像数据的能力。

 

Sora已到来,现实不存在了?

在高维度空间中,OpenAI 首先将视频数据压缩至一个低维潜在空间,然后再将其分解为时空嵌入,从而将视频转化为一系列编码块。

接下来,OpenAI 训练了一个专门用于降低视觉数据维度的网络。该网络以原始视频作为输入,输出的潜在表示在时间和空间上都经过了压缩。Sora 正是在这个压缩后的潜在空间中进行训练,并在该空间内生成视频。

此外,OpenAI 还训练了一个解码器模型,能够将这些潜在表征还原为像素级的视频图像。

通过对压缩后的视频输入进行处理,研究人员能够提取出一系列的时空 patchs,这些 patchs 在模型中扮演着类似于 Transformer Tokens 的角色。

采用基于 patchs 的表现形式,Sora 能够适应不同分辨率、持续时间及宽高比的视频和图像,在生成新视频内容时,可以通过将这些随机初始化的 patchs 按照需要的大小排列成网格,来控制最终视频的大小和形式。

 

Sora已到来,现实不存在了?

尽管上述原理听起来颇为复杂,但实际上 OpenAI 所用到的这项新技术——视觉块嵌入代码(简称视觉块),就好比是将一堆杂乱无章的积木整理好放入一个小盒子中。如此一来,即便面对众多积木,只要找到了这个小盒子就能轻松找到所需积木。

由于视频数据被转化为了一个个小方块的形式,当 OpenAI 向 Sora 提供一个新的视频任务时,他们首先会从该视频中提取出一些包含时间和空间信息的小方块。随后将这些小方块交给 Sora 让其根据这些信息生成新的视频。

这样就可以像拼拼图一样,把视频重新组合起来。这样做的好处是,计算机可以更快地学习和处理各种不同类型的图片和视频。

随着 Sora 的训练越来越深入,OpenAI 的研究人员还发现随着训练计算量的增加,样本质量得到了显著提高。

OpenAI 发现直接在数据的原始尺寸上进行训练具有诸多优势:

  • Sora 训练时没有对素材进行裁切,使得 Sora 能够直接按照不同设备的原生宽高比创建内容。
  • 在视频的原生宽高比上进行训练,能够显著提升视频的构图与布局质量。

Sora已到来,现实不存在了?

此外,Sora 还具有以下特性:

训练文本到视频生成系统需要大量带有文字标题的视频。OpenAI 将在 DALL·E 3 中引入的重新标注技术应用到视频上。

类似于 DALL·E 3,OpenAI 利用 GPT 将用户的简短提示转换成更长的详细说明,然后发送给视频模型,从而使得 Sora 能够生成高质量的视频。

除了可以从文字转化而来,Sora 还能接受图片或已有视频的输入。这项功能让 Sora 能够完成各种图片和视频编辑任务,比如制作无缝循环视频、给静态图片添加动画效果、延长视频的播放时间等。

 

02 现实和虚拟的界限正在消失

sora基于对语言的深刻理解,可以准确理解用户的指令,把握这些元素在现实世界中的表现形式,可以对角色、动作类型、视角、背景的细节进行精确的描绘,现实和虚拟之间的界面几乎达到了无法分辨的程度。

在sora之前,网络有个梗“众所周知,视频是不能P的”,sora之后,新的时代已经来临,视频完全可以从无到有,眼见不一定为实。

当然,sora现在仍然有很大的缺陷,比如不能准确的模拟真实的物理现象,比如下图,玻璃跌落之后,仍然没有碎裂,不过这些问题的解决都是时间问题。

Sora已到来,现实不存在了?

 

03 sora时代的机会

sora的诞生是一个里程碑式的进步,各行各业都有非常大的应用潜力。

首先影响最大的就是视频应用行业,比如自媒体up主、广告行业,原先需要专业团队进行使用专业的软件工具进行渲染而成的素材,一个普通的个体户就可以通过关键词引导AI生成电影级别的画面,提高自己的内容质量;

只要有照片,借助sora也可以帮助一些想念的亲人在视频里“生活”以缓解思念之情;

sora可以给游戏开发者提供丰富的视觉素材,加速游戏内容的创作过程;可以应用在交互式的游戏内容生成中,增强玩家的用户体验。

应用在AR/VR/MR中,sora可以为用户搭建复杂而逼真的虚拟环境(再也不用看虚拟的动画场景了),在虚拟世界里,用户就是虚拟世界的上帝,可以生成任何用户想看到的场景;戴上MR眼镜,如果觉得对象的颜值不满意,可以直接让AI将人脸替换成刘亦菲、古天乐的脸,每天和不同的帅哥美女谈恋爱。。。

在科学研究和工程应用上,可以生成复杂的物理现象,比如流体动力学、天体运动等。

sora也让伪造视频变得更加容易,肖像权的保护更为重要,打个比方,谁也不想看到有一天被仇家拿自己的照片使用AI生成一段在吃“shi”的视频在网上传播。

所以在积极推动人工智能技术应用的同时,加强对其负面影响的监控,在法律上及时跟上,才能更好的迎接AIGC时代的来临。

来源:徐之

© 版权声明

相关文章