AI 已经可以用文本来直接生成视频了

AI 可以从人类的脑电波中重建图像

来自新加坡国立大学、香港中文大学和斯坦福大学的研究人员的研究显示，他们已经可以训练 AI 仅以脑电波来重现人们所看到的照片，而且准确度也惊人的高。

在去年 11 月发表的一篇论文中，由 Zijiao Chen 领导的团队在 fMRI（功能性磁共振成像）机器内查看了 1000 多张图像时，对参与者进行了脑部扫描。

在向参与者展示的 1000 张图片中，有一张红色救火车、一座灰色建筑、一名棒球运动员和一只吃树叶的长颈鹿。

随着时间的推移，机器记录了由此产生的大脑信号。然后，研究人员通过人工智能模型发送这些信号，以训练它把特定的大脑模式与特定的图像联系起来。

在此过程之后，参与者会在 fMRI 机器中看到新图像。该系统检测到患者的脑电波并生成脑电波相关图像的速记描述。然后系统使用 AI 图像生成器生成它推断参与者看到的图像。

根据 NBC 的新闻报道，生成的图像与显示给参与者的原始图像在颜色及形状等特性上有着大约 84% 的相似度。

不过目前在根据 fMRI 的数据重新创建图像之前，则需要大约 20 个小时来训练 AI 模型以了解每个人的大脑活动。

研究人员相信，这项技术可以在未来十年内为所有人所用。到时候，人类就连智能手机都不再需要了，只需要思考就可以了。

只不过，对于我这样没事就喜欢天马行空天南海北胡思乱想满宇宙神游的人，会生成什么样的图像？

Picsart 开发了一种可以从文本到视频的AI模型

Picsart 的人工智能研究团队 (PAIR) 建立了一个新的生成模型，可以仅从文本描述来生成全新的视频内容。

该技术通常被描述为文本到视频的生成人工智能 (AI)，已作为开源演示在 Twitter 上发布，并已在 GitHub 和 Hugging Face 上发布。其背后的团队还发表了一篇描述该方法的研究论文。

“最近的文本到视频生成方法依赖于计算量大的训练，并且需要大规模的视频数据集。在论文中，我们介绍了零样本文本到视频生成的新任务，并通过利用现有文本到图像合成方法（例如，Stable扩散），使它们适用于视频领域。”研究人员解释道。

目前文本到视频的生成 AI 的最主要的问题是，虽然所创建内容的总体思路是一致的，但其呈现方式却并非如此。主要主体往往在帧与帧之间看起来略有不同，背景也不一致，这使得完成的视频看起来一切都在不断运动，因此缺乏真实感。该团队正在试图解决这个问题。

研究人员解释说，与文本到视频生成的其他尝试相比，他们的关键修改涉及“用运动动力学丰富生成帧的潜在代码”，这使他们能够保持全局场景和背景时间的一致性。与许多其他生成视频系统相比，他们还设法更好地保留了前景主体的背景、外观和身份。

“一只可爱的猫在草地上奔跑”

“一名宇航员正在滑雪下山”

新的生成式 AI 不仅可以根据文本描述来生成视频：它还可以用于更改现有视频的表现形式，例如下面的例子，通过要求 AI “make it Van”来更改天鹅的视频梵高星夜风格。”

与大多数可能需要数月或数年才能公开部署的研究项目不同，PAIR 文本到视频生成 AI 系统很快就会面向客户。 Picsart 表示，它计划在未来几周内推出基于这种生成式 AI 框架的新软件产品。

Picsart 并不是唯一在文本到视频 AI 方面取得进展的公司。谷歌一直在开发一个类似的程序，Meta 同样也在开发中，上周 Runway 也发布了第二代文本到视频生成器，不过这是第一个公开可用的生成器。