北京
分享至
最近，来自KAUST和哈佛大学的研究人员提出了MiniGPT4-Video——专为视频理解而设计的多模态大模型。背后技术是通过将视觉特征转化为LLM空间，从而实现了对单幅图像的理解，然后使模型通过输入多帧训练来理解视频。
MiniGPT4-Video能够同时处理时态视觉数据和文本数据，因此善于理解视频的复杂性。比如上传一个某个品牌的宣传视频，MiniGPT4-Video能够为其配出标题以及宣传语；看过一簇簇花盛开的视频，MiniGPT4-video还可以即兴作出抒情诗。
“有意见”留言板
@剪辑尸：演示效果很棒，实际体验翻车的产品太多了，尤其是直接生成视频的方式，目前还是挺容易失败的，MiniGPT4-Video看起来实用性一般，但是AI终于能看懂视频的做法了，也许以后能有助于提高视频生成的成功率吧。
@PD：这种模型的能力在于它不仅可以识别视频中的视觉元素，还能理解视频中的语境和情感，这对于自动内容生成、视频摘要、广告创意和许多其他应用来说是非常有价值的。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
