郭一璞 发自 凹非寺
量子位 报道 | 公众号 QbitAI
人工智能技术,现在可以实现自动剪视频了。
只要有一篇现成的图文链接,AI就可以根据图文描述的主题,重新组织语言,自动搜寻素材,剪出一条短视频。
换句话说,如果看到有意思的新闻却懒得读文章,那就把你在读的这篇文章的地址输入给AI,文章就自动变成了短视频。
而且,这个过程只需要几分钟的时间,完全无人化自动操作,你下楼买了杯咖啡,视频就自动做好了。
这个“AI做视频”技术来自百度研究院,产品的名字,叫做VidPress。你看,它可以自己做一条视频,来报道自己的出生:
看起来就像正常的电视新闻一样。这下,视频编辑们再也不用为了搜素材、改脚本、加特效、渲染导出而加班熬夜了。
做视频的AI
本质上,VidPress是做的事情是“图文转视频”,把人类写好的图文稿件重新编辑成视频,可以参考一下上面视频内容的原文:
比较之下,你会发现视频和文章的文案部分都是类似的,但视频中用到的素材却远不止文章中这么少,增加了许多人物和场景的动态镜头,而且相当契合主题。
那一定是用语音合成做了配音部分,然后视频编辑随手搜了几个视频素材放上去了咯?
非也。整个视频都是AI生成的,视频编辑只需要给出一篇文章的链接,过几分钟,热腾腾的视频就出锅了。
不信往下看。
只要有链接,视频自动生成
用VidPress来做视频,不需要视频编辑有任何技术背景,会复制粘贴就行。
首先,把需要改成视频的文章地址复制,粘贴到VidPress。
然后,选择用哪个声音合成,确定所需视频的长度以及分辨率。
现在,视频编辑就可以放手让AI开始工作了。
获得图文内容后,AI会借助NLP模型进行语义理解,用主题模型聚合相关新闻和素材。
之后,需要分别完成音频和图像的编辑工作。
音频方面,系统会用多种语言模型处理解析原文,生成解说词,之后借助语音合成技术变成音频。
而图像方面,原文中的图片肯定是不太够的,需要再搜寻更多视频和图片素材。素材的来源可以是视频编辑自己的素材库,也可以直接实时的用百度搜索来找素材。
找到素材后,需要借助人脸识别、物体识别、OCR、视频内容理解等技术来解析理解视频素材的内容,自动剪切选取合适的片段。
有了视频素材和解说词音频文件,需要把两者合二为一。在这个任务上,百度自研了两代对齐算法,第一代对齐算法是基于段落的对齐,第二代则是基于锚点的时间轴对齐算法。
第二代对齐的算法首先需要找出解说词里观众的兴趣点,然后再将搜到的素材和这些兴趣点,进行相关度打分,综合考虑素材的来源、相似度、图片/视频内容的贴合度、内容质量等方面。
之后,得分高的素材就率先被翻牌子,放到视频时间轴里兴趣点的位置。而剩下的素材就会被填充到空隙里,最后再对整个时间轴的内容分布进行调整。
现在,AI就把视频做好了,渲染一下,就是一个完整的视频。
这个过程只花费几分钟后。当编辑再次切回VidPress页面,视频已经自动生成好了,还自动配好了字幕。
之后,编辑也可以人工修改。如果觉得某一部分的文案不够好,可以替换编辑成所需的文案重新导出视频。
胜在速度
诚然,VidPress目前还无法完成真人视频博主那样专门策划拍摄的短视频作品,但是如果用来做新闻简讯类视频,那VidPress的水平已经足够实现商业应用了,除了没有真人播音员,做出来视频的样子和以前的电视新闻节目十分类似。
但是它胜在速度太快,生成一条视频可能只要十几分钟,而其中一半的时间都是AI在自动工作,人类视频编辑只要粘贴链接,设置好声音时间分辨率就行了,再也不用苦苦守在电脑前剪视频了。
可以说,用这种方式来工作,做视频的时间比往各个平台发视频的时间都短,以前一小时的工作,可能现在10分钟就能完成,再也不用加班熬夜,短视频编辑们要笑着迎接955了。
有了这样的剪辑效率,当瓜来了的时候,别的编辑还在哼哧哼哧找素材剪视频,用VidPress的编辑已经做好了视频,发给了吃瓜群众,还没等撤热搜就可以收获10W+,美滋滋。
目前,VidPress生成一个2分钟左右的720p视频, 所需时间的中位数仅为2.5分钟。
而在百度好看视频内部,整个平台每天可以生产500到1000条视频,而且这些视频所围绕的新闻热点都是系统自动发现、自动生成的。只要服务器在跑,即使躺在家里,平台上就会有源源不断的视频出现,并自动分发给观众。
如此高的生产效率,简直是短视频领域的一记惊雷。
如今短视频火得一塌糊涂,正处红利期,无论是腾讯、头条还是百度自己,都在争相自研或投资短视频平台,这类工具一旦开放,会是大大小小创作者、MCN们争抢市场的巨大机遇,AI制造的短视频,会像当年的中国制造一样,涌入各个视频平台,成为新的一波流量收割机。
毕竟,图文内容的生产成本,可比视频内容低得多,只要写好文章,分分钟就会有配套的视频出来,同一份辛勤,收获多几倍的流量,那么至少在目前阶段,这类AI生成视频就是触手可得的红利。
或许不久之后,大家就可以看视频版的量子位了呢。