Pika放大招：今天起，视频和音效可以“一锅出”了！

　　量子位 | 公众号 QbitAI

　　就在刚刚，Pika发布了一项新功能：

　　生成的方式有两种：

　　并且Pika非常自信地说到：“如果你觉得音效听起来很棒，那是因为它确实如此”。

　　话不多说，我们直接来听一下。

　　【效果见：https：//mp.weixin.qq.com/s/E0FF4ZAViTrWdq7R2bQTCg】

　　车鸣声、广播声、鹰叫声、刀剑声、欢呼声……可谓是声声不息，并且从效果上来看，也是高度与视频画面匹配。

　　不仅是发布的宣传片，Pika官网现在也放出了多个demo。

　　例如无需任何prompt，AI只是看了眼烤培根的视频，便可以配出毫无违和感的音效：

　　【效果见：https：//mp.weixin.qq.com/s/E0FF4ZAViTrWdq7R2bQTCg】

　　再如给一句prompt：

　　Pika便可以在生成视频的同时配上声音，从效果中不难看出，烟花绽放的瞬间，声音卡点也是相当的精准：

　　【效果见：https：//mp.weixin.qq.com/s/E0FF4ZAViTrWdq7R2bQTCg】

　　大周末的发布这样一个新功能，网友们在高呼Pika“够卷、够Awesome”的同时，也有人认为：

　　那么Pika的Sound Effects具体要如何操作，我们继续往下看。

　　Pika给视频生成音效的操作也是极！其！简！单！

　　例如只需一句prompt，视频和音效就能“一锅出”：

　　相比于此前生成视频的操作，现在只需开启下方“Sound effects”按钮即可。

　　让我们听一下生成效果：

　　【效果见：https：//mp.weixin.qq.com/s/E0FF4ZAViTrWdq7R2bQTCg】

　　第二种操作方式，就是在生成了视频过后，可以单独给它配音。

　　例如在下面这个视频，点击下方的“Edit”，再选择“Sound Effects”：

　　然后可以描述一下自己想要的声音，例如：

　　然后短短几秒后，Pika就可以根据描述和视频生成音效，而且还是6种声音可选的那种！

　　【效果见：https：//mp.weixin.qq.com/s/E0FF4ZAViTrWdq7R2bQTCg】

　　值得一提的是，Sound Effects功能目前只对超级合作者（Super Collaborator）和Pro用户开放测试。

　　不过Pika也表示：“我们很快就会向所有用户推出该功能！”

　　然后现在已经有一批网友在开始测试这个Beta版本了，并且表示：

　　【效果见：https：//mp.weixin.qq.com/s/E0FF4ZAViTrWdq7R2bQTCg】

　　再如“壁炉里火焰的声音”，是这样的：

　　【效果见：https：//mp.weixin.qq.com/s/E0FF4ZAViTrWdq7R2bQTCg】

　　这位网友还用了额外的工具，在Pika生成效果的基础上，还让视频里的人物开口说话：

　　【效果见：https：//mp.weixin.qq.com/s/E0FF4ZAViTrWdq7R2bQTCg】

　　想要尝鲜Pika新功能的小伙伴，可以蹲一波Sound Effects的全面开放了。

　　至于Sound Effects背后的原理，虽然Pika此次并没有公开，但在此前Sora大火之后，语音初创公司ElevenLabs就出过类似的配音功能。

　　当时，英伟达高级科学家Jim Fan就对此做过较为深入的分析。

　　他认为，AI学习准确的视频到音频映射还需要对潜在空间中的一些“隐式”物理进行建模。

　　他详细说明了端到端Transformer在模拟声波时需要解决的问题：

　　所有这些都不是显式的模块，而是通过大量的（视频，音频）对的梯度下降学习来实现的，这些视频和音频对在大多数互联网视频中自然地时间对齐。注意力层将在它们的权重中实现这些算法，以满足扩散目标。

　　除此之外，Jim Fan当时表示英伟达的相关工作并没有这样高质量的AI音频引擎，不过他推荐了一篇MIT五年前的论文The Sound of Pixels：

　　感兴趣的小伙伴可以戳文末链接详细了解一下。

　　在多模态这件事上，LeCun在最新访谈中的观点也很火爆，他认为：

　　因此，LeCun总结到：

　　那么，你赞成这种观点吗？

　　参考链接：

　　[1]https：//twitter.com/pika_labs/status/1766554610188095642

　　[2]https：//www.youtube.com/watch？v=WirmtLi47q4

　　[3]https：//pika.art/home

　　[4]https：//www.youtube.com/watch？v=5t1vTLU7s40

　　[5]https：//twitter.com/DrJim Fan/status/1759287778268025177

　　[6]http://sound-of-pixels.csail.mit.edu/