扫码阅读
手机扫码阅读

PIKA正式上线唇形同步 - 给AI视频注入新的"想象"

45 2024-09-29

我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。

查看原文:PIKA正式上线唇形同步 - 给AI视频注入新的"想象"
文章来源:
数字生命卡兹克
扫码关注公众号
文章摘要:PIKA AI产品更新动态

文章摘要:PIKA AI产品更新动态

PIKA AI在沉寂三个月后发布了更新,专注于改善对话效果。与其他AI视频产品不同,PIKA生成的人物可以模拟对话,其唇形会动,增强短片的真实性。PIKA认为,对话是短片中不可或缺的元素,可以提高观众的沉浸感。然而,在PIKA 1.0版本中,唇形动作和语音是不同步的,需要用户手动在其他平台合成语音。

为了解决唇形同步问题,PIKA推出了新的功能,与11Labs合作,整合了TTS(文本到语音)技术。用户可以选择特定的发音人,输入文字生成语音,或上传自己的音频。经过测试,作者建议首先使用视频生成工具,然后再进行唇形同步,以实现更佳的效果和背景变化。

作者通过多个案例测试了新功能,发现使用视频进行唇形同步比直接使用图片效果更好。PIKA的唇形同步功能在想象力上具有优势,但与Heygen和奇妙元相比,仍有提升空间。目前存在的问题包括只支持正脸同步、面部遮挡物识别错误、背景人脸误识别、唇形不稳定和模糊等问题。

尽管如此,由于目前PIKA的唇形同步功能还处于测试版,仍有较大的优化潜力。作者期待PIKA未来在唇形同步上的改进,为AI视频带来新活力。同时,作者暗示在AI配音领域,11Labs可能是最大的赢家。最后,作者鼓励读者点赞、关注、转发,并给予星标支持。

想要了解更多内容?

查看原文:PIKA正式上线唇形同步 - 给AI视频注入新的"想象"
文章来源:
数字生命卡兹克
扫码关注公众号