英伟达投资视频AI效果直逼“电影级”，服务器被挤爆火了
6月13日，由硅谷知名创投公司安德森·霍洛维茨（Andreessen Horowitz，简称a16z）投资的美国初创公司Luma AI，宣布推出其文生视频/图生视频模型Dream Machine，并免费向公众开放。消息一出，瞬间吸引了大批用户前来使用，服务器一度被挤爆。Dream Machine高质量的生成效果也获得了不少网友的好评。
图片来源：Luma官网
Dream Machine：生成视频质量高、免费向公众开放试用！就在今天，Luma AI首发了自己的视频生成模型Dream Machine，可以通过文字或图片生成高质量的逼真视频。更重要的是，API免费向全球用户开放试用，用户进入官网后用谷歌账号登录即可马上试用。
图片来源：X
每位用户每月可以免费生成30次视频，但每条视频的时长仅为5秒。如果需要生成更多视频，则需要订阅付费服务。
图片来源：Dream Machine
尽管该模型承诺，在120秒内生成一个包含120帧的高质量视频。但实际上，许多用户表示，他们需要在Dream Machine网站上排队等待数小时，才能得到生成的视频，社交媒体上抱怨声不断。有网友表示：“苦苦等了俩小时，啥也没有。”
图片来源：Reddit
对此，Luma AI的增长负责人戴高乐（Barkley Dai）在该公司的Discord频道上回应：“目前我们面临极高的需求，正在努力增加我们的处理能力。所有生成的内容不会丢失，只是大家会暂时排队等待。”
图片来源：Discord
不过好在，Dream Machine的视频生成表现，没有辜负网友们的耐心等待。从Luma官方发布的demo就可以看出，其生成的视频可谓是“电影感”十足。
图片来源：Luma官网
Dream Machine生成的视频，不仅有比较好的连贯性，镜头的艺术感也非常不错。它还支持自由变换摄像机视角，实现追踪、环绕和俯视等效果，让摄像机运动更加流畅自然，用户可以轻松尝试各种电影化的摄像机移动，制作出更具吸引力的视频。此外，demo还单独强调了一些模型能力，比如生成各种动态以及具有表现力的人物。
图片来源：Luma官网
尽管Luma的Dream Machine在视频生成方面表现出色，但它仍然存在一些不足之处。
例如，在形态转换和运动捕捉方面，仍需进一步优化和改进。不过，Luma Labs团队在其官网上，表明他们已经意识到这些挑战的存在，会持续努力解决的。
Luma AI：完成4300万美元B轮融资的初创公司Luma成立于2021年，聚焦于3D内容生成的计算机视觉，公司定位于建立多模态人工智能，拓展人类想象力和能力。今年1月，Luma完成了由a16z独家投资的4300万美元B轮融资。此前，Luma在A轮融资中获得了英伟达等知名机构的投资。
图片来源：Luma官网
Luma的主要业务为使用AI技术生成高质量的3D角色和场景，公司的技术和产品包括使用深度学习和计算机视觉算法的 Text-to-3D（文字生成3D）、Video to 3D（视频生成3D）、 Image to 3D（图片生成3D）等技术以及开发的 LumaNeRF 算法，可以用于快速生成各种类型的3D模型。
产品主要应用场景包括生活记录、游戏制作、动画和影视制作、商品展示和销售、地图和导航、机器人等。
图片来源：Tracxn
阿米特·贾因（Amit Jain）是Luma AI的创始人兼CEO，毕业于密苏里谷学院的数学与计算机科学专业，在3D计算机视觉、机器学习等方面有着丰富的经验，曾在Apple的AR/VR 部门任职。另一位联合创始人兼CTO余思贤（Alex Yu），毕业于UCB计算机科学与应用数学专业。曾与人工智能研究实验室教授金泽安珠（Angjoo Kanazawa）共同进行NeRF相关的 3D 计算机视觉研究，并曾在Adobe和Google实习。
图片来源：Luma官网
综合公开消息
