跳到正文
The Verge · AI· Jess Weatherbed·· 4 小时前AI 评分42

Adobe 在 Max 大会展示 AI 实验项目:让照片变成 3D 场景、与 AI 角色对话定妆

Adobe’s AI experiments let you walk around in photos and interview your characters

AI 导读

Adobe 在 Max 大会上发布四项实验性技术预览。Project Screen Test 可通过与 AI 角色对话式“试镜”来塑造其性格与声音;Project Sight Span 把照片。

正文 · AI 翻译

Adobe 每年在其年度 Max 大会上展示的最令人印象深刻的技术之一,就是其正在开发的实验性功能,而这些最新工具于今日正式公布:它们可以将图像转化为可探索的 3D 场景、通过对话来设计 AI 角色,以及把照片编辑变成一种复制/粘贴式的过程。

第一个(在我看来也是最怪异的)是 Project Screen Test,旨在让 AI 生成的角色更易于开发和用于视频内容。它不只是让你在文本提示中描述角色应该听起来如何、如何表现,而是让你在一个类似试镜的环境中与角色对话并进行“执导”。你首先要描述一些基本性格特征,例如“焦虑、害羞、笨拙”,并为角色赋予声音——可以选择预设音色、在提示中描述声音效果,或上传参考音频样本。

接着,你可以通过与角色交谈(就像在进行 FaceTime 视频通话一样)来进一步细化其人设,勾勒其背景故事、性情、目标、缺点、恐惧、动作习惯等等。一旦满意,该工具就能让你通过描述想要放置角色的环境或场景,生成角色的动画试镜片段。

This Personality tab lets you manually adjust any of the traits that were generated for the character by talking to it.

这目前是一个独立的创意练习,尚不清楚它如何(或是否)会融入 Adobe 现有的任何 AI 视频工具。与我见过的许多毫无灵魂的 AI 动画角色相比,其结果呈现出更鲜明、更连贯的个性,但这正是它存在的全部意义所在——与传统动画相比,AI 视频生成所提供的创作控制权要少得多,而传统动画中角色的每个细节都承载着绝对明确的创作意图。

还有 Project Sight Span,它通过将照片和图像转化为一个可供浏览和重新定位的 3D 环境来重构它们。这个 3D 空间会生成原始画面之外的对象和背景,却让人觉得它们是图像的自然组成部分——即使你转身查看身后也是如此。虽然 3D 环境中的视觉效果呈像素化且轮廓模糊,但当你选定视角时,分辨率质量会得到恢复。

This still doesn’t really do Project Sight Span justice, but a video demonstration should take place at the Adobe Max sneaks keynote.

Sight Span 适用于任何平面图像,包括照片、绘画和插画,并能够保留和复刻艺术风格。即便是照片中经过重新定位的纹身和面部特征,也依然出奇地清晰可辨、忠于原始参照。它有点像 Apple 的 Spatial Reframing 功能的增强版:你可以更大幅度地重新定位,甚至完全改变拍摄点,但这也让人愈发觉得,之后的结果已不太配被称作一张照片了。

Project Sound Bender 是一项 AI 音频混音功能,可以让你像点击光标在色轮上一样自定义音效。使用方法是上传一段视频片段,然后用文字提示描述你想要的音频,例如“冒泡的科幻坩埚声”。Sound Bender 随后生成音效并自动同步到视频中,并提供一个方形声音画布,让你实时调整声音。画布的每个角都会自动分配一个相关的 AI 生成音效,例如密集的咕噜声伴着气泡爆裂声、隆隆作响的沸腾岩石、音调起伏的水滴声和噼啪作响的电火花声。你可以在画布上拖动光标来选择哪些声音最突出,或者用不同的音效自定义每个角。

Dragging your cursor around that square on the left changes the AI-generated audio as you’re listening to it.

Adobe 还展示了 Project Rinse Repeat,它可以让你复制编辑效果,然后自动将其应用到同一张照片中的其他物体或人物上。例如,如果你费尽心思地为某个人修掉了痘痘或瑕疵,Rinse Repeat 会将你的具体修改调整并应用到一组人中需要类似修饰的其他任何人身上。它还可以用来为营销图形中的产品添加阴影,即使物体的形状和大小各不相同。Rinse Repeat 以 Photoshop 为基础构建,你应用到其他对象上的编辑效果仍然可以完全编辑,因为该工具是使用 Photoshop 原生工具来重建这些效果的。

这些“Sneaks”是一些技术预览,可能最终会开发成 Adobe Creative Cloud 应用或 Firefly 平台的工具,因此不能保证它们一定会成为正式推出的功能。不过,几乎所有这些项目都是围绕 Adobe 的生成式 AI 进展构建的,鉴于 AI 工具如今在公司的增长战略中扮演着核心角色,至少有一部分实验性功能很有可能会正式发布。这些 AI 实验虽然看起来古怪有趣,但它们也是一种预兆。如果它们足够实用,那就意味着 AI 最终可能会取代创意专业人士目前使用的工具和素材库,无论他们对这项技术的感受有多复杂。

这些 Sneaks 的一个显著主题是让复杂的照片编辑、电影制作和音频混音工作流程变得更易于上手和直观,将它们改造成更具互动性且更容易使用的东西。在某些情况下,这些功能几乎像是玩具,但好处是能让你对创意项目做出实用的修改。

“让这些交互更直观,也是为了给经验丰富的创意人士提供更精确的控制,”Adobe 资深首席研究科学家 Gautham Mysore 告诉 The Verge。“Sound Bender 的声音探索能力和 Sight Span 的摄像机定位就是专业人士如何运用自己的判断力并更直接地完善结果的例子。创意意图与控制之间的这种联系,正是我们探索的重要内容之一。”

关注本报道的话题和作者,以便在您的个性化主页信息流中看到更多类似内容,并接收电子邮件更新。

  • Jess Weatherbed

来源: The Verge · AI · theverge.com