AIGC—创新地图—游戏¶

游戏中的AIGC革命 第二部分——创新地图¶

市场现状¶

我们已经创建了一个市场地图来捕获我们在每个类别中发现的公司列表，我们在这些类别中看到生成 AI 影响游戏。这篇博文逐一介绍了这些类别，对其进行了更详细的解释，并重点介绍了每个类别中最令人兴奋的公司。

我们已经创建了一个市场地图来捕获我们在每个类别中发现的公司列表，我们在这些类别中看到生成 AI 影响游戏。这篇博文逐一介绍了这些类别，对其进行了更详细的解释，并重点介绍了每个类别中最令人兴奋的公司。

2D图像¶

根据文本提示生成二维图像已经是生成式人工智能应用最广泛的领域之一。Midjourney 、Stable Diffusion和Dall-E 2等工具可以从文本生成高质量的 2D 图像，并且已经在游戏生命周期的多个阶段进入游戏制作。

概念艺术

生成式 AI 工具擅长“构思”或帮助游戏设计师等非艺术家快速探索概念和想法以生成概念图，这是制作过程的关键部分。例如，一个工作室（保持匿名）正在使用其中的几个工具来从根本上加快他们的概念艺术过程，只需要一天就可以创建一个图像，而以前需要长达 3 周的时间。

首先，他们的游戏设计师使用 Midjourney 探索不同的想法并生成他们觉得鼓舞人心的图像。

这些被移交给专业的概念艺术家，他们将它们组装在一起并在结果上绘画以创建一个单一的连贯图像 - 然后将其输入到 Stable Diffusion 中以创建一系列变化。

他们讨论这些变化，选择一个，手动绘制一些编辑——然后重复这个过程，直到他们对结果满意为止。

在那个阶段，最后一次将此图像传回 Stable Diffusion 以“升级”它以创建最终的艺术作品。

二维制作艺术

一些工作室已经在尝试使用相同的工具来制作游戏中的艺术品。例如，这里有一篇来自 Albert Bozesan 的精彩教程，介绍如何使用 Stable Diffusion 创建游戏中的 2D 资产。

3D图稿¶

3D 资产是所有现代游戏以及即将到来的元宇宙的基石。虚拟世界或游戏关卡本质上只是 3D 资产的集合，经过放置和修改以填充环境。然而，创建 3D 资产比创建 2D 图像更复杂，并且涉及多个步骤，包括创建 3D 模型和添加纹理和效果。对于动画角色，它还涉及创建内部“骨架”，然后在该骨架之上创建动画。

我们看到几家不同的初创公司都在追逐这个 3D 资产创建过程的每个阶段，包括模型创建、角色动画和关卡构建。然而，这还不是一个已解决的问题——还没有任何解决方案准备好完全集成到生产中。

3D资产

试图解决 3D 模型创建问题的初创公司包括 Kaedim、Mirage和 Hypothetic。更大的公司也在关注这个问题，包括 Nvidia 的 Get3D 和 Autodesk 的 ClipForge。Kaedim 和 Get3d 专注于图像到 3D；ClipForge 和 Mirage 专注于文本到 3D，而 Hypothetic 对文本到 3D 搜索以及图像到 3D 都感兴趣。

• Scenario | twitter 工智能生成的游戏资产

3D 纹理

3D 模型的逼真度取决于应用于网格的纹理或材料。决定将哪种长满苔藓、风化的石头纹理应用于中世纪城堡模型可以完全改变场景的外观和感觉。纹理包含关于光如何对材料做出反应的元数据（即粗糙度、光泽度等）。允许艺术家根据文本或图像提示轻松生成纹理对于提高创作过程中的迭代速度非常有价值。几个团队正在寻求这个机会，包括 BariumAI、Ponzu 和 ArmorLab。

TCPoly Y Combinator 支持的 Poly 使用 AI 生成艺术资产

Poly 在其计划的基于 Web 的套件中的第一个工具使用基于物理的渲染图生成 3D 纹理。在建模中，“基于物理的渲染”指的是一种旨在以模拟现实世界中光流的方式渲染图像的技术。

借助 Poly，设计人员可以描述纹理（例如“带苔藓的树皮”）并可选择提供参考图像以获得生成的纹理以制作 3D 模型。这些模型具有可定制的分辨率以及法线和反转贴图——游戏开发中经常使用的贴图，用于为 3D 对象的表面添加体积、深度和细节。

在与 Sam Young 共同创立 Poly 之前，Agarwal 是微软的一名研究员，他在那里发表了人工智能领域的社会影响论文。随后，Agarwal 创办了 Polytopal，这是一家“以人为本的人工智能”咨询公司，与 Spotify、Meta 和雀巢等品牌合作开发各种智能系统。在其他项目中，Polytopal 为游戏 BeatSaber 共同创建了舞蹈编排算法，并为 Toll House 推出了虚拟烘焙助手，帮助设计曲奇食谱以满足用户的饮食需求。

“Young 和我在 2022 年初创立了 Poly，出于对‘提高世界的创造力’的共同热情，并加入了 Y Combinator 的 S22 批次，”Agarwal 说。

Poly 也不是第一个将 AI 应用于生成游戏资产的公司。直接竞争对手包括 Hotpot 和 Pixela.ai，它们使用类似的算法来创建自定义背景、精灵和其他艺术内容。

动画

创建出色的动画是游戏创建过程中最耗时、最昂贵且最需要技巧的部分之一。一种降低成本并创建更逼真的动画的方法是使用动作捕捉，您可以让演员或舞者穿上动作捕捉服，并记录他们在配备特殊仪器的动作捕捉舞台上的移动。

我们现在看到了可以直接从视频中捕捉动画的生成式 AI 模型。这样效率更高，因为它不再需要昂贵的动作捕捉装置，还因为这意味着您可以从现有视频中捕捉动画。这些模型的另一个令人兴奋的方面是，它们还可以用于对现有动画应用过滤器，例如让它们看起来喝醉了、老了或开心了。进入这一领域的公司包括 Kinetix、DeepMotion、RADiCAL、Move Ai 和 Plask。

关卡设计和世界建设

游戏创作中最耗时的一个方面是构建游戏世界，生成式 AI 应该非常适合这项任务。Minecraft、No Man’s Sky 和 ​​Diablo 等游戏已经以使用程序技术生成关卡而闻名，其中关卡是随机创建的，每次都不同，但遵循关卡设计师制定的规则。新的 Unreal 5 游戏引擎的一大卖点是其用于开放世界设计的程序工具集，例如植被放置。

我们已经看到该领域的一些举措，例如 Promethean、MLXAR或 Meta 的Builder Bot，并且认为生成技术在很大程度上取代程序技术只是时间问题。该领域的学术研究已经有一段时间了，包括Minecraft 的生成技术或Doom 中的关卡设计。

期待用于关卡设计的生成式 AI 工具的另一个令人信服的理由是能够创建不同风格的关卡和世界。你可以想象在 1920 年的纽约拍板时代要求工具生成一个世界，对比反乌托邦的银翼杀手式未来，对比托尔金式的幻想世界。

以下概念是由 Midjourney 使用提示生成的，“一个游戏级别……风格”

声音的¶

声音和音乐是游戏体验的重要组成部分。我们开始看到公司使用 Generative AI 来生成音频，以补充图形方面已经发生的工作。

声音特效

音效是 AI 有吸引力的开放领域。已有学术论文探索使用 AI 在电影中生成“foley”（例如脚步声）的想法，但游戏中的商业产品还很少。

我们认为这只是时间问题，因为游戏的交互性使其成为生成式 AI 的明显应用，既可以在制作过程中创建静态音效（“激光枪声，星球大战风格”），又在运行时创建实时交互式音效。

考虑为玩家角色生成脚步声这样简单的事情。大多数游戏通过包含少量预先录制的脚步声来解决这个问题：在草地上行走、在砾石上行走、在草地上奔跑、在砾石上奔跑等。生成和管理这些声音很乏味，并且在运行时听起来重复且不真实。

更好的方法是实时生成拟音效果的 AI 模型，它可以动态生成适当的音效，每次都略有不同，对游戏中的参数（如地面、角色重量、步态、鞋类等

音乐

音乐一直是游戏的挑战。这很重要，因为它可以帮助设定情绪基调，就像在电影或电视中一样，但由于游戏可以持续数百甚至数千小时，它很快就会变得重复或烦人。此外，由于游戏的互动性，音乐可能很难在任何给定时间精确匹配屏幕上发生的事情。

二十多年来，自适应音乐一直是游戏音频领域的一个话题，一直追溯到微软用于创建互动音乐的“ DirectMusic ”系统。DirectMusic 从未被广泛采用，主要是因为以这种格式进行创作很困难。只有少数游戏，如 Monolith 的No One Lives Forever，创造了真正的互动乐谱。

现在我们看到许多公司试图创建 AI 生成的音乐，例如 Soundful、Musico、Harmonai、Infinite Album 和 Aiva。虽然今天的一些工具，如Open AI 的Jukebox，计算量很大并且不能实时运行，但大多数工具都可以在初始模型构建后实时运行。

语音和对话

有大量公司试图为游戏中的角色创造逼真的声音。考虑到尝试通过语音合成为计算机提供声音的悠久历史，这并不奇怪。公司包括 Sonantic、Coqui、Replica Studios、Resemble.ai、Readspeaker.ai等等。

使用生成式 AI 进行语音有多种优势，这在一定程度上解释了为什么这个领域如此拥挤。

• 即时生成对话。通常游戏中的语音是由配音演员预先录制的，但这些仅限于预先录制的录音语音。通过生成式 AI 对话，角色可以说任何话——这意味着他们可以对玩家的行为做出充分的反应。结合用于 NPC 的更智能的 AI 模型（不在本博客的范围内，但现在是一个同样令人兴奋的创新领域），对玩家完全反应的游戏的承诺即将到来。

• 角色扮演。许多玩家想扮演与他们在现实世界中的身份几乎没有相似之处的奇幻角色。然而，一旦玩家用自己的声音说话，这种幻想就会破灭。使用与玩家头像相匹配的生成声音可以保持这种错觉。

• 控制。生成语音时，您可以控制声音的细微差别，如音色、音调变化、情感共鸣、音素长度、重音等。

• 本土化。允许将对话翻译成任何语言并以相同的声音说出来。像Deepdub这样的公司专门专注于这个利基市场。

NPC 或玩家角色¶

许多初创公司正在考虑使用生成式 AI 来创建可以与之互动的可信角色，部分原因是这是一个在游戏之外具有如此广泛适用性的市场，例如虚拟助理或接待员。

创造可信角色的努力可以追溯到 AI 研究的开端。事实上，经典的人工智能“图灵测试”的定义是，人类应该无法区分与人工智能和人类的聊天对话。

目前，有数百家公司在构建通用聊天机器人，其中许多由类似 GPT-3 的语言模型提供支持。少数人专门尝试构建以娱乐为目的的聊天机器人，例如试图构建虚拟朋友的 Replika 和 Anima 。正如电影《她》中探讨的那样，与虚拟女友约会的概念可能比您想象的更接近。

我们现在看到了这些聊天机器人平台的下一次迭代，例如 Charisma.ai、Convai.com 或 Inworld.ai，旨在为完全渲染的 3D 角色提供动力，具有情感和代理能力，并提供允许创作者提供这些的工具人物目标。如果他们要融入游戏或在推动情节发展方面有一个叙事位置，而不是纯粹的门面装饰，这一点就很重要。

多合一平台¶

Runwayml.com 是最成功的生成式 AI 工具之一，因为它在一个软件包中汇集了广泛的创作者工具套件。目前还没有这样的视频游戏平台，我们认为这是一个被忽视的机会。我们很乐意投资具有以下特点的解决方案：

• 涵盖整个生产过程的全套人工智能生成工具。（代码、资产生成、纹理、音频、描述等）

• 与 Unreal 和 Unity 等流行游戏引擎紧密集成。

• 旨在适应典型的游戏制作流程。

（来源：网络，侵删）