查看
这是关于VR游戏如何利用AI来进一步提升沉浸感的观察
(
尽管相关Mod目前尚不可用,但根据视频演示,它可以利用人工智能聊天机器人ChatGPT和人工智能配音工具xVASynth,并允许你与游戏中的角色进行自然对话。
2023-04-27 12:10:41来源:YiVian
查看
这是关于VR游戏如何利用AI来进一步提升沉浸感的观察
(
尽管相关Mod目前尚不可用,但根据视频演示,它可以利用人工智能聊天机器人ChatGPT和人工智能配音工具xVASynth,并允许你与游戏中的角色进行自然对话。
开发者表示,相关脚本可以实现语音的嘴唇同步和NPC对游戏中事件的感知。尽管当前版本依然有点僵硬,但这已经是迈出了相当大的一步,并令人对未来有了无限的憧憬。
以下是ArtfromtheMachine对所述项目的描述:
我在数周前发布的一段视频展示了我正在编写的Python脚本,它可以允许你通过ChatGPT和xVASynth与《天际VR》的NPC对话。从那以后,我一直在努力将这个Python脚本与《天际VR》自己的Mod工具集成在一起,而我已经达到了令人兴奋的里程碑:
NPC现在知道了他们目前的位置和时间。这为ChatGPT动态地对游戏世界做出反应开辟了诸多可能性。举个例子,我没有再遇到在店主下班后进行以物换物的问题。NPC同时会意识到玩家在对话过程中拾取的物品。这意味着,如果你掠夺了一个箱子,收获了一张兽皮,或者摘了一朵花,NPC将能够对相关行为发表评论。
NPC现在与xVASynth进行嘴唇同步。这显然比以前那种浮夸的概念验证声音要自然得多。我同时进行了一定的优化提升,比如将响应时间减少到15秒左右,并添加了一个开始对话的咒语。
当一切就绪时,能够在虚拟现实中坐下来并与这些角色交谈是一种令人难以置信的超现实体验。没有什么比听到相同的重复声线更能让我失望。现在,没有两种反应是相同的。当然,我还有很多工作要做。
你可能会注意到,尽管ArtfromtheMachine表示他们正在使用语音转文本与ChatGPT3.5驱动的系统对话,但NPC的实际语音依然相当机器人化。视频中听到的声音是由xVASynth生成,然后在视频编辑过程中插入。
什么时候可以自己下载并尝试?嗯,开发人员表示,发布项目依然是一个有点棘手的问题。
ArtfromtheMachine表示:“我还没有真正考虑如何发布,所以我想我必须深入研究其他ChatGPT项目,看看其他项目是如何解决API关键问题。对于那些不愿意支付API费用的人员,我希望可以能够替代性地接到本地运行的LLM模型。”
另外,这位开发者表示,提供更自然的NPC反应是一个需要解决的领域:“目前,我已经将NPC设置成说‘让我想想’,以这种方式表明NPC听到了你的声音,而且响应正在生成过程中。但你是对的,这其实可以扩展到从几个不同的填充行中进行选择,而不是每次都重复相同的对白。”
尽管视频在提示后明显加快了速度,但这主要归功于语音生成软件xVASynth,而由于它是在本地运行,它确实会减慢响应管道的速度。开发者补充道,ChatGPT本身不会影响性能。
当然,这不是我们看到的第一个使用聊天机器人来丰富用户沉浸感的项目。LeeVermeulen是Modbox的开发者李·维默伦(LeeVermeulen)曾在2021发布了一段
实际上,正是维默伦的视频激发了ArtfromtheMachine开始制作SkyrimVRmod。
能够自然地与NPC交谈,即使有点结结巴巴,这可能都会比费力浏览大量2D文本菜单或重复再重复的机械式反应更可取,并且可以大大提升
原文链接:https://news.nweon.com/107253
来源媒体:YiVian