新型云游戏传输技术：麻省理工学院和微软联合创新，实现视频和音频同步

在典型的云游戏架构中，服务器接收来自控制器和耳机等游戏配件的游戏输入和音频聊天流。作为回应服务器同时为玩家生成两个独立的媒体流。第一个是游戏屏幕流，包括游戏音频和视频，用于电视或平板电脑等屏幕设备。第二个是游戏附件流，用于控制器和游戏音频耳机，包括游戏音频、玩家聊天和触觉反馈（如控制器振动）。

这两个流通常通过不同的网络传输，这可能导致两者之间缺乏同步，即流间延迟，从而造成视频延迟、触觉反应迟钝和糟糕的游戏体验。麻省理工学院的研究人员与微软研究院合作开发了 Ekho 系统，该系统采用独特的技术来解决流间延迟问题。他们将在 9 月 10 日至 14 日于纽约哥伦比亚大学举行的 2023 年 ACM 数据通信特别兴趣小组（SIGCOMM）会议上发表论文，介绍他们的系统。

研究人员首先研究了流间延迟的核心问题：时钟同步。

论文第一作者普亚-哈马达尼安（Pouya Hamadanian）说："如果控制器和屏幕能同时看表，看到相同的东西，那么我们就能让一切与时钟同步。但大量关于时钟同步的理论研究表明，有些界限是永远无法逾越的。"

解决时钟同步问题的一种常见方法是Ping消息传递，即设备向服务器发送一条Ping消息，服务器回应一条Ping消息；消息往返所需的时间被用来计算网络延迟。然而，这种方法可能并不可靠，因为信息到达服务器的时间可能比返回信息的时间更长。研究人员说，一旦流间延迟达到 10 毫秒，人类就能感知到。

"因此，如果屏幕上发生了什么，我们希望控制器上也能在 10 毫秒内发生，"Hamadanian 说。

为了提高同步性，他们设计了 Ekhho，以便在游戏音频流传到玩家屏幕之前添加"伪噪音"--人类听不到的低音量白噪音。Ekho-Estimator 模块会在游戏音频中添加相同序列的伪噪声；然后，当它从控制器接收录制的游戏音频时，就会监听这些序列，并尝试将音频流排列起来。Ekho-Estimator 模块会将这些信息发送给 Ekhho-Compensator 模块，后者会跳过几毫秒的声音。或者在服务器发送的游戏音频中加入几毫秒的静音，以实现音频流的同步。

当研究人员在真实的云流媒体会话中测试 Ekho 系统时，他们发现该系统可以亚毫秒级的精度计算流间延迟。即使在麦克风质量较差或接收到背景噪声的情况下，Ekho 也能在 86.6% 的时间内将流间延迟限制在 10 毫秒以内。

该论文的共同作者之一克里希纳-钦塔拉普迪（Krishna Chintalapudi）说："传统的方法是通过底层网络来测量同步误差，而这种方法的误差要大得多。当我们开始这个项目时，我们还不确定是否能做到这一点。但我们通过 Ekho 可以达到亚毫秒级的精度，这是前所未闻的。"

受到研究结果的鼓舞，研究人员计划看看 Ekho 如何将五个控制器同步到同一屏幕设备上。目前，由于 Ekho 是专为云游戏设计的，其使用范围有限。未来的工作可能是提高系统的续航能力，以便在更远的距离上使用。

"这项研究的合著者穆罕默德-阿里扎德（Mohammad Alizadeh）说："使用听不见的白噪声作为一种'计时器'是一个很好的例子，说明了发散性思维可以产生意想不到的结果。这项技术可以改善用户体验，不仅在云游戏中，在任何多设备流媒体场景中都有可能。"

将在 SIGCOMM 2023 会议上发表的论文可以在这里找到 PDF 格式：

https://newatlas.com/www.microsoft.com/en-us/research/uploads/prod/2023/08/sigcomm23-final146.pdf