香港科技大学和香港理工大学的研究人员开发了 SIDQL，这是一种使用 Deep Q-Learning 的新框架，通过有效提取关键帧和重建运动来改进运动捕捉，显着减少数据量和传输延迟，同时保持高精度。这一进步对于 元宇宙 至关重要，可确保身临其境的虚拟环境中流畅、逼真的化身运动。
这是一个新框架，旨在彻底改变动作捕捉技术，解决元宇宙（一个与物理世界无缝集成的蓬勃发展的虚拟领域）面临的关键挑战。这项创新提高了化身运动与人类动作的同步性，这是人工智能、VR、AR 和人机交互技术促进的沉浸式环境的必要条件。
修复元宇宙中的延迟问题
元宇宙需要超低的通信延迟来维持流畅的用户体验，然而，当前的动作捕捉方法难以应对不断增加的数据量，从而导致延迟和不太流畅的化身运动。SIDQL 引入了高效的关键帧提取和运动重建框架来解决这个问题。
关键帧提取是一种借鉴视频处理的技术，涉及选择运动序列的代表性帧以减少数据传输要求。传统方法通常依赖于预定义的运动类型和人工选择的关键帧，这对于元宇宙中的实时应用程序来说并不是最佳选择。 SIDQL 利用 Deep Q-Learning (DQL) 来自动化此过程，显着减少数据量，同时保持高精度。
运动捕捉数据的创新方法
与视频不同，动作捕捉数据涉及复杂的骨骼运动，需要精确的逐帧分析。SIDQL 将此数据转换为球面坐标系，保持恒定的骨骼长度并确保重建过程中的自然运动。通过对根点使用多项式插值，对其他点使用球形插值，SIDQL 可确保关键帧之间的平滑过渡，从而提高虚拟人物运动的真实感，这种创新方法解决了元宇宙中必须同步大量运动数据的挑战。快速传输以避免明显的延迟。
严格的测试和令人印象深刻的结果
该框架使用 CMU 图形实验室动作捕捉数据库进行了严格测试，其中包括广泛的人体动作。将 SIDQL 的性能与各种现有方法进行了比较，结果表明，在仅提取 5 个关键帧时，广东软件开发数据传输延迟显着降低，重建错误率低于 0.09，令人印象深刻。
这是通过将关键帧提取问题形式化为旨在最小化重建误差的优化问题来实现的。使用Deep Q-Learning (DQL) ，基于球面插值的Deep Q-Learning (SIDQL) 框架生成用于重建运动序列的适当关键帧。
弥合数字世界和物理世界之间的差距
SIDQL方法首先在球面坐标系中开发一种新的运动重建算法，转换位置和速度数据以保持恒定的骨骼长度，然后同时使用球面插值重建中间图像。使用多项式插值方法重建根点的运动。
为了最小化平均重建误差，SIDQL将关键帧提取问题形式化为优化问题，并使用基于平均误差的特殊奖励函数进行训练。该框架可以使用混合类别运动序列进行训练，而无需标记关键帧，解决了当前基于人工智能的方法严重依赖标记数据的问题。
SIDQL 框架还考虑了骨长度恒定性
集成了人体骨骼速度信息，这在当前的运动重建方法中经常被忽视。通过利用这些信息，SIDQL 提高了重建运动的质量。此外，该框架还包括涉及 CMU 数据库的综合训练过程，可针对各种基准算法进行超参数调整和深入评估。这保证了SIDQL不仅减少了数据量和传输延迟，而且还保持了较高的重建精度。
SIDQL 的开发和测试凸显了其在元宇宙中的潜力，为动作捕捉技术的未来进步奠定了基础。随着虚拟环境的不断发展，像 SIDQL 这样的框架对于弥合数字世界和物理世界之间的差距至关重要，为用户提供身临其境的无缝体验。这项研究强调了创新运动捕捉和重建方法的重要性，特别是在需要实时处理和低延迟的应用程序中，例如 元宇宙。
人工智能与沉浸式虚拟体验的融合
除了技术成就外，SIDQL 还代表着先进人工智能技术与虚拟现实实际应用相结合的重要一步。使用Deep Q-Learning (DQL) 来优化关键帧提取和运动重建显示了机器学习在解决运动捕捉中的复杂问题方面的潜力。这种方法不仅提高了运动数据传输的效率和准确性，还为更复杂和身临其境的虚拟体验铺平了道路。
在动作捕捉和虚拟现实的未来中发挥关键作用
总体而言，SIDQL 的开发标志着动作捕捉技术的重大进步，解决了元宇宙及其他领域的关键挑战。它能够减少数据量、保持高精度并确保自然运动过渡，使其成为未来虚拟环境的领先解决方案。随着对沉浸式数字体验的需求不断增长，SIDQL 引入的创新可能会在动作捕捉和虚拟现实的未来中发挥核心作用。
#智启新篇计划#