AI框架GauHuman：2分钟完成高质量3D人体重建与实时渲染
南洋理工大学与商汤科技联合推出高效3D人体建模框架GauHuman：2分钟完成高质量重建与实时渲染
南洋理工大学与商汤科技的S-Lab团队近日发布了一项创新性研究成果，推出了一款基于Gaussian Splatting技术的3D人体建模框架，命名为GauHuman。该框架在快速重建和实时渲染方面取得了重大突破，为数字领域的人体建模提供了高效解决方案。
GauHuman的核心优势在于其快速建模能力。通过运用Gaussian Splatting技术，该框架仅需1到2分钟即可完成对单目人体视频的高质量建模，显著提高了建模效率。此外，GauHuman还实现了高达189帧每秒的实时渲染，为用户提供流畅且逼真的体验。
这一框架的应用前景广泛，涵盖游戏、电影制作、虚拟现实等多个领域。用户只需提供单目人体视频、相机参数和人体动作体形参数（SMPL），即可在短时间内获得高质量的3D数字人模型。这使得GauHuman在数字创意领域具有巨大潜力，为创作者提供更灵活、高效的工具。
GauHuman的建模框架以Gaussian Splatting为基础，借鉴了人体神经辐射场（Human NeRF）的灵感。该框架通过对标准空间下的3D人体进行建模，再利用线性蒙皮算法(LBS)将其转换到目标空间，有效解决了传统方法的难题。在优化算法方面，GauHuman通过3D高斯球的初始化、分裂/克隆/合并操作以及剪枝等手段，进一步提高建模效率和质量。
实验结果表明，在ZJU_MoCap和MonoCap两个单目人体数据集上，GauHuman与先进的3D人体重建方法相比具有优越性能。在PSNR、SSIM和LPIPS指标上，GauHuman表现出色。
研究团队表示，虽然GauHuman已经取得显著成果，但仍面临一些挑战，如从3D高斯中提取人体mesh以及从单目视频中恢复3D人体的细节等。他们对GauHuman的未来发展充满信心，并已将代码完全开源，鼓励广大开发者共同参与，共同推动这一领域的研究和创新。
相关文章
桂公网安备45010002450472号