共计 1188 个字符，预计需要花费 3 分钟才能阅读完成。
国内多家科研机构提出了 PyMAF-X，一种基于回归的方法，可以从单目图像中恢复参数化的全身模型。这项任务非常具有挑战性，因为微小的参数偏差可能导致估计的网格与输入图像之间出现明显的错位。此外，在将特定于部分的估计集成到全身模型中时，现有解决方案往往会降低对齐或产生不自然的手腕姿势。为了解决这些问题，作者提出了一个金字塔网格对齐反馈（PyMAF）循环，用于良好的人体网格恢复，并将其扩展为 PyMAF- X 以恢复表现力强的全身模型。PyMAF 的核心思想是利用特征金字塔，并根据网格 - 图像对齐状态明确纠正预测参数。具体来说，给定当前预测的参数，将从更细分辨率的特征中提取网格对齐的证据，并反馈用于参数修正。为了增强对齐感知，引入了辅助密集监督来提供网格 - 图像对应指导，同时引入空间对齐注意力，使网络能够意识到全局上下文。在将 PyMAF 扩展到全身网格恢复时，提出了一种自适应集成策略，以在保持部分特定估计的良好对齐性能的同时产生自然的手腕姿势。
项目主页：https://www.liuyebin.com/pymaf-x
GitHub 地址：https://github.com/HongwenZhang/PyMAF-X
- 提出了 PyMAF，一种用于回归式人体网格恢复的网格对齐反馈循环，利用特征金字塔和多尺度上下文。
- 引入了辅助密集监督和空间对齐注意力来增强网格对齐特征。
- 将 PyMAF 扩展为 PyMAF-X，用于全身网格恢复，提出了一种自适应集成策略，以产生自然的手腕姿势。
- 在多个基准数据集上验证了 PyMAF 和 PyMAF- X 的有效性，实现了新的最先进结果。
相关工作：
- 讨论了单目图像中人体网格恢复的两种范式：基于优化的方法和基于回归的方法。
- 回顾了全身网格恢复的研究，包括全身模型的提出和相应的优化方法。
- 讨论了在回归任务中结合迭代拟合策略的策略。
方法：
- PyMAF：提出了一个特征金字塔，用于从粗到细的网格恢复。提出了一个网格对齐反馈循环，用于提取网格对齐的特征，并在训练期间引入辅助密集监督。
- PyMAF-X：将 PyMAF 扩展到全身网格恢复，提出了一种自适应集成策略，以产生自然的手腕姿势。
实验：
- 在多个数据集上验证了 PyMAF 和 PyMAF- X 的有效性，包括身体、手、脸和全身网格恢复。
- 与现有技术进行了比较，展示了 PyMAF 和 PyMAF- X 在网格 - 图像对齐方面的改进。
结论：
- PyMAF- X 通过结合文本、图像和轨迹输入，实现了细粒度和用户友好的控制，从语义、空间和时间角度对视频内容进行控制。此外，PyMAF- X 通过自适应集成策略，能够在保持身体和手部估计的良好对齐性能的同时，产生自然的手腕姿势。实验结果表明，PyMAF- X 在现有方法中具有优越性，为从单目图像中恢复全身模型提供了新的解决方案。
正文完
关注公众号获取最新教程
