松下控股开发应用姿势估计的鱼眼相机角度估计技术，支持物理空间中的精确定位和导航

日本大阪-松下控股株式会社（Panasonic Holdings）开发了一种新颖的相机校准方法，该方法可以根据鱼眼图像估算出准确且可靠的相机角度。这些角度对于物理空间中的定位和导航至关重要。

准确的行进方向估计有助于在物理空间中定位和导航，使汽车、无人机和机器人能够实现自动驾驶。陀螺仪等特定测量系统通常作为附加设备连接到相机上。然而，缩小尺寸、减轻重量和降低成本需要一种仅通过图像捕获就能准确估计行进方向的技术。为了解决由于鱼眼相机的镜头失真而导致角度估计困难的问题，松下控股开发了一种专为广泛监控和障碍物检测等应用而设计的方法。具体而言，这种基于姿势估计的准确而强大的方法可以解决所谓“曼哈顿世界假设”下的严重失真图像；假设建筑物、道路和其他人造物体通常彼此成直角。由于该方法可以从城市场景的单个一般图像进行校准，因此它可以将应用扩展到移动物体，例如汽车、无人机和机器人。

该技术将在 IEEE/CVF 计算机视觉和模式识别会议 (CVPR) 2024 的主会议上展示，作为松下集团培养顶尖人才的 REAL-AI ^*1计划的研究成果。会议将于 2024 年 6 月 17 日至 21 日在美国华盛顿州西雅图举行。该会议是顶级的国际 AI 和计算机视觉会议之一。

松下控股旨在通过加速社会实施和培养顶尖人工智能研究人员的人工智能技术研发，为改善客户的生活和工作做出贡献。

概述：

基于图像的摄像机角度估计对于使用低成本微型设备对汽车、无人机和机器人进行精确定位和导航非常有用。然而，城市场景图像包含许多物体，这使得校准方法无法在地面和垂直方向上输入摄像机角度估计值。即使在曼哈顿世界假设下，从单幅图像估计摄像机角度也很困难。传统的校准方法基于许多在无穷远处具有特定外观的消失点 (VP) 来估计摄像机角度。消失点有六个方向，即 X、Y 和 Z 轴的两端，沿着三维正交轴。除了这些 VP 之外，该方法还提出了另外八个点，称为辅助对角点 (ADP)，指向 X、Y 和 Z 轴的每个轴的 45° 或 −45°。这些 ADP 提高了摄像机角度估计的准确性和鲁棒性，因为 ADP 增加了用于 AI 训练的信息，可以将其视为与 VP 相同。

此外，所提出的方法使用热图来稳健地估计包含少量人造物体的场景中的 VP，而传统方法则使用圆弧检测。这种热图广泛用于计算机视觉任务中的准确和稳健估计，尤其是姿势估计和骨骼检测。根据热图，所提出的神经网络估计每个像素中 VP 的概率，以根据很可能是 VP 的区域确定 VP 图像坐标。相比之下，传统方法直接估计这些 VP 坐标。所提出的方法使用热图的结果表明，在图 1 中准确检测到了 VP 和 ADP。最终的摄像机角度是根据 VP、ADP 和镜头畸变的组合引入的。该镜头畸变是通过 2022 年^*2提出的技术估计的。

图 2 显示了全景图像数据集中合成鱼眼图像的定性结果。图中标出了垂直和水平参考线，以直观显示旋转和失真。传统方法的结果中，参考线与图 2(a) 中的地面真实交叉线呈倾斜状，表明角度和镜头失真误差较大。相比之下，松下控股开发的新方法实现了准确的角度估计，图 2(b) 中显示了青色线和洋红色或黄色线的交叉。

该方法可以解决城市图像中人工物体较少的问题。具体来说，该方法可以准确地估计城市图像中街道树木占主导地位的角度。实验结果证明了该方法在大规模数据集上的有效性，并使用现成的相机实现了世界上最高的准确度^*3。

未来展望：

这种新方法应用了姿态估计网络，即使图像因某些镜头而严重变形，也能从单个图像中准确、稳健地估计角度。值得注意的是，这种方法将有助于涉及移动物体（如汽车、无人机和机器人）的定位和导航应用，因为这些领域需要以低成本估计准确的行进方向。

Note:

*1：公司内部团队通过培养顶尖人才，利用先进技术创造价值并快速开展业务，从而引领松下集团的先进 AI 研发，该团队由两位教授指导：谷口忠宏教授是京都大学教授，也是立命馆大学的客座研究教授；山下孝义教授是中部大学的教授。年轻和资深的研究人员正在挑战顶级会议，许多研究论文已被这些会议接受。

*2：N. Wakai、S. Sato、Y. Ishii 和 T. Yamashita。《重新思考用于深度单图像相机校准的通用相机模型以恢复旋转和鱼眼失真》。《欧洲计算机视觉会议论文集》，第 13678 卷，第 679-698 页，2022 年。
https://doi.org/10.1007/978-3-031-19797-0_39

*3：截至 2024 年 6 月 5 日，根据公司内部调查，使用一般场景图像估计曼哈顿世界中的平移、倾斜和滚动角度的方法中的相机校准精度。

关于研究：

“通过热图回归进行深度单图像相机校准以在曼哈顿世界假设下恢复鱼眼图像” https://arxiv.org/abs/2303.17166
此项研究由松下控股平台事业部的 Nobuhiko Wakai 博士、松下控股技术事业部的 Satoshi Sato 和 Yasunori Ishii 与中部大学的 Takayoshi Yamashita 教授合作完成。