从一系列的图像中恢复物体的3D结构是计算机视觉研究中一个热门课题,这使得我们可以相隔万里从google map中看到复活节岛的风景。这得益于图像来自于可控的条件,使得最终的重建效果一致性且质量都很高,但是这却限制了采集设备以及视角。畅想一下,假如我们不使用专业设备,而是利用sfm技术根据互联网上大量的图片重建出这个复杂世界。
📝笔记:SuperGlue:Learning Feature Matching with Graph Neural Networks论文阅读
ETHZ ASL与Magicleap联名之作,CVPR 2020 Oral(论文见文末),一作是来自ETHZ的实习生,二作是当年CVPR2018 SuperPoint的作者Daniel DeTone。Sarlin小伙之前在MagicLeap实习,在ETHZ(苏黎世联邦理工) ASL 完成硕士,目前在 ETHZ CVG就读博士,不是TUM(慕尼黑工业大学)的CVG。
📝笔记:SLAM常见问题(五):Singular Value Decomposition(SVD)分解
SVD分解就是一种矩阵拆解术,它能够把任意矩阵$A \in \mathbb{R}^{m \times n}$拆解成3个矩阵的乘积形式,即:
其中,$U \in \mathbb{R}^{m \times m}$,$V \in \mathbb{R}^{n \times n}$都是正交矩阵,即列向量是正交的单位向量,$\Sigma \in \mathbb{R}^{m \times n}$的对角阵(奇异值)。搬运了来自MIT OpenCourseWare的在线课程并放在了B站,讲解得很清晰。
📝笔记:SLAM常见问题(四):求解ICP,利用SVD分解得到旋转矩阵
今天讲一篇关于利用SVD
方法求解ICP
问题的文献《Least-Squares Rigid Motion Using SVD》,这篇文章非常精彩地推导出将$3D$点对齐问题的解析解,同时总结了求解该问题的统一范式。
📝笔记:SLAM常见问题(三):PNP
PNP
即“Perspective-N-Points”,是求解 3D 到 2D 点对运动的方法。它描述了当我们知道n个3D空间点以及它们在图像上的位置时,如何估计相机所在的位姿。PnP 问题有很多种求解方法,例如用三对点估计位姿的 P3P
(通常需要额外一个点进行验证结果),直接线性变换(DLT
),EPnP
(Efficient PnP,已知内参时用),UPnP
(内参未知时用) 等等)。此外,还能用非线性优化的方式,构建最小二乘问题并迭代求解,也就是万金油式的 Bundle Adjustment
。
📝笔记:SLAM常见问题(二):重定位Relocalisation
可以说整个重定位就是一个精心设计的解算当前帧位姿的模块,秉持着不抛弃不放弃的精神,ORB-SLAM的作者简直把特征匹配压榨到了极致,仿佛在说“小伙子你有很多匹配点的,不要放弃,我们优化一下位姿再找找匹配点呗”。
📝笔记:SLAM常见问题(一):SearchByBoW
ORB-SLAM中使用了多种特征匹配的奇技淫巧,其中之一就是利用词袋信息进行引导匹配SearchByBoW
:利用了BOW
里的正向引导进行两帧之间的匹配,核心点在于位于同一个节点处的特征才有可能属于同一匹配,相较于暴力匹配匹配速度更快。
📝笔记:2019年浙大CADCG暑假SLAM培训部分课件
由浙江大学CAD&CG国家重点实验室主办、浙江大学-商汤三维视觉联合实验室协办的“SLAM技术及应用”暑期学校于7月20日如期拉开序幕。
今天(2019/07/20)看到直播的时候已经是下午4点半了,只听到刘浩敏讲到末尾的一段,幸好主办方提供了讲座课件,Download下来慢慢看。
📝笔记:SuperPoint: Self-Supervised Interest Point Detection and Description 自监督深度学习特征点
时隔三年,笔者重新研读了这篇论文,仍感觉极富参考价值。笔者更新了这篇于三年前写的文章,主要集中在特征点解码端65通道的解释以及损失函数的理解。