立体视觉和图像流的结合算法,挺适合做运动估计或者三维重建方向的朋友。算法的核心思想就是,把立体匹配光流估计放进一个协同网络里跑,彼此之间还能互通信息,一起做去模糊,效果比单打独斗强多了。

网络里一共四个子进程,两个负责立体视差,两个搞图像流,一起在一个松弛优化的框架里,根据三维连续性来挑“靠谱”的匹配结果。实际跑过一些数据集,出来的结果也挺不错,噪声少,结构还原度高。

这个方法比较适合你手头有连续立体图像对的时候,比如用在自动驾驶模拟数据、双目相机视频帧上都还蛮合适的。尤其是那种光照变化或纹理重复多的场景,靠单纯立体匹配就挺吃力了,用上运动线索就好多了。

对了,文末还推荐了不少延伸阅读,像是基于 Matlab 的立体匹配开发工具、三维重建实现代码等等。如果你想上手试试,直接看看这个合集就够用了,省得到处找资源。

如果你正好在做三维视觉视觉里程计或者需要结合多线索感知的项目,不妨抽空读读,思路还挺值得参考的。