结构光深度估计的工业应用及结合事件相机的研究

结构光深度估计辅助工业应用，以及结合事件相机实现高速场景深度测量。

成果转化

专利：一种基于三维形貌恢复的鼠标前后脚垫缺陷快速检测方法 CN202310668514.3 论文：SGE: Structured Light System Based on Gray Code with an Event Camera 奖项：浙江大学专业学位研究生优秀实践成果一等奖

主要图表

成果介绍

课题组以结构光深度估计作为研究的起始点，一方面积极致力于将其切实地应用于产业界，充分发挥结构光的优势，实现基于深度的缺陷检测，从而为工业生产赋能，推动研究成果成功落地；另一方面，紧密结合新兴的事件相机，对结构光深度估计展开更为深入的研究，通过融合两者的独特优势，成功实现千赫兹以上的深度数据获取。 在工业生产领域，我们从产业界切实的需求出发，为企业（宁波利安科技股份有限公司）研发了完整的基于结构光深度估计的鼠标脚垫缺陷检测系统。鼠标脚垫在工业生产过程中，于将脚垫贴合至鼠标底面时，会出现多贴、漏贴、贴歪这三种缺陷情况。传统的二维图像检测方法无法实现对多贴、漏贴的有效检测，且对于贴歪的检测精度欠佳。而我们所提出的结构光方案成功攻克了传统检测方法中脚垫位置识别不准确的难题，大幅提高了检测的准确率，显著减少了误判和漏判的情形。其次，该方案有效克服了对多贴、漏贴脚垫无法检测的缺陷，实现了全面的缺陷检测，极大地提升了产品的合格率。再者，选用鲁棒且精准的基于四步相移法的结构光作为基准，使得我们的方案具备工业生产所要求的极高稳定性。此外，在对结构光算法进行性能优化后，其检测速度完全满足工业检测的需求，有力地保证了生产效率。并且，该方案所具备的高精度、高稳定性、广泛适用性以及成本较低等优点，使得企业能够在确保检测质量的前提下，切实有效地控制成本。

目前，该成果已成功应用于自动化产线中，并且处于量产阶段，切实满足了工业生产的实际需求，有力保障了鼠标产品的质量，充分满足了消费者对于高品质鼠标的需求，为企业带来了显著的经济效益和强大的竞争优势。同时，这种先进的检测方法在行业内具有良好的示范作用，为工业界的缺陷检测、智能制造等领域提供了全新的解决方案。

在学术研究层面，鉴于传统基于帧相机的结构光三维成像技术存在帧率低、动态范围小以及数据冗余大等不足之处，我们将一种新型视觉传感器 —— 事件相机与结构光技术相融合，在确保深度估计准确性的前提下，成功达成了千赫兹以上的深度数据获取速度。事件相机天然具有超高速响应、高动态范围以及低冗余数据等显著优势，故而我们创新性地提出了一种基于纯二进制图像的事件相机结构光三维成像方法。这种方法首先充分利用事件相机仅对亮、暗光度变化产生反应的特性，使得输出的帧图像天然即为二值化图像，无需再进行传统方案中繁琐的二值化过程。并且，这种方式本身属于一种更为高效的编码方式，因而其效率相较于点、线结构光扫描有了大幅度提升。由于其编码中蕴含着深度信息，所以该方案巧妙地规避了利用时间戳来进行点、线匹配时可能出现的不稳定问题，而且在投影速度提升的过程中也不会产生点、线扫描所具有的失配情况。特别是在针对运动目标时，能够实现快速、高质量的高速深度信息获取，具有极大的应用价值与潜力。

这一成果在实际应用中具有重大意义。它解决了传统结构光技术存在的诸多问题（如低速、无法进行实时三维成像等），为三维成像领域带来了创新性突破，使其在众多需要高速深度估计的场景中发挥关键作用，例如在空间增强现实技术（Spatial Augmented Reality (SAR)）、瞬态场景捕捉、工业自动化检测、智能机器人视觉、虚拟现实等领域，都能够为其提供更为先进、可靠的技术支持。同时，也为相关行业的发展注入了新的活力，有力推动了技术的进步与创新。

BibTeX

@article{lu2024sge,
  title={SGE: structured light system based on Gray code with an event camera},
  author={Lu, Xingyu and Sun, Lei and Gu, Diyang and Wang, Kaiwei},
  journal={Optics Express},
  volume={32},
  number={26},
  pages={46044--46061},
  year={2024},
  publisher={Optica Publishing Group}
}