项目示意图

Cinque Terre

深度图视频演示

室内红外双目

室外红外双目

室内可见光双目

室外可见光双目

项目图解

Cinque Terre

障碍物检测

基于红外双目相机,在自然光和结构光的辅助下,进行大尺度立体匹配,获取稠密深度图。利用均值漂移算法,计算最近若干个障碍物的距离、方向和尺寸,并映射到立体声音,辅助视障人士的通行。



Cinque Terre

地面检测

基于红外双目相机,在自然光和结构光的辅助下,进行大尺度立体匹配和彩色图引导滤波,补全深度图。利用随机采样一致性、表面法向量估计和种子区域生长等算法检出地面区域,并映射到立体声音,辅助视障人士的通行。



Cinque Terre

纸币识别

纸币识别是根据视障人士需求调研所提供的便利生活的功能设计。现有的纸币识别方法是根据RGB-D相机进行深度筛选,用分类器框出检测到的纸币区域,对区域进行SURF特征点检测判断是否存在纸币以及纸币面值。该方法可以针对复杂环境实时提取纸币区域并给出纸币面值,具有较好的鲁棒性。



Cinque Terre

红绿灯检测

基于颜色提取和机器学习的人行道交通灯检测算法,能够实时准确地检测到交通灯在图像中的位置,并给出交通灯的状态。如图所示,框选交通灯的对应颜色矩形,即为检测结果。



Cinque Terre

斑马线检测

安全地过马路是盲人群体日常出行的迫切需要。基于条带提取和聚类的人行横道检测算法,被用于盲人在交通路口寻找和定位人行横道。如图所示,人行横道的位置和方向被识别出来,并转换为提示信息输出给使用者。



Cinque Terre

人脸识别

盲人智能视觉辅助中的人脸识别,旨在帮助视障人士感知和识别日常生活场景中出现的朋友,亲人,陌生人等。人脸识别系统运用彩色深度信息融合,目标跟踪,神经网络等技术,可以实现:在视障用户使用智能视觉辅助设备的过程中,人脸识别系统逐渐采集并学习用户常遇见的人脸,当识别系统达到足够的训练程度时对场景中出现的人脸进行识别,将识别结果以特定的交互方式传递给视障用户。



Cinque Terre

可通行区域检测

基于可见光双目相机,进行半全局立体匹配和彩色图引导滤波,补全深度图。利用动态规划算法检出随机占据栅格下的可通行区域,利用样条曲面拟合地面,利用棒状像素表示障碍物,并映射到立体声音,辅助视障人士的通行。



Cinque Terre

水坑检测

基于偏振可见光双目相机,进行半全局立体匹配和彩色图引导滤波,补全深度图。利用动态规划算法,融合偏振-彩色-深度信息,检出可通行区域与地面水坑区域,并映射到立体声音,辅助视障人士的出行。



Cinque Terre

楼梯检测

基于红外双目相机,在自然光和结构光的辅助下,进行大尺度立体匹配,获取稠密深度图。利用表面法向量估计、平面聚类和直方图分割等算法,检出楼梯区域,并输出最近若干级台阶的距离、高度和方向。


下载数据集以及个人论文

下载