主要研究方向

1. 视频大数据分析与事件检索

2. 复杂运动目标的视觉跟踪

3. 基于学习的图像超分辨率

4. 高精度高速运动分析计算

5. 人脸检测与表情分析

6. 行为分析与识别

科研项目

1. 正在承担的科研项目

2. 已完成的项目

主要研究方向

视频大数据分析与事件检索

研究背景:

基于内容的视频检索(Content Based video Retrieval, CBVR)是多媒体数据库信息检索中的一门新兴技术,指在视频分析的基础上,提取能够反映视频内容的各种特征,进而通过相似性匹配从海量视频数据库中检索出相关的视频流。基于内容的视频检索技术的应用领域非常广泛,本质上这种技术将对媒体的处理和管理深入到了媒体这一级,使得用户可以更自由地操纵和处理各种媒体信息。现在基于内容的视频检索已经发展到更广阔的领域,如:公共安全、公共事业管理、交通管理、医药卫生、工农业生产以及娱乐教育等各个领域。基于内容的视频检索技术在电视台媒体资源系统中的应用,让我们可以找到感兴趣的新闻剪辑,特定的视频、音频片段,以及所要编辑的素材等。有些关键算法已经实现,但应用还很薄弱。

研究内容:

  1. 1)视频事件的时域分割技术;2)视频事件的分类;3)基于内容的视频事件检索。
  2. 足球视频事件检索系统实现

 

复杂运动目标的视觉跟踪

研究背景:

视觉跟踪(Visual tracking)是计算机视觉领域中的一个重要问题,在视频监控领域包括人脸识别与检测、人机交互、视频检索、智能交通等民用和军事领域具有重要的应用价值,也是近些年人工智能和模式识别的研究热点。视觉跟踪对视觉场景中的运动目标进行检测、识别和跟踪,获得目标的运动、姿态以及外观等参数,进而对跟踪的目标作进一步处理与分析,实现对运动目标的行为理解。视觉跟踪的研究内容涉及目标表示、特征选择、外观建模、目标检测、滤波技术、采样方法等众多相关领域的理论方法和实现技术,具有很大的研究难度和挑战性。
复杂情况下的视觉场景,例如,目标运动不确定性、阴影、光照变化、背景噪声、目标干扰、遮挡、目标变形等,使得实现一个具有鲁棒性、准确性和快速性的视觉跟踪算法变得非常困难。传统的视觉跟踪技术一般都基于目标运动和几何外观变化的连续性假设,因此,无法有效地解决复杂情况下的目标跟踪。在实际应用的复杂场景中,视觉跟踪可能涉及到:(1) 目标运动的极大不确定性;(2) 低帧率视频目标跟踪;(3) 多视角多摄像机场景中的目标跟踪;(4) 几何外观急剧变化的非刚性目标跟踪。

研究内容:

  1. 在贝叶斯滤波跟踪框架下,对目标运动的不连续性进行统计建模。设计模型更新的有效方法。
  2. 研究在目标几何外观急剧变化情况下的自适应外观模型设计有效的在线外观模型更新策略,实现在复杂情况下的自适应目标跟踪。
  3. 在贝叶斯滤波跟踪框架下,研究高效的蒙特卡洛采样方法。对在目标运动和几何外观急剧变化情况下的滤波分布进行自适应采样。

主要论文:

  1. Xiuzhuang Zhou and Yao Lu. Abrupt motion tracking via intensively adaptive Markov chain Monte Carlo sampling. IEEE Transactions on Image Processing Vol.21, No. 2, Feb.2012, pp.789-801.[pdf]
  2. Xiuzhuang. Zhou, Yao Lu. Abrupt motion tracking via adaptive stochastic approximation Monte Carlo sampling. IEEE Conference on Computer Vision and Pattern Recognition, 2010, CVPR '2010:1847-1854.
  3. Xiuzhuang Zhou, Yao Lu, Polygonal approximation of digital curves using adaptive MCMC sampling , 17th IEEE International Conference on Image Processing, 2010, ICIP 2010, 2753 – 2756
  4. Xiuzhuang Zhou, Yao Lu, Efficient Polygonal Approximation of Digital Curves via Monte Carlo Optimization, 20th International Conference on Pattern Recognition , 2010, ICPR 2010, ?3513 – 3516.

 

基于学习的图像超分辨率

研究背景:

图象超分辨率(Super-Resolution, 简称SR)是指从一个或多个观测的图象序列中产生一幅高分辨率(High-Resolution, 简称 HR)图象。研究的目的是弥补成像系统图像分辨率的不足。在文本识别、人脸识别、医学和遥感图像处理以及视频监控中具有重要的 应用因而已成为图象处理领域的研究热点之一。

研究内容:

  1. 视频图像序列的超分辨率(Video Sequence SR, VSSR):主要研究多帧图像序列、视频图像序列和单幅图像的超分辨率方法;采用通道自适应参数的正则化方法;采用自适应核函数的超分辨率方法。
  2. 文本图像的超分辨率 (Text Image SR, TISR) :本文研究如何利用文本图像的特点和通过对高分辨率样本库的学习来提高文本图像分辨率。已提出了一种新的文本图像超分辨率方法,即三步约束法。
  3. 人脸图像的超分辨率(Face Hallucination, FHSR):基于人脸图像的特征和对高分辨率人脸样本的学习,提高视频监控中人脸图像的分辨率。有助于人脸检测和人脸识别。
  4. 医学图像的超分辨率 (Medical Image SR, MISR):将超分辨率方法应用到医学图像的重建和后处理中,对直接从设备采集到的物理信号、重建后的切片图像以及后处理阶段的切片图像序列均提出可行的实现方法。

主要论文:

  1. Ziye Yan, Yao Lu, Junhai Wen and Cuifen Li. Super Resolution SPECT Reconstruction with Non-uniform Attenuation. Computers in Biology and Medicine(SCI,IF=1.2),2011录用, In Press。
  2. 安耀祖,陆 耀,赵红,一种自适应正则化的图像超分辨率算法,自动化学报(appeared)2011
  3. Ziye Yan, Yao Lu and Jianwu Li. Super resolution of text image by pruning outlier. 2011 International Conference on Neural Information Processing (ICONIP2011), 649-656
  4. 颜子夜, 陆 耀, 李健武, 马跃. 一种基于核主成分分析的图像超分辨率算法. 山东大学学报(工学版).第41卷,第4期,2011年8月,101-105页。
  5. H.M.M Naleer, and Yao Lu, “Face Hallucination Framework based on Sparse Residual Compensation”, Proceedings of the IEEE International Conference on Industrial and Information System, 2011, ICIIS2011, pp. 249–254。
  6. H.M.M Naleer, Yao Lu and Yaozu an, “The Face Hallucinating Two-step Framework using Hallucinated High-resolution Residual”, Proceedings of the SPIE Third International Conference on Digital Image Processing, 2011, ICDIP 2011, v 8009。
  7. Yaozu An, Yao Lu, Zhengang Zhai, Spatially Varying Regularization of Image Sequences Super-resolution, Asian Conference on Computer Vision,2009,ACCV2009, Part III, LNCS5996, pp475-484.

资助情况:

高精度高速运动分析计算

人脸检测、人脸识别与表情分析

研究背景:

人脸检测在计算机视觉领域有着广泛的应用,例如智能视频监控,视频会议以及基于内容的图像检索等。人脸检测作为这些应用中不可或缺的第一步,通常将其定义为:给定一副静止的图像或图像序列,判断其中是否存在人脸,若存在人脸,则将人脸从背景中分离出来,并最终确定每个人脸在图像中的位置和大小。表情分析是近些年人机智能交互的研究热点,通过研究人脸的表情变化,表情识别,让计算机理解人的主观意图,提供一种自然友好类人的交互技术。目前主要研究基于机器学习、压缩感知和稀疏表达的人脸检测、人脸识别和表情分析方法

研究内容:

  1. 研究人脸检测领域的特征提取算法。
  2. 设计易于实现的人脸检测算法,目前已有采用局部Gabor三元模式直方图来表征人脸,同时为了提高分类性能,采用基于加权LDA作为弱分类器的AdaBoost算法。
  3. 在人脸检测过程中非人脸区域级联快速过滤方法,以提高人脸检测速度。
  4. 研究人脸表情的变化,计算机人脸表情的生成方法。

主要论文:

北京理工大学硕士学位论文,基于混合特征的人脸检测算法研究,郭鹏,2009.6

行为分析与识别

研究背景:

人体的运动计算或行为分析是计算机应用、人工智能和模式识别领域重要的研究方向。近些年已经成为顶级国际会议和学术刊物发表论文最多的研究热点,在交通、医院、政府办公大楼、火车站、地铁、广场、影剧院等人群聚会的公共场所保障安全具有重要的意义,因而是安全视频监控应用的核心技术之一。

研究内容:

  1. 研究人的行为建模方法;
  2. 研究基于轨迹的人的运动算法;
  3. 研究人的异常行为分析与识别方法;
  4. 研究群体行为分析与识别方法。

 

科研项目

1.新获批的项目:

[1] 北京市重点实验室建设项目:复杂运动目标视觉跟踪的关键技术研究,2014.4-2015.6,项目负责人

[2] 运动视频大数据分析与事件检测预警关键技术研究,2014-2015,项目负责人。

[3] 三位动态场景仿真系统,2014-2016,项目负责人。

2.正在承担的科研项目:

[1] 教育部博士点基金课题:复杂运动目标的视觉跟踪, 2013-2015,项目负责人。

[2] 国家自然科学基金项目:目标运动突变和几何外观急剧变化的视觉跟踪,2013-2016.项目负责人。

[3] 国家自然科学基金项目:面向时间不耐受患者的脑MRI图像超分辨率算法研究, 2013-2016.主要参加者。

[4] 北京市自然科学基金项目:复杂目标跟踪方法研究及其在首都交通指挥系统中的应用,2011-2013,项目负责人。

[5] 北京理工大学视觉与媒体计算创新团队建设项目,2011-2013,项目共同负责人。

[6] 企业联合项目:xx 图像筛查系统,2011-2012,项目负责人。

[7] 北京理工大学重大专项培育项目,2012-2014。

3. 已完成的项目:

[1] 北京理工大学基础研究项目:图像超分辨率方法研究,2005-2006。

[2] 发改委专项子课题:双目立体视觉系统,2007-2009。

[3] 企业联合项目:染色细胞图像处理系统。2007-2008。

 


北京理工大学  计算机学院  智能感知与计算技术研究团队

版权所有