跨摄像头运动目标检测与识别


●■●■_●●●—■■_■●—■●■■■_●_-_-_-__●●●___■_■—■■■●■■■____■●■●■●_■●●●—■●●■_—●-______--_—-___●■_●■●■■一IIII●■_■■■■■■____■●_●_●-■●●●-_■■■-●●__■■●■■■—一

模式识另U与仿真

《自动化技术与应用》2011年第30卷第1 l期

跨摄像头运动目标检测与识别
梅江元,司玉林,高会军
(哈尔滨工业大学智能控制与系统研究所,黑龙江哈尔滨150080)

摘要:跨摄像头运动lj标跟踪足f|前智能I删络监控的一个重点研究力‘阳。本文白‘尢提出J,一种局郑背景更新法,有效地解决了背景 更新的稳定性与,F滑性等问题;其次,本文提}H r一种基于自适应阈值的运动目标提取方‘法,同时通过形态学滤波有效地去除 了提取门标时的噪声干扰与空洞问题;最后,文章提出了1种基于YC 时加入rj|,-移因子,在测试集合中得到了非常好的匹配性能。 关键词:跨摄像头;运动目标枪测;直方图l,‘配;运动11标识别 中图分类号:TN919.7,TP391.4 文献标识码:A 文章编号:1003
7241(2011)11—0043-04

C,配匹征特在并,法算取提征特罔方氲标目动运的道通

Moving Targets Detection and Recognition Across Multiple

Widely Separated Cameras
MEI Jiang-yuan,SI Yu-lin,GAO Hui-jun
(Research
Institute of Intelligent Control and Systems,Harbin


Institute ofTechnology,Harbin 150008 China)


Abstract:Multi—camera tracking is
based
on

key research direction of intelligent network monitoring.Firstly,this paper proposes

method

local background updating,it effectively solves the problems of time—delay and instability.Secondly,a moving

object

extraction method with adaptive threshold is put forward in this work,and at the same time,morphological filtering
one

is introduced into this algorithm to remove the disturbance and cavities in target extraction.Lastly,the work presents kind of target matching strategy with statistical histogram,and it gives


very good matching performance.

Key words:multiple separated cameras;moving targets detection;histogram matching;moving targets recognition



引言
在智能监控系统中,网络化监控已经成为一个非常

摄像头图像序列的运动跟踪正是应对没有重复视野的 运动目标检测与匹配问题。 图1所示是跨摄像头运动目标跟踪的一个框架图, 多台摄像机分别对自己视场中的目标进行检测提取并 跟踪,当某一摄像头视场中的目标离开视场时,就会根 据该目标的时空信息(比如出场区域,路线,速度)通知 相关摄像机,被通知的摄像机从进入视场的候选目标 中进行识别匹配,继续对该目标的跟踪。在这个框架 下除了对运动目标简单的跟踪,跨摄像头的运动目标 匹配就显得尤为重要,然而运动目标的匹配离不开非 常准确稳定的运动目标分割提取,否则会大大降低识 别的可信度。因此,本文主要致力于解决两个问题,一 是复杂环境下的运动目标的准确分割,另一个是跨摄

重要的方向,监控网络化所起到的作用不只是简单地多 增加几个摄像头,而摄像头之间的联系显得非常重要。 在未来的智能监控网络中将会根据实际情况采用不同 的摄像机,它们的视场有可能交织在一起,也可能彼此 的视场里没有重复区域。跨摄像头的运动目标跟踪不 仅有效地扩大了监控的视野,同时也能对运动目标在整 个监控区域内的行为有着更加清晰的把握。文献【1】详 细介绍了摄像头之间有重叠视野的运动目标不同视点 之间的对应问题并取得了良好的性能,然而该方法对于 摄像头视野无重叠区域是不适用的。而本文介绍的跨

收稿日期:2

00 7—0 3-1 6

万方数据

“自动化技术与应用”2 011年第30卷第11期

———————————————————————一Patle,n
像头运动目标的匹配。

模式识另|J与t:8真
Recognit Jon and Si



Jlation——一——

为0时该像素与J割围离得最近的D。(J,y)为l的像素的 距离,而R丧示图像长宽中较小的仳,,值为一个口『调

-F



系数,ff:I以上数据计算出的口。(』,Y)即为自适应权值。 如果Dt(J,y)值为1,则r(D^(』,』)j值为0,即口^(J,J)

‘’函
图1

民li盼-田, 随心-j
跨摄像机运动目标跟踪框架

值为0,表示此处可能存在目标,因而背景暂时不更新, 直到目标不再运动或离开此处时再更新此处背景,这样 可以对背景的移入移出的变化有很强的适应能力;’’值 D。(z,y)为0时,认为此刻两帧图像没有剧烈变化,此时 即可更新背景,用来适应一些渐变过程,而自适应权值 吼(z,Y)的引入则可使背景更新更加平滑。

2.2基于形态学的运动目标提取
在获取稳定的背景后,简单的背景差分法往往不能 得到完美的运动目标图像。影响目标分割的因素丰要



运动目标检测
对于一个复杂的监控环境,往往是前景与背景同时

有两个,一是噪声的影响,二是目标颜色有时会与背景 非常相似,这些都增加了目标分割与提取的难度。吲此 本文提出了一种自适应阈值的背景差分法与基于形态 学的运动目标提取,可以稳定地提取饱满的运动目标。 算法首先通过基于白适应阈值的背景差分法得到 包含目标的二值图像:

2.1局部背景更新法
干预运动目标的检测,并且这些|jii景背景本身也随某些 因素发生着变化,比如光照的变化;运动目标与背景的关 系也不是一成不变的,两者有时也会互相转化,比如停 车场的车的停泊与启动,所有的这些都给运动目标检测 带来了许多困难。文献[2】提出了一种自适应背景更新 法,对克服背景的变化有较好的效果,但实验表明该方 法得到的背景往往会有许多噪声,其主要原因在于目标 与背景的交接处在背景更新处由于使用了有较大跃变
的权值,因而此交接处更新的背景往往不是很平滑。因

一。={:扩if 1I,。k。(。x,,,y,)-一口B。k。(,x,,y,,)i;>,y^。。(。x,,,y;

(:,

A表示当前图像,.与当前背景图像口。的差分的二 值化图像,而此处起关键效果的就是自适应闯值 y。(z,,)的选择。由于有些目标与背景的相似性很大, 比如运动目标在阴影中运动,这样的情况下,希望 y。(X,Y)越小越好;而对于一般的背景,由于光照或噪声 引起了微小的变化,则希望此区域y。(T.y)越大越好,这 样不易引进噪声。因此n可以被这样定义为

此,为解决这些问题,本文提出了一种自适应权值的局 部背景更新方法,通过对权值的估计,有效地解决了以 上问题。 在本文提出的算法中,自先粗略估计运动目标的位 置。如果仪仪足简单地使用帧间差估计得到的目标往 往会形成很大的空洞,为解决这个问题,本文采用了形 态学滤波器滤除空洞部分。这些被估计得到的目标区 域和其他部分区分对待,分别地进行更新:

此式是用相戈性来求取闻值n(』,Y),式中m,”

nt,.,,:a冉冉。。,f—Inf{} 箍1 1。,,

表示模板大小,A为一个可调系数。如果当前图像和

、l 7



a^(J,j’):(r(D^(』,y)),科 IBk+l(x,y)=口t(x,y),t(x,)。)+(1一口^(』,J)】Bk(T,)’)

当前背景在某一区域相关性很大时,表示这个罔像是 背景的可能性很大,y。(J,y)为一个较大的值;而当丰u 关性较小时,表明此处发生了突变.运动目标出现的几 率很大,因而n(x,y)较小,能充分满足以j:的要求。 注意此处计算中B.中最小像素值必须取为1,否则会 出现奇异点。 在得到二值化图像后,本文采J}j了形态学滤波法进

式中,.表示当前罔像,B为背景图像,背景更新的 目标就是由当前图像,.与当前背景0。来估计下一时刻

的背景图像B;…D。是由帧I'uJ差法和形态学滤波后估
计出的运动目标一值罔像,用来刻画当前时刻图像发生 剧烈变化的位置,而函数r(D。【』,¨)则是当D。(』,y)值

万方数据

模式识别与仿真
巳皇!!皇!翼旦呈璺旦g旦!!!里旦垦旦g墨!盟垡!璺!!鱼旦

《自动化技术与应用》2011年第30卷第ll期

行滤波。首先提取所有的连通区域X,通过求取每个连 通区域的面积从中选取连通区域像素数量大于某一阈 值的大连通区域的集合XB


本文中将三个通道灰度分布0—255的区间分为了 25个子区间进行统计,如果子区间过少则起不到区分的 效果,子区间过多则会对光强等因素敏感。经过测试, 发现区间数取20。30比较合适。统计得到的灰度分布 即为运动目标的直方图特征。

c工,y,={:莩{工x,,yy,)芒∈xX。s

(4)

3.2运动目标匹配
肘就是形态学滤波的结果。这个步骤主要用来去 在运动目标特征匹配过程中,单纯的差值法作为 匹配准则不是很稳定。比如目标进入阴影的前后,同 一目标的直方图会发生整体的左右移动,而差值法则 会将整体移动带来的差异大幅扩大。事实上,整体移 动后,直方图仍然保持原来的走势,这个走势是不变 量,可以作为待匹配的特征。因此本文提出一种引入 平移因子的直方图匹配策略,有效地解决了以上问题, 该匹配策略可以归纳为

除一些噪声,同时把目标与背景的二值关系倒置,再一 次进行式(6)运算,即可将目标中的空洞去除,并将目标 与背景的关系复原。 该算法非常简单有效,同时把去除噪声与去除目标 内的空洞归并为一类,大大提高了运动目标检测的实时 性与程序的效率。



运动目标识别
对于运动目标,跨摄像头观察往往会使得观察目标

q(r)=丑lⅣn∞一%仗+叫)忌=%,Zo+l,..-,25吒

3.1运动目标特征提取
的角度不一致,这就使得基于结构特征的匹配方法往往 会失效。本文所使用的运动目标匹配方法是基于颜色 直方图的匹配方法,该方法对于全局信息的获取与匹配 有着非常好的效果。 在预处理过程中,首先将待匹配目标周围背景去 除,然后将目标合理地划分成适当的几个区域,比如对 于行人目标可以划分成头、上半身、下半身三个区域。 可以发现,同一目标即使观察角度不一样,状态各异,但 是每个区域的颜色特征一般都是非常相似的。文献【3】 介绍了对RGB三个通道分别进行直方图匹配的方法, 在光照条件良好,色彩对比较高的条件下都取得了很好 的效果,然而在光照条件不是很好的情况,颜色的对比 度往往会很低,该方法往往失去了适用性,因此,为了能 适应这种低对比度环境下的运动目标跟踪,在接下来本 文采用一种基于YC。C,分量的直方图匹配。下式为 RGB分量转换为yc.C分量的转换公式:

%(r)=丑1%∞一%仗刊)七=%,to+t,…-,25%




%(r)=丑1%∞一%@+叫)七=%,zo+l,...,25吒(6)


D=njrl(I让≥(,)+y%∞+(1—p—’,)£b(砌f=q±1,一j±毛
式中日r1日G1日cl与日y2日G2日c,2分别代表第一 个和第二个目标YC。C,分量的直方图,f为平移因子, %为平移的限度,一般是个较小的整数,而Ⅳ与y则分 别代表三个分量在最后匹配过程中的加权。如果两个 直方图走势相似,而出现整体的左右移动时,平移因子f 的引入,可以保证两个直方图仍然能对应地很好,距离 D仍然很小,因而比普通的差值法有更好的鲁棒性。 在运动目标跟踪过程中,通过计算运动目标的移动 轨迹,可以估计该目标出现在每一个摄像头的序列关 系。该直方图匹配法配合时空信息,如迁移时间、速度、 人口区域、出口区域、路线等等,即可实现跨摄像头的 动态目标的全程跟踪。



实验结果
为了测试算法的有效性,本文按照运动目标检测与

『】,]

.r

65.738

129.057

25.064

f乏J-去l爱裟虿嚣:怒恻+匮I(5)
由于yc。C中的l,代表的是灰度信息,因此能反应 整体的灰度分布,而e与C.代表的是各个颜色通道的 差值信息,因而对于低对比度的运动目标提取直方图特 征提取效果非常好。

7rR7『16]

运动目标识别两个方面分别做了两个实验来测试本文 算法的优劣。 在运动目标检测实验中,本文测试了局部背景更新 法、自动阈值分割法以及形态学滤波的性能。图2所示 的是一段网络监控视频,该视频前景与背景共同影响着 目标的检测,并且目标与背景颜色非常相似。本文提出

万方数据

《自动化技术与应用H 2011年第j o卷第11期

模式识另|j与仿真
中的评价指标为累积匹配曲线(CMC)[4j o本文的测试图 像全部选自于VIPER数据库I“,该数据包含了由两个不 同摄像头拍摄的70个样本,部分样本图片如图3所示。 本文使用该数据库做了三次比对实验,分别是RGB分 量进行直方图特征提取并用差值法匹配、使用YC。C, 分量进行直方图特征提取并用差值法匹配畎及本文提 出的使用rc。c,分量直方图特征提取并用加入平移因 子的差值法匹配,实验结果如图4所示。实验结果表明, 本文所提出的方法在进行运动目标匹配时有着更高的 识别率与更稳健的性能。在70人的样本中能保证在排 名第一的候选者中找到正确目标的概率达到68%;在排

得局部背景更新法对j‘这种复杂的环境有非常好的鲁 棒性,而自动闽值分割法可以把与背景相似的目标很好 地划分出,且对噪声有非常有效地抑制。形态学滤波可 以把剩余的噪声儿乎完全地去除,且保证目标内不出现 空洞,完美地实现丁动态目标分割。

(a)原始视频 (b) (c) 由局部背景更新法获取的背景图像 基于形态学滤波提取的二值化图像 (d)
图2

名前6的候选者中即可保证一定找到目标。



结束语
采用局部背景更新法可以稳健地获取运动目标的

分割得到的运动目标 运动目标检测实验

背景,结合自适应阈值的背景提取以及形态学滤波法, 可以在复杂环境下准确、稳健地提取运动目标。同时, 使用基于YC。C,通道直方图特征提取以及引入平移机 制的直方图匹配可以大幅度提高运动目标识别的性能, 解决了目前跨摄像头动目标识别不稳健的问题。

参考文献:

图3

VIPeR数据库的部分样本图片

。俐一誊.

[1】李志华,陈耀武.基于多摄像头的目标连续跟踪[J】.电子

]一斟,堙

测量与仪器学报.2009,23(2):46-5I. 【2]2刘雪,王华杰,常发亮.视频图像序列中运动目标的提取 与跟踪….自动化技术与应用,2007,26(1):102—128. 13】CAI
Y,CHEN

W,HUANG

K,TAN T.Continu-

ously Tracking

ObjeCtS Across Multiple Widely Separated
Visioil--ACCV.2007:843-852. L,PERnqA A,et a1.

Cameras[C1.Compute

[4】FARENZENA M,BAZZANI
tion of Local

Person re-Identffication by Symmetry-Driven ACCumula-

Features[C】.CVPR.2010.
D,BRENNAN S,TAO H.Evaluating Ap-

【5]GRAY
: :

pearance

Models

for Recognition,Reacquisidon,and Tracking
on

【C】.IEEE International Workshop
ation for Tracking and

Performance Evalu-



Surveillance(PETS).2007.

图4

三种直方图匹配的CMC性能曲线比较


作者简介:梅江元(I

9 8

8一),男,研完生,研究方向:图像处

接下来的实验用来测试运动目标识别的性能,试验
46

智能视屏分析、生物特征识别

Te由r‘斗瞄dA【帕僵m∞&却一瞄mo鸺

万方数据


相关文档

更多相关文档

摄像头运动目标检测与识别
基于视频的运动目标检测与识别
一种视频运动目标的检测与识别方法
运动目标检测与识别方法研究
基于视频图像的运动目标检测与识别
视频监视中运动目标检测与识别方法
基于图像识别的运动目标检测与跟踪系统
018-红外图像运动目标检测与识别
运动目标图像的识别与跟踪
基于帧差与不变矩的特征运动目标检测与识别
基于视频的目标检测与跟踪技术研究(1)
论庄子的美感思想
跨摄像头运动目标检测与识别
运动目标的检测、识别与跟踪技术研究
视频监视中运动目标检测与识别方法
电脑版
document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();