复杂背景下人体步态分析方法.pdf

1、第 51 卷收稿日期：2023年2月12日，修回日期：2023年3月27日基金项目：中国兵器工业试验测试研究院合作项目“静爆试验图像处理及三维重构”（编号：H201907098）；陕西省自然科学基础研究计划项目“荧光偏振型分子印迹传感器的研究”（编号：2018JQ2075）资助。作者简介：陈松，男，研究员，研究方向：测试方法。1引言目前常用且成熟的生物识别技术有指纹识别、虹膜识别、人脸识别、DNA识别，新兴的生物识别技术有静脉识别、步态识别1。利用步态进行身份识别是近年来在生物识别领域的一大研究热点。随着现代智能社会发展，各种展览、机场、车站等大范围人流量多的地方的视频安全监控正在引起人们注意

2、2，国此远距离、复杂背景下的步态识别方法为在这种情况下的身份认定提供了很好的手段。过去的几十年里，步态识别领域开展了大量研究工作，已经取得了不少进展36。国外对于步态分析的研究较早，2000年美国DARPA（美国国防部高级研究计划署）开始主持开展HID计划（远距离身份识别），旨在于研究基于视频监控的人脸识别与步态识别的远距离身份识别7。2014年Tafazzoli F等通过分析研究丢弃无用冗余信息对分类器识别效率的影响。提出一种只提取特征向量的一个子集而不会降低分类精度的遗传算法（GA）来进行步态提取8。2017年Munif Alotaibi等提出一种深度卷积神经网络（CNN）架构用于步态识别

3、，其优点是可以明显降低影响步态识别性能的一些因素9。复杂背景下人体步态分析方法陈松1张国辉1王西泉1陈俊彪1马超2（1.中国兵器工业试验测试研究院华阴714200）（2.西安工业大学西安710021）摘要为了获得复杂背景下的人体步态信息，提出了基于超像素分割的步态提取方法，通过对关键帧步态能量图构造Gabor二维滤波器对步态能量图进行卷积提取特征，构造5个尺度，8个方向共40个Gabor滤波器组与步态能量图进行卷积操作特取特征，为了更有效地表征特征数据，使用主成分分析进行特征降维，最后选取无监督的分类方法-K均值聚类法进行分类识别，实验结果表明，该方法能够实现步态的有效识别。关键词复杂背景；步

4、态识别；超像素分割；K均值聚类中图分类号TP751DOI：10.3969/j.issn.1672-9722.2023.08.035Analysis on Human Gait Characteristics Under ComplexBackgroundCHEN Song1ZHANG Guohui1WANG Xiquan1CHEN Junbiao1MA Chao2（1.Orinco Group Testing and Research Institute，Huayin714200）（2.Xian Technological University，Xian710021）AbstractIn or

5、der to obtain human gait information under complex background，a method of gait extraction based on super-pixel segmentation is proposed.By constructing Gabor two-dimensional filter for key frame gait energy map，the features of gaitenergy map are extracted by convolution，and the convolution operation

6、 of 40 Gabor filter groups and gait energy map in 8 directionsand 5 scales is constructed.In order to represent the feature number more effectively，according to the research，principal component analysis is used to reduce the dimension，and finally unsupervised classification method K-means clustering

7、 method is selected for classification and recognition.The experimental results show that this method can achieve effective gait recognition.Key Wordscomplex background，gait recognition，super pixel segmentation，K-means clusteringClass NumberTP751总第 406 期2023 年第 8 期计算机与数字工程Computer&Digital Engineerin

8、gVol.51 No.818762023 年第 8 期计算机与数字工程2019年 Uddin M Z等针对步态识别中的遮挡问题提出了基于条件深度生成对抗网络（GAN）的遮挡序列（sVideo）的轮廓序列重构，其从重构的序列中估计步态周期并可从一个步态周期图像序列中提取步态特征10。国内研究较晚，但也取得一定的成果，2013年刘志勇等用局部二值模式（LBP）来提取步态能量图（GEI）的局部特征并用于识别11。2019年池凌云提出一种基于深度学习的方法来进行多视角下的步态识别12。段鹏松等13针对现有无线感知步态识别研究中存在的不足，提出了将频率能量图引入卷积神经网络模型，实现了高准确率的多人场景

9、单目标步态识别。目前中科院下孵化的一家公司已经将步态识别运用到了商业领域。步态识别主体分三个阶段：目标区域获取，步态特征提取，步态识别。本文针对具有复杂背景的步态图，运用超像素显著图得到目标区域并用Gabor特征与动态区域结合的方法完成步态特征的提取，达到在复杂背景下分析人体步态特征的目的。2步态视频的获取在实际情景中，人不会一直处于行走状态，为了获得有用的人体步态信息，我们选择视频中人体完全出现且连续行走，并且视频分帧期间上一步态与下一步态有明显差异的最小帧数作为人体步态关键帧提取标准，之后进行关键帧保存。这样，既避免了冗余信息的存在，又保存了有用的人体步态信息，大大提高处理效率。本文对于关

10、键帧的提取过程为先读取视频所有帧，选择恰当的帧数间隔提取。对于本次实验拍摄视频中，5s左右的视频，总共获得170帧左右的图片，行人完全出现在镜头当中并选取5帧为间隔保存相应帧作为关键帧。原始图像大小为10801920。35.jpg45.jpg55.jpg30.jpg40.jpg50.jpg16.jpg26.jpg26.jpg21.jpg31.jpg41.jpg图1本文提取的部分关键帧3基于超像素的目标区域提取算法3.1基于超像素法的目标区域分割SLIC超像素算法将目标图像分割成由一系列位置相邻且具有相似特征（如颜色）的像素点组成的小区域。具体分割流程如下。1）选取聚类中心。假设一幅图像有N个像

11、素点，选取其中某个像素点为聚类中心将其分为K个的同样面积超像素，超像素大小为NK，相邻聚类中心距离为S=Sqrt(NK)（1）2）在聚类中心33范围内计算范围内所有像素的梯度值，将聚类中心重新放在梯度值最小的位置。3）确定N个像素点在选取22范围内与聚类中心的距离，距离最近的划分为一类。距离计算包括颜色距离和空间距离。计算方法如下：Dc=(lj-li)2+(aj-ai)2+(bj-bi)2（2）Ds=(xj-xi)2+(yj-yi)2（3）D=(DcNc)2+(DsS)2（4）公式中Dc表示颜色距离，Ds表示空间距离，Nc与Ns表示类内最大空间距离。4）重复上述步骤直到聚类中心不再发生变化。5

12、）对于划分不均匀的超像素单元，需要建立标记表，按表不重复的顺序重新进行标签分配，遍历完后即可停止，其目的旨在增强超像素连通性，优化结果。如图2所示为超像素分割结果图。图2超像素分割图3.2基于显著图法的人体区域的获取在计算机视觉中，显著性是一种图像分割的模式，而显著图是显示每个像素独特性的图像。显著图旨在于突出一幅图像中最重要的目标。本文验证了四种显著图法（ITTI方法、SR方法、FA方法及FT方法）生成的前景图像如图3所示。1877第 51 卷（a）ITTI法（b）SR法（c）CA法（d）FT法图3四种方法处理结果得到显著区域后，对其显著区域需进行二值化，灰度变换与形态学处理保留最大轮廓提取

13、前景。如图4为结合灰度调整与自适应阈值的二值化分割结果。图4结合灰度变换与自适应阈值的二值化结果二值化图像后图像中出现很多前景，包括目标区域与部分非目标区域。这些每一块区域面积不同，我们计算出不同区域的面积，最后保留最大（只有我们想要的目标前景符合条件）连通域即可。1.jpg2.jpg1.jpg2.jpg3.jpg4.jpg3.jpg4.jpg5.jpg6.jpg5.jpg6.jpg图5部分处理结果示例4步态特征的提取与识别4.1步态轮廓图归一化由于从视频中提取的关键帧，人体目标区域不定，而且图像较大，考虑到后续特征提取计算量，需对其进行尺寸与中心归一化。具体操作过程为设置好归一化后的图像大小

14、，之后建立坐标系，获取坐标系中关键帧的高度与宽度，由于高度一般比宽度大，选取高度进行比例缩放，最后获取人体对称轴，将图像居中放置。本实验图像帧原来大小为10801920，归一化后大小为240120。1.jpg2.jpg1.jpg2.jpg3.jpg4.jpg3.jpg4.jpg5.jpg6.jpg5.jpg6.jpg图6归一化图像4.2步态能量图生成基于非模型提取步态特征方法中我们有提到基于统计学提取特征，其主要思想是提取无法建模的特征进行数学计算得到概率统计规律来获取步态特征。步态能量图就属于其中一种。步态能量图为一个步态周期内人体轮廓图的加权平均图。计算公式如下：EGEI(xy)=1Nk=

15、1NI(xy)（5）其中N为总帧数，I（x，y）代表每一帧图像，EGEI（x，y）代表一个步态周期内的所有图像加权平均得到的步态能量图。图7步态能量图陈松等：复杂背景下人体步态分析方法18782023 年第 8 期计算机与数字工程4.3步态特征的提取Gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似。其能够提供良较好的尺度选择和方向选择特性，对于光照变化，遮挡等情况表现出较强的鲁棒性与良好的适应性。二维 Gabor函数能够增强边缘以及峰、谷等底层图像特征，在保留了整体的同时也增强了部分局部特性。将步态能量图经正弦平面波和高斯核函数构成的滤波器滤波，之后便能得到步态特征。正弦平面波和高

16、斯核函数的积是二维 Gabor小波变换的滤波器。Gabor小波变换不仅仅可以提取出图像纹理的特征，并且可以减小光照和位置对图像识别造成的干扰。函数表达式如下：uv(z)-kuv22exp(-kuv2 z222)exp(ikuvz)-exp(-22)（6）式中，对于Gabor核函数，u为方向，v为尺度，z=（x，y）即图像坐标，|*|表示对*进行取模运算。kuv22用来补偿由频率决定的能量谱的衰弱，并且通过对包络函数exp(-kuv2 z222)进行加窗来限定振荡函数的变化范围，使其仅在局部起作用。本文选择滤波器组核函数与步态能量图卷积，取其幅值信息，不取其相位信息，主要原因是Gabor相位信息

17、随着空间位置呈周期性变化，而幅值的变化相对平滑而稳定。本文中一幅图像大小为240120，共有40个滤波器，总共维数为24012040/88=18000维。测试识别我们选择CASIA B数据库前10人在正常情况下行走，角度为90生成的步态能量图各6幅，总共就是6018000维，需要对其进行降维处理。4.4步态识别假定给定数据样本 X 中包含了 n 个对象 X=X1，X2，X3，Xn，其中每个对象都具有m个维度的属性。算法的目标是将n个对象依据对象间的相似性聚集到指定的k个类簇中，每个对象属于且仅属于一个其到类簇中心距离最小的类簇中。首先需要初始化k个聚类中心 C1，C2，C3，Ck，1kn，然后

18、通过计算每一个对象到每一个聚类中心的欧式距离。公式如下：dis(XiCj)=t=1m(Xit-Cjt)2（7）其中，Xi表示第i个对象1in，Cj表示第j个聚类中心的1ik，Xit表示第 i个对象的第 t个属性，1im，Cjt示第j个聚类中心的第t个属性。图8步态能量图经Gabor滤波后得到的特征图1879第 51 卷表1为使用不同主成分百分比对其降维后数据的聚类结果，选取一种无监督分类-K均值聚类法对特征数据进行分类识别，对比多次实验结果，其识别率稳定在86%，表明K均值聚类能较好的进行步态识别。表1不同主成分百分比下聚类识别结果主成分百分比90%91%92%93%94%95%96%97%9

19、8%99%识别正确数51514749525249525252识别错误数9913118811888准确率85%85%78%82%86%86%82%86%86%86%5结语相比于目前已有的步态识别方法，本文对两个方面进行了改进：第一个是使用了显著性检测进行前景提取，实验表明FT法在这方面是效果最好的，不过也可看到对于脸部这部分提取有不足，可以做出改进。第二个是使用了聚类的方法对已知类别的样本进行分类识别，表明其在已知类别数下能够进行有效分类。因为现实状况的复杂性，单一使用步态仍不能够真正做到很高的识别率，后续需要考虑现有成熟的识别技术如何与步态结合，实现优势互补。参 考 文 献1Rida，Imad

20、，Almaadeed，Noor，Somaya.Robust gait recognition：a comprehensive surveyJ.The Institution ofEngineering and Technology，2018，164：1-16.2寇向阳.步态行为分析与比对方法研究 D.北京：中国人民公安大学，2017.KOU Xiangyang.Research on Gait Behavior Analysis andAlignment D.Beijing：Peoples Public Security University of China，2017.3Sprager S，

21、Juric M B.Inertial Sensor-Based Gait Recognition：A Review J.Sensors，2015，15（9）：22089-22127.4 CordobaR，FerreirosJ.FrequencyFeaturesandGMM-UBM Approach for Gait-Based Person Identification Using Smartphone Inertial Signals J.Pattern Recognition Letters，2016，73（4）：60-67.5Li J，Qi L，Zhao L，et al.Dynamic

22、Long Short-TermMemory Net-work for Skeleton-Based Gait RecognitionC/IEEE Smart world，Ubiquitous Intelligence&Computing，Advanced&Trusted Computed，Scalable Computing&Communications，Cloud&Big Data Computing，Internet of People and Smart City Innovation.IEEE，2017：1-6.6Marcin D，Mariusz B.Recognition of a

23、Person WearingSport Shoes or High Heels through Gait Using Two Typesof Sensors J.Sensors，2018，18（5）：1639-1659.7Jain A K，Ross A，Prabhakar S.An introduction to biometric recognitionJ.IEEE Transactions on Circuits&Systems for Video Technology，2004，14（1）：4-20.8Tafazzoli F，Bebis G，Louis S，et al.Improving

24、 HumanGait Recognition Using Feature Selection J.Advances inVisual Computing，2014：830-840.9Munif Alotaibi，Ausif Mahmood.Improved gait recognitionbased on specialized deep convolutional neural networkJ.Computer Vision and Image Understanding，2017，164：103-110.10Uddin M Z，Muramatsu D，Takemura N，et al.S

25、patio-temporal silhouette sequence reconstruction for gaitrecognition against occlusionJ.Ipsj Transactions onComputer Vision&Applications，2019，11（1）：9-25.11刘志勇，冯国灿，陈伟福.基于局部二值模式和辨识共同向量的步态识别 J.计算机科学，2013，40（09）：262-265.LIU Zhiyong，FENG Guocan，CHEN Weifu.Gait Recognition Based on Local Binary Pattern a

26、nd DiscriminantCommon Vector J.Computer Science，2013，40（9）：262-265.12池凌云.基于深度学习的多视角步态识别算法研究D.成都：电子科技大学，2019.CHI Lingyun.Research on Human Multi-view Gait Recognition Algorithm Based on Deep Learning D.Chengdu：University of Electronic Science and Technology ofChina，2019.13段鹏松，周志一，王超，等.WiNet：一种适用于无线感知场景的步态识别模型 J.西安交通大学学报，2020，54（7）：4-9.DUAN Pengsong，ZHOU Zhiyi，WANG Chao，et al.WiNet：a Gait Recognition Model Suitable for WirelessSensing Scene J.Academic Journal of Xi an JiaotongUniversity，2020，54（7）：4-9.陈松等：复杂背景下人体步态分析方法1880