工科背景下数字图像处理创新实践项目研究——以“基于IPPG的心率估计算法”为例.pdf
《工科背景下数字图像处理创新实践项目研究——以“基于IPPG的心率估计算法”为例.pdf》由会员分享,可在线阅读,更多相关《工科背景下数字图像处理创新实践项目研究——以“基于IPPG的心率估计算法”为例.pdf(8页珍藏版)》请在文库网上搜索。
1、2023年第18期总第594期No.18,2023Sum No.594Journal of Science and Education近年来,人工智能技术飞速发展,不仅成为学术研究的热门方向,还通过赋能相关产业,使社会和民生领域发生了前所未有的改变1。其中,计算机视觉是人工智能领域发展最快的分支之一,各种新算法、新技术层出不穷,带来了多种多样的新应用领域2-6,如图像识别、物体检测、图像生成、图像补全、风格迁移等,大大丰富了已有的图像处理手段。受到计算机视觉飞速发展的影响,数字图像处理课程作为计算机视觉方向的核心基础课程,也受到了越来越多的关注。数字图像处理综合了计算机科学基础理论、图像处理经
2、典算法、数字信号处理等领域的相关知识,又与计算机图形学、模式识别、机器学习等联系紧密,理论性和实践性都很强,具有知识跨度大、交叉潜力高、实践联系强的特点7。因此,数字图像处理课程的教学只有采取理论和实践并重的策略,才能适应社会的发展需求。然而,当前数字图像处理的实验教学内容滞后于学科的发展,仍然存在较多不足:第一,当前数字图像处理的授课偏重理论性,即侧重原理性知识的讲授,而与实际工程实践联系不够紧密。第二,实验教学内容多为经典的数字信号处理算法,而对其原理的前沿应用较少,高阶性、创新性、挑战度欠缺。第三,实验的考核方式以总结性评价为主,考核手段较为单一,不利于充分发挥学生的主观能动性7-8。鉴
3、于以上几点,数字图像处理的实验教学内容创新势在必行。在新工科背景下,结合数字图像处理课程的教学实际和相关学科领域的科研、应用实际,以基于IPPG 的心率估计算法为例构建创新实践教学项工科背景下数字图像处理创新实践项目研究以“基于IPPG的心率估计算法”为例马 良1 王 露2 蔡晓军1 王洪君2 宋 强11.山东大学计算机科学与技术学院 山东 青岛 266237;2.山东大学公共(创新)实验教学中心 山东 青岛 266237摘要:针对当前数字图像处理实验教学内容存在的问题,结合新工科专业建设背景与人才培养要求,探索数字图像处理课程创新型实践教学模式,以基于IPPG的心率估计算法为例构建创新实践教
4、学项目。以心率估计算法为例,基于传统数字图像处理技术,融合综合型实践教学内容,重构数字图像处理实验教学课程体系,以综合性创新性研究项目驱动知识、理论、创新和综合能力的深度融合,为培养新工科创新人才提供支撑。关键词:新工科;数字图像处理;IPPG(成像式光学体积描记技术);创新实践教学中图分类号:G642 文献标识码:A DOI:10.16871/ki.kjwh.2023.18.031基金项目:山东省本科教学改革研究重点项目“面向国家战略需求、突破卡脖子技术壁垒”的计算机专业“一生一核”教研培养体系研究与实践(Z2022153);山东省本科教学改革研究面上项目基于数链融合的“三面五要”计算机一流
5、专业人才培养体系研究与实践(M2021016);山东大学本科教育教学改革与研究一般项目基于PBOPPPS的交互式实验课程改革研究(2022Y089)。作者简介:马良(1990),男,博士,实验师,研究方向为计算机方向实践教学与研究;王露(1991),女,本文通信作者,硕士,实验师,研究方向为信号与信息处理,E-mail:;蔡晓军(1974),男,博士,副教授,研究方向为计算机方向教学与研究;王洪君(1963),男,博士,教授,研究方向为信号与信息处理;宋强(1970),男,硕士,实验师,研究方向为数字图像处理。133教改教法目,覆盖人脸检测、视频放大、时频分析等知识点,重构数字图像处理实验教学
6、课程体系,为后续学习计算机视觉、模式识别等课程打下良好的基础。课程考核以多种考核方式综合评定的形式进行,贯彻形成性评价的原则,引导、激励学生对问题进行深入探索,从而在知识和能力上得到双重锻炼,体现了实践教育改革对高阶性、创新性和挑战度的要求9,具有较高的实践价值和推广意义。1 实验目的与意义本实验涵盖的知识点丰富,包括图像的获取、增强、分割等数字图像处理基本原理,涉及人脸检测的相关技术及算法,以及信号放大、去噪等信号处理知识内容,知识目标覆盖面广。实验的知识目标有:(1)在数字图像处理基础方面,熟练掌握图像获取、图像增强、图像分割等基础概念,熟悉人脸检测及特征点提取基本原理及基于 openCV
7、 的编程实现。(2)在生物信息获取及处理方面,了解IPPG技术基本原理及在心率非接触式提取中的应用。(3)在信号处理方面,掌握信号放大、去噪、频率提取技术。实验面向产业和学科的实际需求,在夯实基础知识的基础上,实验的能力素质目标有:(1)通过自主查阅人脸检测、生命体征提取、生物信息处理的相关文献,了解相关技术手段、研究现状以及应用前景,训练信息收集能力和信息加工能力。(2)通过自主分析问题、解决问题并对项目方案进行软件实现,提升将知识用于解决计算机领域复杂工程问题的能力。(3)通过整体系统模型的搭建、编程开发工具的使用、创新型思维方式的训练,进一步提升创新能力和系统性思维能力。2 实验原理本实
8、验所包含知识点丰富,内容跨越数字图像处理以及信号处理两个主要领域,其中的关键步骤包括人脸检测、感兴趣区域(Region of Interest,ROI)提取、欧拉放大、时频分析等步骤。2.1 基于IPPG的心率检测原理人的皮肤主要包括皮下组织、真皮层和表皮层三个部分,其中皮肤对光的吸收和散射主要发生在真皮层。根据朗伯-比尔定律10,光线经过皮肤吸收后透射和反射的光强度仅与血流容量变化引起的光透过距离有关。真皮层具有丰富的毛细血管,随着心脏的搏动,血流容积会出现周期性变化,从而使真皮层的光线吸收特性发生周期性改变。基于该原理,光学体积描记技术(Photoplethysmography,PPG)技
9、术使用发光二极管发射红光或红外光线照射皮肤表面,并通过光电二极管接收反射的光线,从而获得血液容积脉搏波信号(Blood Volume Pulse,BVP),用于探测目标脉搏、血氧饱和度等信息11。该技术目前已较为成熟,广泛应用于智能手环、智能手表等设备。PPG技术的局限性在于需要紧贴于皮肤表面的特殊传感器才能实现对BVP信号的探测。随着图像处理技术的发展,成像式光学体积描记技术(Imaging Photoplethysmography,IPPG)应运而生。该技术无需身体接触即可获得血液容积脉搏波信号,且可在自然光条件下完成测量。如图1所示,IPPG技术原理利用成像设备采集人体体表的反射光线,经
10、放大、滤波等处理后分析血流周期性变化引起的颜色变化信号,从中提取心跳、脉搏、血氧饱和度等生理信息。与PPG技术相比,IPPG技术无需额外光源,不需要专门传感器,也不需要身体接触,具有更为广阔的应用前景10-11。图1 IPPG心率检测原理根据Verkruysse等人的研究,选取人的额头区域作为ROI时,提取到的BVP信号信噪比较高,较为容易提取出心率12。额头区域通常有大片皮肤裸露在外,且较为平整光滑,便于进行处理。因此,本实验选取额头区域作为ROI。2.2 人脸检测原理作为大量复杂的应用系统的首要步骤,人脸检测是计算机视觉中最重要的议题之一。Haar级联分类器是Paul Viola和Mich
11、ael Jones在其物体检测的研究13中提出的,是一种基于AdaBoost的对象检134教改教法测算法,可从机器学习的角度解决人脸检测问题。该算法需要大量的正负样本,通过从中提取区域的灰度变化对比,即Haar-like特征来训练弱分类器。如图2所示,Haar-like特征即图中所展示的黑色和白色矩形所代表的相邻区域间总灰度值的对比模式。根据特征的形状特点,Haar-like 特征可分为点特征、边缘特征和线性特征。图2 人脸的Haar-like特征由 Haar-like 特征的定义可见,为了提取出一张图片中所有的Haar-like特征,需要对大量矩形区域内的像素点进行求和运算。为了提高计算效率
12、,Viola提出了积分图算法13,即将一个像素的像素值用以原点和该点为对角点的矩形区域内所有像素的和表示。如图3所示,任意一个矩形区域的像素之和可由其四个顶点在积分图中的数值直接计算而来,即:=A-B-C+D (1)图3 积分图中对区域面积的计算原理积分图中每个像素的值可以通过如下的迭代公式13求出:R(x,y)=R(x,y-1)+I(x,y)(2)II(x,y)=II(x-1,y)+R(x,y)(3)其中,I(x,y)为原始图像,II(x,y)为积分图,R(x,y)为行积分。通过对原始图像的一次遍历即可计算出对应的积分图。为了降低特征数量,算法提取最能区分正反例的Haar-like特征用于生
13、成弱分类器的最优阈值分类函数,再利用AdaBoost13算法将大量弱分类器的判定结果进行结合,从而得到一个性能较优的分类器。给定数据集I=I(xi,yi)为一系列人脸图像的正、负例的集合,其中i=1,.,m。其中,有m个正例和 n 个负例,yi=0,1分别代表正例和负例。Adaboost算法流程为:(1)将正例和负例对应的权值w1,i分别初始化为1/2m和1/2n。(2)对于t=1,2,.,T,有:对权值进行归一化,使得wi,j为一个概率分布。对于每个haar-like特征j,训练弱分类器hj,计算误差值j=iwi|hj(xi)-yi 更 新 权 值 为wt+1,i=wt,i1-eit。其 中
14、,t=t1-t,ei在 xi被正确分类的情况下取值为 0,反之则取值为1。(3)经过T次循环,得到最终的强分类器为:h(x)=1,t=1Ttht12t=1Tt0,otherwise (4)其中,t=log1t。在实际应用过程中,通过上述训练过程可以得到一个固定尺度的 Haar 级联分类器。而在检测时,为了提高Haar级联分类器对人脸尺度变化的鲁棒性,通常将图像重新按照给定的缩放比例缩放多次,形成一个由原始图像和各级缩放图像组成的图像金字塔,由级联分类器对各个尺度的图像进行检测。如果在多个尺度上都能在一个位置上检测到一个人脸,那么这个人脸具有更高的置信度。检测完成后,算法根据额头部位在人脸上的位
15、置选定检出人脸的额头区域作为ROI,进行下一步处理。2.3 欧拉放大原理欧拉放大14是一种利用多尺度分析方法对视频中像素在时间上的微小变化进行放大的算法,包括金字塔分解、时域滤波、信号合成三个步骤。(1)金字塔分解:即将原始图像分解为不同尺度的过程。由于本实验拟提取的是像素的颜色变化而非像素的微小运动,因此采用了高斯金字塔,即用高斯滤波器对原始图像进行平滑,然后逐层降135教改教法采样来构成金字塔状结构的图像阵列。(2)时域滤波:将原始的图像帧序列展成高斯金字塔的时间序列之后,在时间轴上,对金字塔中每个像素的时间序列应用时域上的带通滤波,从而提取出待放大的目标频带。(3)信号合成:将上一步的滤
16、波结果乘以一个放大因子后加回原始金字塔,再将图像金字塔中各尺度的图片依次合成,即可得到微弱信号放大后的处理结果。3 实验步骤与结果本实验所采用的技术路线如图4所示,可分为实验准备阶段、图像处理阶段、信号处理阶段三大阶段,其中的关键步骤包括数据集格式转换、人脸检测、欧拉放大以及心率估计等。3.1 实验准备阶段实验选取心跳检测公开数据集 PURE作为测试数据来源,PURE数据集15包含10个目标在摄像头前进行不同的头部运动的视频及对应的脉搏心率数据。视频采集的光照条件为自然光,无额外光照。视频帧率为30Hz,分辨率为640 x480像素。同时数据集还提供了指夹式脉搏血氧仪采集的脉搏心跳数据作为参照
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 工科 背景 数字图像 处理 创新 实践 项目 研究 基于 IPPG 心率 估计 算法