人机交互智能安全第1讲.pptx
《人机交互智能安全第1讲.pptx》由会员分享,可在线阅读,更多相关《人机交互智能安全第1讲.pptx(87页珍藏版)》请在文库网上搜索。
1、第一章人机交互设计1.1人机交互定义 人机交互或称人机互动(HumanComputer Interaction或HumanMachine Interaction,简称HCI或HMI),是一门研究电子系统与用户之间交互关系的学科。系统可以是各种各样的机器设备,也可以是计算机系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流,并进行操作。人机交互主要研究用户与系统之间的信息交换,它包括用户到系统和系统到用户的信息交换两部分。各种各样的含处理器的机器,包括计算机,智能电视机、智能手机、传感器处理设备等。用户可以借助智能眼镜、智能手表、操纵杆、数据服装、眼动跟踪器、位置跟踪
2、器、内置心跳传感器等各类穿戴设备,以及键盘、鼠标、触摸屏等外围设备,用手势、声音、姿势或眼睛等向系统传递信息,同时,系统通过显示器、音箱、控温设备、加湿器等输出设备向用户提供信息。人机交互是一门综合学科,它与通信技术、电子技术、人工智能技术、计算机技术、商务管理、认知心理学、社会工程学、多媒体技术、虚拟现实技术等密切相关。各种学科相互交叉和渗透,并与现代智能物联网,大数据终端紧密结合在一起,是电子工程,通信工程,计算机专业,软件工程,网络安全,人工智能、经济管理等专业本科生和研究生必修课程。我们首先通过图片来形象认识一下人机交互。图(a)和(b)分别是华为生产的可接听电话的智能手表及专用于老人
3、健康智能检测紧急求助的手表。(a)(b)在智能手表的设计上,我们可以看到人机交互的体现,通过机器帮助处理人类的请求,通过触摸屏或语音麦克风等来产生人机之间的有效交流。1.2人机交互设备1.2.1交互设备发展历史人机交互的发展可以大概分为以下几个阶段:1.早期的手工作业阶段,如卡片卡带等。2.作业控制语言及交互命令语言阶段,如DOS命令。3.图形用户界面(G人机交互)阶段。4.网络用户阶段,也即在互联网时代的人机交互阶段。5.多媒体智能人机交互阶段,也即在智能处理时代的人机交互。6.意念控制阶段。在人机交互输入设备中有穿孔卡片、键盘、鼠标、手写笔、条形码、扫描仪、光电阅读机、触摸屏、语音交互设备
4、、虚拟现实交互设备等。手写输入指的是手机通过内置的触控笔在手机屏幕上手写,手机通过内部的识别系统把手写的各种字体转换为手机可识别的标准字体显示在手机屏幕上,这样可以提高输入速度。条形码(barcode)是将宽度不等的多个黑条和空白,按照一定的编码规则排列,用以表达一组信息的图形标识符。常见的条形码是由反射率相差很大的黑条(简称条)和白条(简称空)排成的平行线图案。条形码可以标出物品的生产国、制造厂家、商品名称、生产日期、图书分类号、邮件起止地点、类别、日期等许多信息,因而在商品流通、图书管理、邮政管理、银行系统等许多领域都得到广泛的应用。扫描仪是利用光电技术和数字处理技术,以扫描方式将图形或图
5、像信息转换为数字信号的装置大多数扫描仪采用的固态器件是电荷耦合器件(CCD:ChargeCoupledDevice),用光源照射原稿,投射光线经过一组光学镜头射到CCD器件上,得到元件的颜色信息,经过模/数转换器,图象数据暂存器等,最终输入到计算机。而三维实体模型需要三维扫描仪。可以采用激光扫描。光电阅读机(考试阅卷机)是利用光电转换原理将规定格式的住处卡上的光学信息符号转换成计算机能处理的电信号的装置。信息卡通常是张纸制卡片,纸上一些确定位置印有涂写信息的矩形或圆形标志区,用铅笔等对一些标志涂黑以后,光电转换部件便能通过卡片的反光或投射能力识别这些信息,并将其转换为电信号。触摸屏作为一种特殊
6、的计算机外设,提供了一种简单、方便、自然的人机交互方式,在某些应用中,可以代替鼠标或键盘。触摸屏由触摸检测部件和触摸屏控制器组成。触摸检测部件安装在显示器屏幕前面,用于检测用户触摸位置,然后传送给触摸屏控制器。而触摸屏控制器的主要作用是处理从触摸检测部件接受到的触摸信息,并将它转换成触点坐标,再传送给CPU,它同时能接收CPU发来的命令并加以执行。按照触摸屏的工作原理和传输信息的介质的不同,可以把触摸屏分为四种:电阻式、电容感应式、红外线式以及表面声波式。语音作为一种重要的人机交互手段,日益受到人们的重视。麦克风和音箱就是最基本的语音交互设备。虚拟现实运用要求计算机可以实时显示一个三维场景,用
7、户可以在其中自有的漫游,并能操纵虚拟世界中的一些虚拟物体,具有身临其境的感觉。它包括三维空间定位设备,空间跟踪定位器,数据手套,触觉和力反馈器等。手指触觉反馈器的实现主要通过视觉、气压器、振动触觉、电子触觉和神经肌肉模拟等方法。通过传感器和天线来获得和发送手指的位置和方向的信息。输出设备包括显示器和三维显示设备,头盔式显示器以及立体显示器等。显示器是计算机的重要输出设备,是人机对话的重要工具。它的主要功能是接收主机发出的信息,经过一系列的变换,最后以光的形式将文字和图形显示出来。常见的图形显示设备有阴极射线管显示器、液晶显示器和等离子显示器。1992年,Defanti等提出了洞穴式显示环境(C
8、aveAutomationVirtualEnvironment,CAVE),这是一种四面的沉浸式虚拟现实环境。系统在支持多用户的同时,给用户提供前所未有的沉浸感效果。对于处于系统内的用户来说,投影屏幕将分别覆盖用户的正面、左右以及底面视野,构成一个边长约3米的立方体。CAVE实现了大视觉、全景、立体且支持5-10人共享的一个虚拟环境。相对于单投影面系统来说,多投影面系统能够涵盖更多的用户视野范围,提供更好的沉浸感,所以多投影面系统也成为沉浸式虚拟环境的主要发展方向。近年来,出现了不需要佩戴立体眼镜的裸眼立体显示器,在机场等场合用于广告与宣传。裸眼显示器与需要佩戴立体立体眼镜的显示设备都利用了立
9、体视觉原理,使用户通过左、右眼观察到物体的细微差异来感知深度。两者不同之处在于裸眼立体显示器通过显示技术替代了之前通过眼镜偏振片实现的偏振滤光成像环节,将画面分割成给左、右眼观看得两个不同角度的影像,再利用视觉暂留原理,在人脑形成形成立体画面。真三维显示是三维显示的最终目标,是一种能够实现360度视角观察的三维显示技术,是现实景物的最真实再现。在真三维显示场景中,位置各异的用户无需借用其他辅助工具,就可以围绕显示区域看到与自身位置相对应的信息,在宽广的视场和视距范围内随心所欲地边走边看,符合人类对真实场景的观看需求。真三维显示技术正处于研究阶段,可分为扫描体显示(Swept-VolumeDis
10、play)和固态显示(Solud-VolumeDisplay)两大类,前者如Perspecta,后者如DephthCube。扫描体三维显示利用人类的视觉滞留原理,将一定时序范围内的基本三维面域,融合成一幅独立的三维影像。人机交互的发展进入体感交互(肢体控制)的时代,直接使用肢体动作与机器互动,而无需使用任何控制设备。包括3D虚拟现实、空间鼠标、游戏手柄等,典型的应用如跳舞毯、互动游戏机(iPad上的打网球模拟)、智能眼镜等,其中触摸技术应用最为广泛,包括医院,图书馆,银行等公共场所的触摸屏、ATM柜员机、iPad/iPhone上的各种应用等。“意念”操控,是利用人类的脑波操控。通俗地讲,人类在
11、进行各项生理活动时都在放电。心脏跳动时会产生12毫伏的电压,眼睛开闭会产生56毫伏的电压,而思考问题时大脑会产生0.21毫伏的电压。如果用科学仪器测量大脑的电位活动,那么在荧幕上就会显示出波浪一样的图形,这就是“脑波”。脑机交互(Brain-ComputerInterface,简称BCI),是指在人脑与计算机等外部设备之间建立直接的连接通路。通过对于脑电信息的分析解读,将其进一步转化为相应的动作,这就是用“意念”操控物体的基本原理。脑机交互可以指通过大脑思维对其他设备进行控制,也可以反过来,对人脑进行控制,脑机交。主要应用于医疗领域。未来汽车可以成为人类意识的外延,汽车可以与人脑直接相连。利用
12、脑机交互技术,可以获取到很多现在无法得到的驾驶员的信息,而这些信息如果能够传递给汽车,那么驾驶的体验将会得到很大的提升。脑机交互技术涵盖生物科学(大脑结构、神经元,皮层、脑电信号采集)、认识科学、信息科学、纳米科学、人工智能等。目前,硅谷创业公司Neurosky已经将庞大的脑波监测设备缩减至一个头戴式耳机的大小,并且仅仅需要一个金属触点就可以实现对于脑波的测量,这种便携式的设备也使脑波技术的大规模民用化成为可能。凭借这方面的技术优势,这家成立仅仅7年的公司迅速成长为行业内的领军企业。2019年5月份,MIT(美国麻省理工学院)的三位科学家发表了一份利用深度学习进行脑机接口研究的成果,他们成功地
13、用自己创建的人工神经网络控制了猴子大脑皮层的神经活动。研究者利用从神经网络模型中获得的信息创建了特定的非自然图像,然后将这些图像展示给实验中的猴子,结果发现,这些图像可以强烈激活他们选择的特定脑神经元。该实验表明,人类利用自己创建的人工神经系统成功控制真实神经系统的活动。以上两种脑机接口研究都属于植入式的。这种方式虽然信号质量较高,但也存在一些问题,如容易引发免疫反应和愈伤组织(疤痕),进而导致信号质量的衰退甚至消失。因此,如果能借助非侵入式方式(如脑电图)创建脑机接口可能会更加安全。“非植入式”因其操作相对简便而受到更多研发团队的青睐,主要有脑电图EEG、脑磁图MEG、近红外光谱NIRS、功
14、能磁共振成像fMRI等研究方式,一些商用脑机交互产品已经被开发和出现在市场上。中国在脑机交互研究方面也有所建树,2016年10月,由天津大学神经工程团队负责设计研发的在轨脑机交互及脑力负荷、视功能等神经工效测试系统随着“天宫二号”进入太空进行了国内首次太空脑机交互实验。近年来,强大的深度学习技术也被应用到脑机接口研究中,脑机接口也成为深度学习研究者的另一重要方向。1.2.2交互设备工业应用把语音交互、体感交互、图像交互等整合应用到现实场景中。在工业物联网中,随着计算机以及控制技术的发展,传统的工业控制技术已经逐渐地被智能控制技术所替代,智能化工业控制系统推动企业持续创新发展。国内的自动化产业中
15、原本不用人机界面的行业也开始引入新设备,它能更好地反映出设备和流程的状态,并通过视觉和触摸的效果,带给客户更直观的感受。有些机械行业,比如说机床、纺织机械、电子设备等行业,在国内已经发展有几十年的历史了,相对来说属于比较成熟的行业,从长远看,这些行业还存在着设备升级换代的需求。人机界面的未来发展趋势将朝平台嵌入化、品牌民族化、设备智能化、界面时尚化、通讯网络化和节能环保化方向发展。智能工业是将具有环境感知能力的各类终端、基于泛在技术的计算模式、移动通信等不断融入到工业生产的各个环节,大幅提高制造效率,改善产品质量,降低产品成本和资源消耗,将传统工业提升到智能化的新阶段。传统的工业自动化控制系统
16、主要包括3个层次,分别是设备层(devicelayer)、控制层(controllayer)、以及信息层(informationlayer)。自动化业者长期以来都朝著信息化目标前进,在物联网的大力发展下,传统的C/S(Client/Server)架构可以转换成B/S(Browser/Server)架构,在生产制造、智能建筑、新能源、环境监控、以及设备控制领域有更广泛的应用。工业化的基础是自动化,自动化领域发展了近百年,理论,实践都已经非常完善了。特别是随着现代大型工业生产自动化的不断兴起和过程控制要求的日益复杂营运而生的分布式控制系统(DCS),更是计算机技术,系统控制技术、网络通讯技术和多媒
17、体技术结合的产物。如今,对图像、语音信号等大数据量、高速率传输的要求,催生了以太网和控制网络的结合,网络化浪潮又将嵌入式技术、多标准工业控制网络互联、无线技术等新兴技术融合进来,从而拓展了工业控制的发展空间,带来新的发展机遇,智能化的工业控制正迅猛成长。人机交互是计算机科学和认知心理学相结合的产物,同时还涉及到人体工效学、社会学、生理学、医学、语言学、哲学等多种学科,是一门综合性很强的科学,因此对研究人员的知识结构要求很高,需要有着深厚工业自动化经验,对人机交互界面有独到理解。智能型人机交互产品带给众多产业巨大的机会和挑战,一方面高性能的嵌入式处理器如单核到多核的高端ARM处理器和智能化的操作
18、系统如Android已经渗透到人们生活的各个方面,与之相伴的是工业类智能产品也越来越需要更好的用户体验。工业互联网的冰山一角刚刚打开,相信新一代的基于新型操作系统的人机交互产品必然带给用户非凡的体验,实现巨大的价值。1.2.3人机交互设备市场人机交互设备市场规模增长前景广阔,未来,人机交互技术的发展将从“能听会说”的语音应用走向“能理解会思考”的人工智能方向。人机交互方式从最传统的打孔机演进到如今的触控屏,越来越拟人化,在半导体技术的帮助下,人机交互理念从“人适应计算机”进化到“计算机适应人”,人们要求通过视觉、听觉、触觉、嗅觉,以及形体、手势或口令,参与到信息处理的环境中去,从而取得身临其境
19、的体验。万物互联是人机交互领域前所未有的重大机遇。基于生物特征的识别技术、基于环境的情境识别技术,基于极致体验的全方面感知技术等,将在全球市场呈现强劲的需求趋势。人机交互变革将是继个人计算机、互联网、云计算、大数据之后的第五次信息技术领域的重大技术革命。1.2.4集成人机交互和ADAS系统高级驾驶辅助系统ADAS(AdvancedDrivingAssistantSystem)是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、单双目摄像头以及卫星导航),在汽车行驶过程中随时感应周围的环境,收集数据,进行静态、动态物体的辨识、侦测与追踪,并结合导航仪地图数据,进行系统的运算与分析,从而预先让
20、驾驶者察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性。近年来ADAS市场增长迅速,原来这类系统局限于高端市场,而现在正在进入中端市场,与此同时,许多低技术应用在入门级乘用车领域更加常见,经过改进的新型传感器技术也在为系统布署创造新的机会与策略。采用ADAS有什么好处?根据目前交通事故分析,有将近90%是驾驶员本身问题造成,其中76%是驾驶员的误操作等引起的,还有将近14%由驾驶员生理和身体因素造成,剩下10%是路面和车辆缺陷引起的。由此得到,将近有97%-98%的交通事故因素其实都可以避免,而ADAS可以有效地规避这些问题。2018年全球ADAS在的人机交互显示(包含抬头显示、组合仪表
21、、中控显示系统)市场规模将近140亿美元,其未来市场需求将非常大。从全球来看,欧洲汽车供应体系很早就完成了演变,普及率已经达到一定水平,而亚太将会是未来发展的重点区域,发展速度也将越来越快。ADAS发展重点有三个:一是安全性,汽车产业首先注重安全功能,安全始终放在第一位;二是易用性,在安全之外,HMI是人和机器交互的接口,设计要注重易用性,方便客户操作,避免一些误操作等;三是功能性,即HMI要做到更多娱乐功能以及其他丰富功能,让客户真正享受HMI所带来的便利。使用HMI工具把摄像头和实际场景结合,再把HMI里面的路况设置信息叠加到实时路面的过程。具体来说,摄像头和传感器网,全球定位系统负责实时
22、采集信息,汇集,经过HMI里面的渲染,把实时信息叠加到路面上来,使驾驶员在驾驶车辆的时候,可以实时注意路面情况,减少和避免交通事故。HMI的软件开发工具目前有CGISTUDIO,它的三个特点分别是:1、开源。绝大部分代码是开放的,客户可以根据代码做个性化设计自行开发。与此同时,如果客户无需个性化设计也可以利用内置的控件库资源做基础设计,非常易于设计师操作。2、易用。在开放代码的同时,有很多控件集成,这些控件可以完成大部分工作。3、性能优异。工具有非常优秀的压缩算法,从低端的SoC到高端的SoC芯片都可以有效支持,特别是在低端内存资源有限的情况下,可以有效利用内存资源进行匹配,以达到更好的性能。
23、1.3人机交互研究内容人机交互的主要研究内容可以用图概略表达:从设计角度来划分人机交互研究内容,则包括界面模型,可用性评估,多通道交互等。1.3.1人机交互界面表示模型与设计方法一个交互界面的优劣,直接影响到软件开发的成败。友好的人机交互界面的开发离不开好的交互模型与设计方法。因此,研究人机交互界面的表示模型与设计方法是人机交互的重要研究内容之一。使用人机交互界面的表示模型和形式化的设计语言来分析和表达用户界面的功能以及用户和系统之间的交互情况,并且界面表示模型能方便映射到实际的设计实现。人机交互设计要求是对话独立性:在系统设计和实现时,强调人机交互界面和业务的分离,即界面和系统的业务或者数据
24、模型不互相影响,彼此独立。强调对话独立性,可以更好实现系统的扩充和重用和语义反馈:实时反馈界面的状态和用户操作的细节,以便用户能够清楚的了解当前操作的过程。人机界面描述语言一般分为:命令式语言和陈述式语言。命令式语言要求编程人员明确的指定如何执行任务,陈述性语言要求编程人员只需指定任务要做什么,陈述性语言要比命令式的语言更为抽象。几种常见的陈述性语言:用户界面标记语言(UIML)、扩展界面标记语言(XIML)、XML用户界面语言XUL。软件结构将详细设计的结果-界面的表示模型转换成能在硬件上运行的交互系统,实现交互系统的开发环境提供了有效的转换手段,把概要设计和应用规则转换成可以执行的软件,开
25、发环境为程序员提供了不同层次上的支持。窗口系统:提供设备独立性和资源共享,用户界面管理系统:抽象层次更高的支持交互系统实现的开发环境。支持复杂人机交互系统的实现的软件体系结构有E-O模型、Seeheim模型和智能体。1.3.2可用性分析与评估可用性是人机交互系统的重要内容,它关系到人机交互能否达到用户期待的目标,以及实现这一目标的效率与便捷性。对人机交互系统的可用性分析与评估的研究主要涉及到支持可用性的设计原则和可用性的评估方法等。可用性是指特定的用户在特定的环境下使用产品并达到特定目标的效力、效率和满意的程度。可用性的设计流程是了解用户,竞争性分析,设定可用性目标,用户参与的设计,迭代设计和
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人机交互 智能 安全