多无人机网络边缘智能计算卸载算法.pdf
《多无人机网络边缘智能计算卸载算法.pdf》由会员分享,可在线阅读,更多相关《多无人机网络边缘智能计算卸载算法.pdf(13页珍藏版)》请在文库网上搜索。
1、ISSN 10049037,CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38,No.6,Nov.2023,pp.1286-1298DOI:10.16337/j.10049037.2023.06.005 2023 by Journal of Data Acquisition and Processinghttp:/Email:sjcj Tel/Fax:+8602584892742多无人机网络边缘智能计算卸载算法王心一,陈志江,雷磊,宋晓勤(南京航空航天大学公共实验教学部,南京 211106)摘要:为了解决大规模部署固定边缘
2、计算节点成本高、机动性差和难以应对突发事件等问题,针对计算密集型和延迟敏感型移动业务需求,提出了一种基于深度强化学习的计算任务卸载算法。考虑多架无人机飞行范围、飞行速度和系统公平效益等约束条件,最小化网络平均计算延时与无人机能耗的加权和。将该非凸性、NP(Nondeterministic polynomial)难问题转化为部分观测马尔可夫决策过程,利用多智能体深度确定性策略梯度算法进行移动用户卸载决策和无人机飞行轨迹优化。仿真结果表明,所提算法在移动服务终端的公平性、系统平均时延和多无人机的总能耗等方面的性能均优于基线算法。其中,所提算法能够得到不同计算性能下的最佳功耗控制,当 CPU 频率为
3、 12.5 GHz时,能耗相比基线降低 29.16%,相比随机策略梯度算法降低 8.67%。关键词:移动边缘计算;计算卸载策略;无人机轨迹优化;深度确定性策略梯度;用户公平中图分类号:TP393 文献标志码:AComputation Offloading Algorithm for MultiUAV Network Based on Edge IntelligenceWANG Xinyi,CHEN Zhijiang,LEI Lei,SONG Xiaoqin(Public Experimental Teaching Department,Nanjing University of Aeronau
4、tics&Astronautics,Nanjing 211106,China)Abstract:In order to solve the problems of high cost,poor mobility and difficulty in coping with emergency in largescale deployment of fixed edge computing nodes,a computing task offloading algorithm based on deep reinforcement learning is proposed to meet the
5、needs of computingintensive and delaysensitive mobile services.Considering constraints such as the flight range,flight speed and system fairness benefits of multiple unmanned aerial vehicles(UAVs),the method aims to minimize the weighted sum of the average computing delay of the network and the UAV
6、energy consumption.This nonconvex and nondeterministic polynomial(NP)hard problem is transformed into a partially observed Markov decision process,and a multiagent deep deterministic policy gradient algorithm is used for mobile user offloading decision and UAV flight trajectory optimization.Simulati
7、on results show that the proposed algorithm outperforms the baseline algorithm in terms of fairness of mobile service terminals,average system delay and total energy consumption of multiple UAVs.Especially,the proposed algorithm can obtain the optimal power consumption control under different comput
8、ing performance.When the CPU frequency is 12.5 GHz,the energy consumption is 29.16%lower than the Cruise algorithm,and 8.67%lower than the advantage actorcritic(A2C)algorithm.基金项目:国家自然科学基金(62371232);江苏省教育厅及未来网络创新研究院“未来网络”科研基金(FNSRFP2021ZD4)。收稿日期:20230730;修订日期:20230912王心一 等:多无人机网络边缘智能计算卸载算法Key words:
9、mobile edge computing;computation offloading policy;UAV trajectory optimization;deep deterministic policy gradient;user fairness引 言随着移动网络技术和无线通信技术的快速发展,智能设备规模急剧增长,随之而来的是一系列创新应用,例如增强现实(Augmented reality,AR)、人脸识别及自动驾驶等1。这些应用都有延时敏感、计算复杂的特点,使得移动用户对设备的计算需求和服务质量(Quality of service,QoS)的要求不断提高2。由于云计算架构难以满足
10、移动设备的低延时和隐私需求,人们在其基础上提出了移动边缘计算(Mobile edge computing,MEC)以缓解用户计算资源受限的问题3。通过将 MEC 服务器布置在移动网络边缘,用户设备可以通过无线通信将计算任务卸载到 MEC服务器从而降低计算延时4。传统边缘基础设施由于其位置固定而受到高部署成本的限制,无人机技术与 MEC 的结合可以比传统 MEC 系统在特定的场景上更具优势和灵活。当受到自然灾害导致网络基础设施不可用或移动设备的突然增多超出了网络服务能力,无人机就可以作为临时的通信中继站或边缘计算平台在通信中断或流量热点地区增强无线覆盖,提供计算支持5。为提供高质量通信链路,无人
11、机经过航迹规划,可以通过飞行调整自身位置,轻松建立与地面用户的视距(Lineofsight,LoS)链路6。此外,由于单无人机的计算和覆盖能力有限,多无人机能够让更多任务在网络边缘计算,以减少系统延时,提升可靠性7。但是无人机的计算资源与电量受限,为提高 MEC 系统的性能,有许多关键问题还需解决,包括安全性8、任务卸载、能量消耗、资源分配和各种信道情况下的用户延迟性能等,使得无人机辅助 MEC 模式下的计算卸载研究受到国内外学者的广泛关注。在无人机 MEC 网络中,可以优化多种类型的变量以实现期望的调度目标,相关的研究工作按照系统模型可分为单无人机和多无人机计算卸载,调度方案可分为集中式和分
12、布式两种,其中集中式常用的有凸优化算法和群智能算法,分布式多基于博弈论方法。对于单无人机卸载模型,文献 9 设计了一种单无人机边缘云系统,无人机作为移动边缘计算服务器与远程中心云交互,为地面终端提供计算服务,通过块坐标下降算法(Block coordinate decent,BCD)对资源分配和无人机三维轨迹进行迭代优化来最小化无人机的整体能耗;文献 10 研究了物联网(Internet of things,IoT)中的无人机辅助 MEC 系统,作者分别采用拉格朗日对偶法和逐次凸逼近算法(Successive convex approximation,SCA)来处理非凸问题,着重通过时隙调度、
13、无人机路径规划和功率分配来降低整体能耗,进一步扩大了计算资源的规模。对于多无人机计算卸载,文献 11 提出了一种两层联合优化方法,外层利用粒子群结合遗传算法(Genetic algorithm,GA)来优化无人机的部署,内层采用贪心算法获得合理的卸载决策,以最小化平均任务响应时间;文献 12 提出了一种在城市场景下多无人机的车辆辅助计算卸载架构,将无人机和车辆之间计算数据的交易过程建模为一个交易博弈,通过分析交易过程,可以得到最优的交易策略。文献 912 使用的传统优化方法由于需要大量迭代和先验知识来获得一个近似最优解,因此不适用于动态环境中的实时 MEC 应用。随着机器学习在研究中的广泛应用
14、,许多研究人员也在探索基于学习的 MEC 调度算法13,鉴于机器学习的最新进展,深度强化学习(Deep reinforcement learning,DRL)现已成为研究热点。对于单无人机卸载模型,文献14提出了一种基于深度 Q 网络(Deep Qnetwork,DQN)的端到端模型来联合优化计算卸载和无人机轨迹控制,以降低整个系统的时延和能耗,借助深度神经网络(Deep neural network,DNN)的拟合能力,DRL可以有效地解决具有高维状态空间的复杂决策问题;为了缓解 DQN 中典型的高估问题,文献 15 采用双深度 Q 网络优化无人机的飞行轨迹和关联用户,在用户实时移动环境下实
15、现最大化系统吞吐量;文献 16 提出了另一种改进型的深1287数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.6,2023度确定策略梯度算法来寻求能够提高用户体验的最佳策略,通过重新设计 Critic网络结构提升了算法的稳定性和收敛速度。文献 1416 虽然采用深度强化学习方法实现计算卸载,但算法用的是单智能体,不适合具有复杂任务划分的系统。对于多无人机卸载模型,文献 17 使用多架无人机作为边缘服务器,为物联网设备提供计算卸载的机会,采用随机优先重放机制的 DQN 算法加速训练时间,提高了收敛的稳定性;文献 18 设计
16、了一种基于多无人机的 IoT边缘网络模型,提出了一种基于多智能体深度强化学习(Multiagent deep reinforcement learning,MADRL)的方法用于协同计算卸载和资源分配,通过集中训练和分散执行的方式降低计算成本,提高分配效率。文献 1718 进一步证明了深度强化学习在无线通信网络中的有效性,但在综合能耗节省和延迟性能保障等方面仍存在一定的不足。尽管现有的工作取得了很大的进展,但基于学习的方法仍需要进一步研究,以使其更适用于复杂动态环境下的无人机辅助 MEC 系统。因此,本文试图通过多智能体深度强化学习的方法来求解无人机轨迹和卸载优化问题,从而获得可扩展和有效的调
17、度策略,主要的研究工作与创新点如下:(1)研究了一个多无人机辅助 MEC 模型,其中多无人机部署在三维空间,充当网络边缘设施。在该系统模型的基础上,基于用户的位置和任务信息,联合优化多无人机的飞行轨迹和计算卸载策略以最小化系统时延和无人机能耗,同时保证用户的服务公平。(2)将上述非凸计算卸载优化问题表示为一个部分观测马尔可夫决策过程(Partially observable Markov decision process,POMDP),将模型环境中的变量都转化为 POMDP中的元素,并提出了一种端到端的基于多智能体深度确定策略梯度(Multiagent deep deterministic p
18、olicy gradient,MADDPG)的轨迹优化卸载算法来解决该优化问题。(3)设置不同的模型参数进行仿真试验,结果验证了该算法的有效性。在相同的仿真条件下,本文提出的算法与其他基线算法相比,在降低系统时延和无人机能耗方面也有显著的优势。1 无人机辅助计算卸载模型 1.1系统模型无人机辅助用户卸载的移动边缘计算系统,如图 1所示。该系统有 M 个移动用户设备(Mobile device,MD)随机分布在一块方形区域,区域边长设为lmax,将移动设备的集合记为m M=1,2,M。同时有 U 架搭载 MEC服务器的无人机,在目标区域上空以固定的高度Hu飞行,用于给移动设备提供卸载服务,无人机
19、集合记为uU=1,2,U。设无人机执行一次飞行任务的总时长为 T,总时长可被分为 N 个等长的时隙,时隙的集合记为T=1,2,N。每个 MD 在每个时隙有一个计算密集型任图 1无人机辅助计算卸载模型Fig.1Assisted computation offloading model of UAV1288王心一 等:多无人机网络边缘智能计算卸载算法务,任务记为Sm()=Dm(),Fm(),其中Dm()表示数据比特量,Fm()表示每比特所需CPU周期。每架无人机在每个时隙只为一个终端设备提供计算卸载服务,用户只需在本地计算任务的一小部分,其余卸载到无人机辅助计算,以减少计算的延时和能耗,卸载计算量
20、的比例记为m,u()0,1。无人机和用户设备之间的卸载决策变量可表示为D=m,u()|u U,m M,T(1)式中m,u()0,1。当m,u()=1时表示设备MDm在时隙的计算任务由无人机 UAVu辅助计算,m,u()0,当m,u()=0时则表示只在本地执行计算任务,m,u()=0。决策变量需要满足u Um,u()1 m M,T(2)1.2移动模型与之前的研究类似,移动设备会在每个时隙内随机移动到新的位置,每个设备的移动与其当前的速度和角度有关。假设MDm在时隙的坐标记为cm()=xm(),ym(),则其下一时隙+1的坐标可表示为 xm(+1)=xm()+cos(21,m)dmax2,mym(
21、+1)=ym()+sin(21,m)dmax2,m(3)式中:dmax代表设备移动的最大距离;移动方向和距离概率均服从均匀分布,1,m,2,mU(0,1)。为了简化模型,无人机服务终端时仅考虑其在该时隙的起始位置。同样地,每架无人机在高度Hu的水平面轨迹也可以用无人机在每个时隙的离散位置cu()来表示,假 设 UAVu在 时 隙选 择 飞 去 服 务MDm,则 其 飞 行 方 向 记 为u()0,2,飞 行 速 度 为vu()0,Vmax,其中 Vmax为飞行最大速度,飞行时间为tfly,无人机飞行消耗的能量为19Eflyu()=(|cu()-cu(-1)|tfly)=|vu()|2(4)式中
22、=0.5Mutfly,Mu为无人机总质量。1.3通信与计算模型在本次设计的MEC系统中,计算卸载采用可部分卸载策略,MDm在时隙的本地计算延时可表示为Tlocalm()=()1-u Um,u()Dm()Fm()fm(5)式中fm表示MDm的本地计算能力(每秒 CPU 周期数)。本次实验采用视距链路(LoS link)模型模拟实际的无人机对地通信20,无人机和用户之间的信道增益hm,u()遵循自由空间路径损失模型,可表示为hm,u()=g0|cu()-cm()|2+H2u(6)式中:g0为每米信道功率增益;Hu为飞行高度。由于每架无人机在每个时隙只服务一个用户,因此本次研究忽略信道间的通信干扰,
23、则无人机和地面设备之间的瞬时传输速率rm,u()定义为rm,u()=B log2(1+pmhm,u()2)(7)式中:B代表信道带宽;pm为移动设备上传链路的发射功率;2代表无人机端的高斯白噪声。关联用户1289数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.6,2023MDm的传输数据延时为TTransm,u()=m,u()Dm()m,u()rm,u()(8)在传输完计算任务后,无人机执行卸载计算任务,卸载计算的延时和能耗分别为Toffm,u()=m,u()Dm()Fm()m,u()fu(9)Eoffm,u()=puT
24、offm,u()(10)式中:fu表示无人机计算能力;pu=uf3u表示无人机执行计算时的 CPU 功率,u=10-27为芯片常数21。由于各种计算密集型任务的结果输出数据量都远小于输入,因此可以忽略下行链路传输所花费的延时。基于以上通信与计算模型,MDm在时隙完成任务Sm()的时延Tm()可以计算为Tm()=max(Tlocalm(),Ttransm,u()+Toffm,u()(11)无人机 UAVu辅助计算卸载在时隙的总能耗包括卸载计算能耗和飞行能耗,记为Eu()=Eoffm,u()+Eflyu()(12)1.4优化问题在本文提出的无人机辅助 MEC 系统中,目标是通过优化无人机卸载决策和
25、飞行轨迹最大限度的减少无人机的能耗和系统平均计算延时。用户MDm的平均m M=1,2,M 延时可以表示为Tavgm=1N=1NTm()(13)则系统平均计算延时可计算为Tavg=1N=1N1Mm MTm()=1N=1NTmean()(14)同时为了保证服务的公平性,避免无人机在任务期间只服务某几个移动设备以减少能耗,而不服务其他用户,可以使用公平指数来衡量这一情况,定义如下22=()m M=1u Um,u()2Mm M()=1u Um,u()2(15)从任务初始到时隙,如果所有用户的被服务累积次数相近,的值就接近1。将优化问题总结如下 minP,Z=1NEtTmean()+eEu()s.t.C
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 无人机 网络 边缘 智能 计算 卸载 算法