非参数响应曲面方法研究及应用.pdf
《非参数响应曲面方法研究及应用.pdf》由会员分享,可在线阅读,更多相关《非参数响应曲面方法研究及应用.pdf(69页珍藏版)》请在文库网上搜索。
1、天津大学硕士学位论文非参数响应曲面方法研究及应用姓名:肖粤翔申请学位级别:硕士专业:管理科学与工程指导教师:何桢20031201中文摘要响应曲面方法( R S M ) 用于解决未知响应曲砸的最优值问题。能否得到好的未知曲面近似,是寻找最优解条件的前提。然而,响应曲面是复杂的,我们使用传统的响应曲面方法很容易落入局部极值点当中,它受到初始中心点的影响比较大,而且通常所采用的一阶和二阶多项式不足以完全反映出实际影响因素本身及其交互作用。非参数响应曲面方法是一个好的选择,它能够应付足够复杂的情况,并得到了广泛应用。本文分析了响应曲面方法的三个阶段,然后采用了多阶段的思路来考虑非参数响应曲面方法。首先
2、是可以利用非参数回归的强大的拟合捶值能力对整个可行域进行拟合,将试验点均匀分布到整个试验可行域上,这样就能够把整个可行域的响应曲面表示出来,然后对这个曲面的形状进行判断,找出其最优值的可能位置。其次,发展了一种利用回归方程插值的神经网络方法来拟合最优值附近曲面,它既具有回归方程光滑稳定的特点,又具备神经网络很高的回归精度的优点,能够适应各种复杂的曲面,而且不会有过拟合的的缺点。本文针对响应曲面方法的不同阶段,利用非参数方法的工具来分析和计算,形成了多阶段的非参数响应曲面方法,根据实际需要来在响应曲面方法的各个阶段使用传统的试验设计、快速搜索、多项式拟合或者非参数搜索和拟合。最后本文利用了两个例
3、子来说明了多阶段非参数响应曲面方法的求解过程和应用方法,表明该方法是有效的。关键词:响应曲面方法非参数回归神经网络非参数响应曲面方法A B S T R A C TR e s p o n s es u r f a c em e t h o d o l o g yC a S M ) i su s e dt og e tt h eo p t i m a lv a l u eo f如妇。蚴r e s p o n s es u r f a c e ,T og e tag o o dr e s p o n s es u r f a c ei sv e r yi m p o r t a n tt of i
4、n dt h eo p t i m a lv a l u e B u tt h es u r f a c ei so f t e nm o r ec o m p l e xt h a nt h a tw ec a ni m a g i n e T h ec l a s s i c a lR S Mw i l ly i e l dal o c a lo p t i m a lr e s u l t ,f o rt h es a k eo ft h el o c a t i o no ft h eo r g i n a lc e n t e rp o i n t S o m e t i m e s
5、t h ep o l y n o m i a lf i t t i n gc a n n o tr e f l e c tt h eh i 曲o r d e ri n t e r a c t i o nb e t w e e nt h ei n f l e u n c ef a c t o r s N o n p a r a m e t r i cr e s p o n s es u r f a c em e t h o d o l o g y ( N P R S M ) i sag o o dt o o lt od e a lw i mt h ec o m p l e xp r o b l
6、e ma n dc a nc o n q u e rt h es h o r t c o m i n g so f c l a s s i c a lR S Mm e t i o n e da b o v e T h et h e s i sd e s t r i b e st h et h r e ep h a s e so fR S M ,w h i c hi SD O E ,d a t af i t t i n ga n ds e a r c h i n gf o rt h eo p t i m a lv a l u e ,a n dt r i e st om a k eN P R S
7、Ma n a l y s i si nt h es a m ew a y F i r s t l y , t h ed e s i g no fs p a c e f i l l i n g 鲥di sf i tf o rt h en o n p a r a m e t r i er e g r e s s i o n T h en o n p a r a m e t r i cr e g r e s s i o nf i t st h eS U l m a e ew e l lb yu s i n gt h es p a c e - f i l l i n gg r i da n dC a
8、l le a s i l yf i n dt h eo p t i m a la r e a S e c o n d l gar e g r e s s i o n - b a s e di n t e p o l a t i o na r t i f i c i a ln e u r a ln e t w o r ki sd e v e l o p e dt of i tt h eo p t i m u ma r e a ,T h er e g r e s s i o n b a s e di n t e p o l a t i o na r t i f i c i a ln e u r a
9、 ln e t w o r ki ss t e a d y , p r e c i s e ,a n df i t sc o m p l e xu n k n o w ns u r f a c ew i t h o u to v e r f i t t i n gl i k ea n yo t h e ru s u a ln e u r a ln e t w o r k s T h et h e s i sp r e s e n t sam u l t i p h a s eN P R S M ,w h i c hc a l lB s eD O E ,p o l y n o m i a lf
10、i t t i n g ,n o n p a r a m e t r i cr e g r e s s i o n ,a n dn e u r a ln e t w o r ki nd i f f e r e mc o n d i t i o n sw h e ni ti sn e e d A tt h ee n do ft h et h e s i s ,t w oe x a m p l e sa r ea n a l y z e db yt h em u l i t p h a s eN P R S Ma n dt h e yp r o v et h a tt h em e t h o d
11、i sv e r ye f f e c f i v e K E YW O R D S :R e s o p o n s eS u r f a c eM e t h o d o l o g y , N o n p a r a m e t r i cR e g r e s s i o n ,A r t i f i c i a lN e u r a lN e t w o r k s ,N P R S M独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果。除了文中特别加以标注和致谢之处外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得叁洼盘茎或其他教育机构
12、的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名搠签字嘲护m ,歹日学位论文版权使用授权书本学位论文作者完全了解叁壅盘茎有关保留、使用学位论文的规定。特授权鑫注基鲎可以将学位论文的全部或部分内容编入有关数据库进行检索,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。( 保密的学位论文在解密后适用本授权说明)学位论文作者签名导师签名:签字日期:a 吧殍I a 月琴日签字日期:D ,年,2 ,月f r 日第一章绪论第一章绪论响应曲面方法( R e s p o n
13、 s eS u r f a c eM e t h o d o l o g y , R S M ) 是数学方法和统计方法的产物,是用来对所感兴趣的问题进行建模和分析的,其目的是为了优化这个响应【l l 。在产品全生命周期的各个阶段,响应曲面方法都提供了有效的试验方法,寻找出最优试验条件以大幅度降低开发的时间和成本,使产品具有更高可靠度,提高产出率和减少不良品。响应曲面能够提供一个可靠、可遵循的程序,以达到突破制造过程的瓶颈或者达到设计目标。响应曲面方法通常使用一阶或者二阶的多项式回归方程拟合曲面,并且假定试验方差符合正态分布。试验设计通常是采用正交设计或者最优设计。在试验设计阶段,设计的方案是以
14、一阶或二阶多项式回归为基础的,有的时候实际因素的范围比较宽广,而且响应曲面的真实形状是比较复杂的,这样的试验设计只在能够局部的小范围内满足需要,求出来的极值是局部的极值,而我们所需要的全局意义上的极值,所以有必要在这方面做出研究。从另一方面来讲,在曲面拟合阶段,因为针对低阶多项式的试验设计和拟合曲面的低阶多项式的精度存在局限性,它有时候不能体现影响因素本身和交互的更高阶的作用,使用神经网络能在不知道未知函数的形式前提下做出有效的拟合。1 1 研究背景与现状响应曲面方法的领域在近十年中一直在增长,并且其他领域中的统计学的进步也使它受益匪浅。对响应曲面方法感兴趣的实践者们的范围一直在扩大,当然,我
15、们知道,没有实际的应用响应曲面方法是无法生存的。使用响应曲面方法的范围已经扩展了许多。已经不再是仅有化学、食品和其他制造过程需要响应曲面方法工具。生物学、生物医药和快速发展的生物分子学领域的教授们都对响应曲面领域产生了浓厚的兴趣。当然对于我们在工业生产中所起的作用来说,响应曲面方法同样非常重要。在实际应用方面,无论在产品设计或者制造发展过程,响应曲面方法提供了一个有效的试验方法;在产品全生命周期的前期,寻找出最优试验条件以大幅度降低开发的时间和成本,使产品具有更高可靠度;在制造过程中,也可以找出制造过第一章绪论程中的最优条件以提高产出率和减少不良品。响应曲面能够提供一个可靠、可遵循的程序,以达
16、到突破制造过程的瓶颈或者达到设计目标,如缩短生产周期、提高产能或减少不良品,以达到最佳生产管理或经济效益。通常认为响应曲面方法中包括试验设计,模型拟合和过程优化。近来,稳健性方法、非参数方法和贝叶斯设计已经成为它的一部分。然而无论如何,响应曲面方法的目标对于实践者们来说,仍然保持在B o x 和W i l s o n 的文章所描述的范围之内。也就是说,一个人打算基于一些定量的过程因素( 或者是定性和定量的混合因素) 来设计一个试验,然后根据能够提供过程改进以至于过程优化的设计变量的目标来分析结果数据。在对响应曲面方法的回顾和对新实践者的建议中,不提到B o x ( 2 1 3 的一阶设计和B
17、o x 与H t m e t e r 4 1 的富有创造性的可旋转性是不完整的。在本文中从头到尾贯穿了多阶段试验设计的思想,在B o x 的许多著作中都讨论了对第一阶段设计的增强。当然这里没那么多地方来写B o x 的贡献,但是,很明显我们在2 1 世纪中对任何复杂的响应曲面方法问题提出的解决方案都会受到他的影响。已经有多响应、更复杂的模型和一些根本就不适用于用多项式逼近的情况都开始使用响应曲面方法,而计算机技术的提高使得这些问题的解决成为可能。一般的来说,响应曲面方法包括两阶段设计。第一阶段设计包括进行因子试验设计( 析因设计和全因子试验) ,拟合一阶数学模型,确定模型及最速上升( 或下降)
18、 方向并求取该阶段最优值。根据最速上升或下降方向,可以确定下次试验各控制变量的变化范围。其中,在因子试验中要增加试验中心点,它用于估计模型拟合误差,并有助于估计二次项系数。第二阶段设计主要工作是当发现模型拟合误差显著时,拟合二次回归方程,绘制出响应曲面与等值线图。响应曲面方法的具体设计方法很多,其中最常用的方法是中心复合设计( C e n t r a lC o m p o s i t eD e s i g n ) ,即在因子试验的基础上增加中点与轴心点,轴心点用于估计二次项系数。然而,在响应曲面方法中,人们总是假定回归函数具有某种特定的形状,一般是线性的或者可以化为线性的形式,其中包含若干未知
19、参数。对于随机误差的分布,则往往假定为正态的。在参数判别分析中,则常常假定哪些作为判别依据的、随机取值的指标在各个可能的类别中都服从正态分布。在这个基础上发展的方法到现在仍然常用,但是理论和经验都显示这种方法在使用是并非总是能提供好的结果。这主要是因为在不少情况下,关于参数模型的基本假定与实际情况有较大的差距。这种情况促进了分析中的非参数方法的发展。其特点是对模型的要求很松:回归函数的形式可以任意,随机误差也不必服从任何分布。第章绪论核函数估计方法是最为流行的非参数回归方法之一。N a d a r a y a - W a s t o n 估计胪】【6 J 和l G a s s e r - M
20、U l e r 估计【7 是最为常用的核函数估计。周志丹用N a d a r a y a W a s t o n估计,通过一个财政收支的实例,与最小二乘法进行了比较圈。张守一等用应用最小二乘法参数回归模型和核回归模型对1 9 9 1 年至1 9 9 2 年第四季度城镇居民消费数据C U H 进行事后预测 9 】。薄志鹏等在G P S 相对定位和几何水准测算【1 0 】,Q i a n在可靠性理论方面的应用【1 1 1 ,表明在各个方面非参数回归都得到了广泛应用。人工神经网络( A N N ) 近年来成为描述非线性的函数的种重要工具。它通过模仿神经元的学习能力来学习一个特定系统中的自变量和因变量
21、之间的隐含的内在关系,并且能够以很高的精度逼近未知的曲面。近年来有许多神经网络在响应曲面方法中的成功应用,他们还比较了神经网络方法和传统的响应曲面方法对实验模拟优化的结果。S V a i t h i y a l i n g a m 等【1 2 】在制药中用响应曲面方法和神经网络同时对三变量和反应分解外形进行了成功的模拟。J 。B o u r q u i n 等【l3 】讨论了响应曲面方法和神经网络进行数据拟合以及在出现离群值的时候二者的稳健性分析,在文献【H l 中的试验比较中表明神经网络的数据拟合性能和预测性能较好,在非线性关系方面是传统模拟的一种有效替代方法,在文献【l5 l 中,随机的试
22、验计划中神经网络表现良好而响应曲面方法较差,在实验计划组织良好时响应曲面方法则效果较之神经网络好一些。在一个关于褪黑激素的皮肤穿透载体组合成分的实验中,其试验结裂“1 用神经网络和多项式分别设计了模型,同时利用两种方法进行了分析,并且比较了二者的泛化能力,预测结果表明,神经网络的表现好于响应曲面方法。在文献I l 中,R M 。G a t e :a - G i m e n o等利用遗传算法和剪枝方法对神经网络进行了优化,应用于食品中的微生物增长预测,取得良好的效果。对于曲面拟合和寻找最优解的两个阶段,文献 I8 】分别根据其特性用H o p f i e l d 网络来求得高阶多项式的参数,用B
23、 P 网络求曲面的梯度进而判断网络的最优值。神经网络方法虽然在一些应用中取得了成功,但是仍然存在的一个主要问题是要求实验样本点较多。当遇到实验成本昂贵或者条件限制而导致试验次数少的情况时,由于神经网络的参数远远多于试验点,因此由之带来的过拟合问题也是令人难以解决的。通常规模过小的网络很难给定问题的输入和输出之间的关系,即完成对训练样本的学习较为困难,但它却具有一定的泛化能力;规模过大的网络只能表示训练样本的输入和输出之间的关系,能很好的学习训练样本,输出误差小,却无法表示出未知样本的关系,即网络的泛化能力差。所以神经网络的结构要不断的进行调整,使它尽量在符合拟合水平的要求下能够做到结构最简单,
24、但是这始终是个大问题,一直在探讨中而无法真正解决,甚至无法从定性的角度去得到泛化能力与结构的关系。第一章绪论1 2 研究目的和意义本文针对经典的响应曲面方法过程的三个主要的组成阶段,试验点的选取、在曲面上的试验点中间插值和寻求最优解做出分析。探讨了多阶段非参数响应曲面方法的整个过程,并给出实例分析。在试验点的选取方面,非参数响应曲面方法使用非参数回归拟合整个试验的可行域,与拟合密切相关的试验设计方案要从传统的一阶、二阶设计转变为空间网格设计。这种设计的优势明显,因为非参数回归是假设没有校正的多项式模型,这样在特定区域产生的预测值是非常独立于近似的数据点的。而且,这样的设计变量范围是相当宽的,要
25、宽过标准响应曲面方法工具所允许的范围。用一个全局的观点实施过程,而不是局部的范围。在接近试验的最优点的附近区域的曲面拟合上,对于原有的多项式拟合方法不能反映高阶作用的缺陷和常用的神经网络虽然能够很好拟合但是往往过拟合的情况,研究解决这两种问题的办法,将两种方法结合起来,同时利用了多项式光滑的内插和外延特性,神经网络对曲面的精确拟合的能力,达到理想的拟合水平和预测能力。本课题的主要理论意义体现在响应曲面方法作为逐步改进的重要工具之一,作为统计工具和数学工具的结合体,不断在其研究中加强的拟合能力是非常重要的,使响应曲面方法能够适应更复杂的响应函数。响应曲面方法作为在全局上搜索最优值的个重要的方法,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 参数 响应 曲面 方法 研究 应用