人工智能的数学基础PPT第2章 相似性度量.ppt

1、重要性与意义1数据驱动的人工智能方法分为两类，一类是按设定规则直接将待观测样本划分为不同的类别。另一类是从历史数据是发现总结规律，并将其应用于预测新观测样本。物以类聚，人以群分。显然，将男人归类为女人，或者将母鸡划分为鸭子是明显的错误。划分结果应该保证，类内样本相似度较高，类间相似度较低。二次型预测值是以与已知标记值样本的相似度作为权重的已知标记值的加权均值多样性相似性度量在人工智能领域，相似性可以用差别来度量，二者可视作单调性相反的两类度量。待观测对象的差别通常用两者的差距来描述，并且将用于评定差距的度量，称作距离。满足以下约束条件:该函数为二元函数该函数输出为非负实数值保证距离越小，观测对

2、象越相似任意待评定对象与自身最相似，距离为0函数值与二元自变量输入次序无关函数满足三角形定理2闵氏距离闵可夫斯基距离（Minkowski distance)又称闵氏距离，定义曼哈顿距离欧氏距离切比雪夫距离缺点：闵可夫斯基距离不具备量纲区分度闵氏距离不是一种距离，而是一组距离的概括性表述时，闵可夫斯基距离不再满足三角形定理3闵氏距离曼哈顿距离街区距离欧氏距离切比雪夫距离假设某人从A点出发，每次可以走到与当前坐标位置相邻的任意位置。则切比雪夫距离定义为走到B点时，行人最少走了多少步。4闵氏距离闵氏距离无法体现特征向量的数据分布特性“标准化”处理将特征向量各分量视作独立的服从同一分布有相关性的应如何

3、处理？5马氏距离马氏距离，表示数据的协方差距离。是一种有效计算两个位置样本集的相似度方法。与欧氏距离不同的是它考虑到各种特性之间的联系，即独立于测量尺度，定义：旋转的角度等于主成分析中特征向量与当前主轴的夹角，记旋转矩阵为U旋 转？缩 放？6马氏距离由主成分析的原理可知，得出的特征向量方向上描述观测样本特征的向量越分散，分布范围越大，与之对应的特征值越大。显然，二者为线性关系，假设比例为a。矩阵向量减法描述观测样本特征的向量分量的分散程度，可由其与各自对应的均值差的平方来表达。7旋转变换后维度线性无关，且各维度方差与其特征值线性相关马氏距离缩放后旋转后欧氏距离即可区分8马氏距离由于U为旋转矩阵

4、，所以U必为正交矩阵若是零矩阵，则也为零矩阵。这与 为旋转矩阵相矛盾9对于任意正交基，有令余弦距离余弦距离，不考虑向量大小，其夹角越小，两个特征向量对应的待评定对象的相似度越高，定义：10两个等长字符串S1与S2之间的汉明距离定义为将其中一个变为另外一个所需要作出的最小替换次数,例如字符串“1111”与“1001”之间的汉明距离为2。汉明距离就是两个特征向量不相等分量个数的总和汉明距离的取值范围为0到n，距离值越大，则不相等分量个数越多，对应待评定对象相似度越低；距离值越小，则相等分量个数越多，对应的评定对象相似度越高。松弛定义：汉明距离11杰卡德相似系数定义为相等分量个数的总和与向量维度的商，常用于评定两个集合的相似度。严格定义：松弛定义：杰卡德距离杰卡德距离,12皮尔森相关系数反应两个变量的线性相关程度。定义：若 ，则退化为余弦相似度此时皮尔森相关系数退化为欧氏距离的平方若定义 ，且 则皮尔森距离定义皮尔森距离正相关、负相关、不相关13斯皮尔曼距离14(a)线性-d皮=0.86(b)非线性-d皮=0.86(c)离群值-d皮=0.86(d)非线性-d皮=0由小到大排序两个特征向量之间的斯皮尔曼相关性等于这两个向量秩值之间的皮尔森相关性。单调性肯德尔距离15斯皮尔曼距离并未充分考虑两个待评定特征向量不同分量间的紧耦合性同序对异序对肯德尔相关系数同分对