大数据与人工智能方向基础 ----- K近邻回归模型

大数据与人工智能方向基础 ----- K近邻回归模型

目录

前言

一、回归模型的一般描述

二、K近邻回归算法的描述

三、K近邻回归的预测规则

方式一、等权平均 --- 传统的K近邻决策方式

方式二、基于距离的加权平均

---

前言

有很多新手刚刚接触大数据与人工智能方向学习，如果不知道怎么着手的，跟我一起慢慢进步叭~

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、回归模型的一般描述

给定训练样本集{(xi, yi),i = 1,…,n}.其中，xi为第i个观测样本的输入；yi为第i个观测样本的输出。

基于上述样本集，构建预测模型y = f(x) ----- 模型的回归学习

对特征空间的任意观测x的输出y进行预测 ----- 模型的使用

二、K近邻回归算法的描述

输入：（1）训练样本集D = {(xi, yi),i = 1,…,n}，其中，xi为第i个训练样本的特征向量；yi为第i个训练样本的目标输出

（2）观测样本x

输出：观测样本x对应的输出y

STEP1  输入特征的预处理

STEP2  选择K值（K值的选择）

STEP3  在训练集D内找到样本x的K个近邻，记为

STEP4  结合指定的预测规则，对x应导致的输出y进行预测

注：训练集固定的前提下，不同的距离度量方式、不同的K值、不同的预测规则，会导致不同的预测结果。K近邻回归的距离度量方式和K值与K近邻分类模型一致，现讨论不同的预测规则对K近邻回归模型的影响，距离度量方式和K值的选择见上一篇博客（K近邻分类模型）

三、K近邻回归的预测规则 方式一、等权平均 --- 传统的K近邻决策方式

对于给定的观测样本x，利用距离度量，在训练样本集D中确定x的前K个近邻，x应导致的输出Y预测为：

方式二、基于距离的加权平均

对于给定的观测样本x，利用距离度量，在训练样本集D中确定x的前K个近邻，对于，该训练样本关于x的距离为d(x,xj)，引入基于距离的预测权值，如：

则x应导致的输出y预测为：