多元线性回归模子(机械进修线性回归道理先容及功效完成)

线性回归模子是最简略的线性模子之一，很是有代表性。本文将具体先容机械进修中线性回归模子的求解进程和编码完成。

内容择要:

1.甚么是线性回归？

几多上，回归是寻觅一条有代表性的直线或曲线(高维空之间的超立体)来拟合输出数据点和输出数据点。线性回归能够懂得为寻觅用于拟合输出数据点和输出数据点的代表性直线或曲线的进程。

为了懂得线性回归的观点，咱们能够先从一个例子来先容本文的主题。

1.1题目描写-波士顿房价展望

波士顿的房价展望是一个典范的线性回归案例，这个案例利用的数据集来自美国生齿普查局在20世纪70年月中期搜集的美国马萨诸塞州波士顿的房价信息。这个数据集统计了本地城镇的人均犯法率，城镇中非批发企业的比例等等。共有13个方针(特点)，第14个特点(相称于标签信息)给出了衡宇的报价中位数。让咱们先看看这组数据，

功效翻译见下图。

1.2特点、标签和样品

经由进程上述波士顿房价展望数据集，起起首容了机械进修中对于数据集的几个观点。

特点:输出变量，即简略线性回归中的X变量(如色彩、气候、生果等)。)，在这个数据集合，每列代表一个特点(除最初一列的标签)，统共13个特点。

标签:咱们要展望的，便是简略线性回归中的Y变量。标签能够是持续值(如房价、股市等)。)或团圆值(明天是礼拜几，生果是不是好吃等。).在这个数据集合，价钱的最初一列是标签。

样本:指数据的特定实例(样本包罗练习集和测试集)。在这个数据集合，每行代表一个样本。

注:数据集可从卡内基梅隆大学统计与数据迷信尝试室或其余网站如Kaggle下载。下载后须要删除一些额定的数据描写信息，将文件保管为CSV格局，而后利用之前先容的Pandas读取数据。

别的，后面先容的机械进修框架sklearn(scikit-learn)内置了这个数据集，能够经由进程挪用特别的API函数导入，无需额定下载。概况请参考本文先容。

咱们此刻的使命是找出这些方针(特点)和房价(方针)之间的干系。因为房价是持续变更的实数，很较着这个使命属于回归阐发。为了找到这些方针(特点)和房价(方针)之间的干系，咱们须要成立一个模子。

2.构建模子

上表供给了四个样本，每一个样本包罗13个特点值和一个标签。此刻，咱们须要对房价展望这个题目做一个大要的描写，为成立模子做筹办。

x代表一个样本；

y代表标签；

{x1，x2，x3...xn}代表数据集合的特点值；

{X(1)，X(2)，X(3)...X(n)}表现哪一个样品？

波士顿房价数据集的狭义描写成果以下:

按照数据集供给的信息，影响波士顿房价(标签)的身分(特点值)有13个。此刻咱们想成立一个模子。当咱们输出这13个身分的量化值时，模子能够赞助咱们展望房价。这个模子在数学上能够表现为(n=13)，

简化它，

Xi是咱们数据集合样本的特点值，y是咱们模子的展望成果，w和b是咱们模子的参数。此刻成立模子的题目是若何求解参数w和b。

3.丧失函数

为了求解模子参数W和B，有须要引入丧失函数的观点。按照第二章构建的线性模子，现实上，数据集合的每组x(n)个样本都有一个展望值yn，并且{x1，x2，...，xn}为特点值，表现以下。

现实上，数据集合的每组样本都有一个标签Y和一个展望值Y，参考下图。

一组样本对应于一个标签值和一个展望值。

咱们希冀构建的模子的展望值y与实在值y之间的差别越小越好。差别越小，咱们成立的模子就越精确。

第一个样本的实在值和展望值之间的差值

m个样本的总偏差表现以下:

m个样本的全体乞降抒发式

间接加法有题目。因为正值和负值的属性，偏差能够会对消，从而致使不精确。须要平方和，参考抒发式以下。

是以，总展望值和现实值之间的差别能够用现实值和希冀值之间的差值的平方和来表现。这类差别叫做丧失。用于表现展望值和实在值之间差别的函数称为丧失函数。

简化丧失函数的抒发式，

丧失函数抒发式

代入y m(mth样本的展望值)计较公式，

丧失函数的抒发式:

丧失函数抒发式

与丧失函数相干的参数是w1、w2，...咱们的方针是最小化丧失函数值，利用的方式是梯度降落算法。

4.梯度降落算法(梯度降落)

在这一点上，题目此刻变成寻觅最小值(L(w1，w2，...，wn，b))。求函数的最小值，凡是是用高数的导数求极值点，而后代入函数求最小值。这类通用方式普通在特点值较少时不成果，但在特点值较多时不合用。在这类环境下，有须要利用梯度降落算法，这是这里要先容的另外一种寻觅函数最小值的方式。

以下坐标轴，

w轴:

纵轴L(w):

咱们的方针是找到函数的最小值L(W*)。要找到L(W*)，须要先找到W*。那末梯度降落算法若何找到W*？

该方式以下:

1)起首随机初始化一个w0的点，计较这个点的导数值。从图中，咱们能够看到w0的成果值大于0，w0>w*，咱们估计w1下次会向左挪动，更靠近w*。还须要引入参数进修率。下一个点w1能够由以下公式表现，

进修率为正，w0的倒数也为正。找到的下一个点w1小于w0，并且正在向希冀值w*靠近。

2)用一样的方式，求w1的下一个点w2，

3)反复操纵，直到到达最小w*。

在示例中，随机初始化的w0在最小值w*的右侧，现实上，w0在w*的左侧，成果是一样的。当w0向左时，w0处的导数值为负，带入上式，进修率为正，下一个值w1会增大，终究的成果都会更靠近w*。

4.1.进修率

一个负数决议了咱们每次转变w的值时会转变几多，

进修速度的挑选

如上图所示，须要设置适合的进修速度。若是进修率设置过大，W的值会在最优解w*的摆布双方动摇，没法到达最优解w*。若是将w*设置得太小，则到达最优解w*的计较次数将会增添，从而致使履行效力较低，并且须要更长的时候能力收敛。

是以，咱们须要找到一个适合的进修速度，梯度降落算法能够取得更好的成果。

这里趁便补充一下超参数的观点。模子的参数叫做参数(这里比方W和B)，决议模子的参数叫做超参数，比方这里的进修率。

5.求丧失函数的最小值。

回到第3节中丧失函数的抒发式，

w和x用向量表现，

简化公式表现以下:

导出w、b参数，

而后用梯度降落算法寻觅函数的最优解，

上图显现了更新进程，反复该进程直到终究的最优解w1*、w2*，...取得wn*、b*。经由进程梯度降落算法，咱们在模子中找到了这组参数，并且能够经由进程将它们带入模子来展望新的样本。在这个阶段，线性回归模子参数的求解已完成，按照以后数据集能够获得全体偏差最小的模子。

6.线性回归码的完成

这里，为了演示上述进程，咱们不利用框架和库文件经由进程编码来求解线性回归模子y = w1 * x+w2 * (x**2)+b的参数。演示了用梯度降落算法求解模子参数的完成进程。

1)设置数据

# # #设置数据

X = [12.3,14.3,14.5,14.8,16.1,16.8,16.5,15.3,17.0,17.8,18.7,20.2,22.3,19.3,15.5,16.7,17.2,18.3,19.2,17.3,19.5,19.7,21.2,23.04,23.8,24.6,25.2,25.7,25.9,26.3]y = [11.8,12.7,13.0,11.8,14.3,15.3,13.5,13.8,14.0,14.9,15.7,18.8,20.1,15.0,14.5,14.9,14.8,16.4,17.0,14.8,15.6,16.4,19.0,19.8,20.0,20.3,21.9,22.1,22.4,22.6]

2)显现数据

plt.scatter(X, y)plt.title('Dataset Samples')plt.xlabel('X')plt.ylabel('y')plt.show()

数据显现参考下图，

3)拆分数据集

X_train = X[0:20]y_train = y[0:20]n_train = len(X_train)X_test = X[20:]y_test = y[20:]n_test = len(X_test)

4)拟合模子

####Fit model: y = w1 * x + w2 * (x**2) + bepoches = 10000w1 = -0.1w2 = 0.1b = 0.3lr_w1 = 0.0lr_w2 = 0.0lr = 0.001for epoch in range(epoches):sum_w1 = 0.0sum_w2 = 0.0sum_b = 0.0for i in range(n_train):y_hat = w1 * X_train[i] + w2 * (X_train[i] ** 2) + bsum_w1 += (y_train[i] - y_hat) * (-X_train[i])sum_w2 += (y_train[i] - y_hat) * (-X_train[i] ** 2)sum_b += (y_train[i] - y_hat) * (-1)# Using Gradient Descent to update parameters(w, b)det_w1 = 2.0 * sum_w1det_w2 = 2.0 * sum_w2det_b = 2.0 * sum_blr_w1 = lr_w1 + det_w1 ** 2lr_w2 = lr_w2 + det_w1 ** 2w1 = w1 - (1 / math.sqrt(lr_w1) * det_w1)w2 = w2 - (1 / math.sqrt(lr_w2) * det_w2)b = b - lr * det_b

5)显现模子拟合的成果。

fig, ax = plt.subplots()ax.plot([i for i in range(10, 25)], [w1 * i + w2 * (i**2) + b for i in range(10, 25)])ax.scatter(X_train, y_train)plt.title('y = w1*x + w2*x^2 + b')plt.legend(('Model', 'Data Points'), loc='upper left')plt.show()

模子的衬着，

6)处理丧失。

total_loss_train = 0for i in range(n_train):y_hat = y_hat = w1 * X_train[i] + w2 * (X_train[i] ** 2) + btotal_loss_train += (y_hat - y_train[i]) ** 2print("练习集丧失值："+str(total_loss_train))total_loss_test = 0for i in range(n_test):y_hat = y_hat = w1 * X_test[i] + w2 * (X_test[i] ** 2) + btotal_loss_test += (y_hat - y_test[i]) ** 2print("测试集丧失值："+str(total_loss_train))

请参考下图以处理的丧失，

总结:

经由进程典范的线性回归案例——波士顿房价展望，先容了机械进修中线性回归的完成道理。

1)成立表现数据集合特点值和标签值干系的模子，将线性回归题目转化为寻觅参数wi和b的题目。

2)界说丧失函数——展望值与实在值之间的差别。

3)先容了机械进修中寻觅最小函数的算法——梯度降落算法。

4)用梯度降落算法计较丧失函数的最小值，肯定参数wi和B，从而肯定模子。

5)最初，经由进程编码演示了梯度降落算法求解模子参数的完成进程。