1_线性回归（Linear Regression）

案例介绍

本案例将使用波士顿房屋数据集，来进行线性回归分析。

该数据集记录了波士顿地区房屋的一些特征以及对应的房屋价格，我们将尝试根据这些特征来预测房屋的价格。

线性回归是一种用于建立变量之间线性关系的预测模型的统计方法，它将自变量和因变量之间的关系表示为一条直线。

算法原理

在线性回归中，我们尝试找到最佳拟合直线来描述自变量（特征）和因变量（房屋价格）之间的关系。

我们假设自变量和因变量之间存在以下线性关系：
$$
y = mx + c
$$
其中，$y$ 是因变量（房屋价格），$x$ 是自变量（特征），$m$ 和 $c$ 分别是直线的斜率和截距。

我们的目标是找到最佳的 $m$ 和 $c$ 来使得拟合直线与实际观测的房屋价格尽可能接近。我们将使用最小二乘法来估计拟合直线。

最小二乘法的目标是最小化残差平方和（Residual Sum of Squares, RSS）。其中，残差表示观测值与估计值之间的差异。我们通过最小化残差平方和来找到最佳的拟合直线。

数据集

我们将使用波士顿房屋数据集，该数据集已经内置在scikit-learn库中。数据集包含506个样本，每个样本有13个特征（如犯罪率、住宅平均房间数等）和一个目标变量（房屋价格）。

计算步骤

1. 导入必要的库和数据集
2. 数据准备：分割数据集为特征（X）和目标变量（y）
3. 模型训练：使用线性回归模型拟合数据
4. 模型评估：计算拟合直线的性能指标（如均方误差）
5. 结果可视化：绘制拟合直线和实际观测值的散点图

Python代码示例

# 导入必要的库
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# 加载波士顿房屋数据集
boston = load_boston()

# 数据准备
X = boston.data
y = boston.target

# 将数据集划分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建线性回归模型实例
model = LinearRegression()

# 模型训练
model.fit(X_train, y_train)

# 模型预测
y_pred = model.predict(X_test)

# 计算均方误差
mse = np.mean((y_pred - y_test) ** 2)
print("均方误差：", mse)

# 结果可视化
plt.scatter(y_test, y_pred)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'k--', lw=2)
plt.xlabel('actual_price')
plt.ylabel('predict_price')
plt.title('liner')
plt.show()

Johngo

海报 链接