输入:实值或离散数 输出：连续值域上的任意值

• 多元回归问题：多输入变量回归问题
• 时间序列预测：按时间排序输入变量的回归

输入:实值或离散数 输出：将实例分为两个或多个类别中的一个

• 二级分类问题/二元分类问题
• 多类分类问题

1. 划分数据集
2. 缺失值补充
3. 异常值处理
4. 处理特征(特征工程)
5. 特征降维
6. 模型训练
7. 模型验证
8. 特征优化
9. 模型融合

• 线性回归【Linear Regression】
• 岭回归【Ridge Regression】
• LASSO回归
• 决策树回归【Decision Tree Regressor】
• 梯度提升树回归【Gradient Boosting Decision Tree Regressor】

import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from scipy import stats import warnings warnings.filterwarnings("ignore")  train_data_file = "./zhengqi_train.txt" test_data_file = "./zhengqi_test.txt"  train_data = pd.read_csv(train_data_file,sep='\t',encoding='utf-8') test_data = pd.read_csv(test_data_file,sep='\t',encoding='utf-8') 

#1、看值 train_data.head() test_data.head()  #2、看形状 train_data.shape test_data.shape  #3.查看训练集和测试集的比例 train_data.shape[0]/(train_data.shape[0] test_data.shape[0]) test_data.shape[0]/(train_data.shape[0]+test_data.shape[0])

#4、查看数据基本信息：看有无缺失值（说明没有缺失值）和数据类型
train_data.info()
test_data.info()

1. 单变量分析

• 连续型变量：统计数据的中心分布趋势和变量的分布
• 类别型变量：使用频次或占比表示每个类别的分布情况，对应的衡量指标分别是类别变量的频次（次数）和频率（占比），可以用柱形图来表示可视化分布情况。

2. 双变量分析

• 连续型 VS 连续型 （1） 【直观】绘制散点图 （2） 【量化】计算相关性 C o r r e l a t i o n = C o n v a r i a n c e ( X , Y ) V a r ( X ) ∗ V a r ( Y ) Correlation = \frac{Convariance(X,Y)}{\sqrt{Var(X)*Var(Y)}} Correlation=Var(X)∗Var(Y) ​Convariance(X,Y)​

相关性系数的取值区间为 [1, 1] 。 一般来说，在取绝对值后 ,0-0.09 为没有相关性， 0.1-0.3 为弱相关， 0.3-0.5 为中相关， 0.5-1.0 为强相关。 代码如下

import nurnpy as np 
X = np.array((65 , 72, 78 , 65 , 72 , 70 , 65 , 68]) 
Y=np . array([72 , 69 , 79 , 69 , 84 , 75 , 60 , 73]) 
np.corrcoef(X, Y)

结果：

• 类别型 VS 类别型 （1） 双向表 （2） 堆叠柱状图 （3） 卡方检验：主要用于两个和两个以上样本率（构成比）及两个二值型离散变量的关联性分析，即比较伦理频次与实际频次的吻合程度或拟合程度

from sklearn.da asets import load_ iris 
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2 
iris= load_iris() 
X, y = iris.data, iris.target 
chiValues = chi2(X, y) 
X new = Select.KBest(chi2, k=2).fit_transform(X, y)

• 类别型 VS 连续型 （1） 绘制小提琴图（Violin Plot） 【建议使用Seaborn包中的violinplot()函数】 针对这个问题的代码（连续型VS连续型）：

pd.set_option ('display.max_columns', 10) 
pd.set_option ('display.max_rows', 10) 
data_trainl =train_data.drop(['V5','V9','V11','V17','V22','V28'],axis=1) 
train_corr = data_trainl.corr()
train_corr

画出热力图

ax = plt.subplots(figsize= (20, 16)) #调整画布大小
ax= sns.heatmap(train_corr,vmax=.8 , square=True, annot=True)#画热力图

1. 删除
2. 平均值、众数、中值填充

• • 一般填充是用该变量下所有非缺失值的平均值或中值来补全缺失值。
• • 相似样本填充是利用具有相似特征的样本的值或者近似值进行填充。

3. 预测模型填充 在这种情况下，会把数据集分为两份 一份是没有缺失值的 ，用作训练集； 另一份是有缺失值的 ，用作测试集 。 这样缺失的变量就是预测目标，此时可以使用回归、分类等方法来完成填充。

• • 箱线图 不在－1.5 * IQR和 1.5 * IQR 之间的样本点认为是异常值 第一种代码

#所有变量的箱型图
column = train_data.columns.tolist()[:39]  #列表头
fig = plt.figure(figsize=(80,60),dpi=75)  #指定绘图对象的宽度和高度
for i in range(38):
    plt.subplot(7,8,i+1) #8列子图
    sns.boxplot(data=train_data[column[i]],width=0.5)  
    plt.ylabel(column[i],fontsize=36)#显示的纵坐标的大小
plt.show()

结果： 第二种代码

#另一种画法
plt.figure(figsize=(18,10))
plt.boxplot(x=train_data.values,labels=train_data.columns)
plt.hlines([-7.5,7.5],0,40,colors='r')#0,40是这条线的长度
plt.show()

结果：

• • 直方图
• • 散点图

#异常值的处理
def find_outliers(model,X,y,sigma=3):
    try:#用模型来预测y值
        y_pred = pd.Series(model.predict(X),index=y.index)
    except:#如果预测失败，尝试先调整模型
        model.fit(X,y)
        y_pred = pd.Series(model.predict(X),index=y.index)
    
    resid = y-y_pred #模型的预测值和真实值相减
    mean_resid = resid.mean()#均值
    std_resid = resid.std()#方差
    
    z = (resid-mean_resid)/std_resid
    outliers = z[abs(z)>sigma].index#异常值
    
    print('R2=',model.score(X,y))#用来度量样本回归线的拟合优度=回归平方和/总平方和
    print('mse=',mean_squared_error(y,y_pred))
    print('-----------------------------------------')
    
    print('mean of residuals:',mean_resid)
    print('std of residuals:',std_resid)
    print('-----------------------------------------')
    
    print((len(outliers),'outliers:'))
    print(outliers.tolist())
    
    plt.figure(figsize=(15,5))
    ax_131 = plt.subplot(1,3,1)
    plt.plot(y,y_pred,'.')#中间的蓝点
    plt.plot(y.loc[outliers],y_pred.loc[outliers],'ro')#outlier 的红点
    plt.legend(['Accepted','Outlier'])#顺序要和上面的对应
    plt.xlabel('y')
    plt.ylabel('y_pred')
    
    ax_132 = plt.subplot(1,3,2)
    plt.plot(y,y-y_pred,'.')
    plt.plot(y.loc[outliers],y.loc[outliers]-y_pred.loc[outliers],'ro')
    plt.legend(['Accepted','Outlier'])
    plt.xlabel('y')
    plt.ylabel('y-y_pred')
    
    ax_133 = plt.subplot(1,3,3)
    z.plot.hist(bins=50,ax=ax_133)#hist直方图
    z.loc[outliers].plot.hist(color='r',bins=50,ax=ax_133)
    plt.legend(['Accepted','Outlier'])
    plt.xlabel('z')
    
    plt.savefig('outliers.png')
    
    return outliers

#用数据预测y y值与均值之差 超过多少个方差的 视为异常值
outliers = find_outliers(Ridge(),X_train,y_train,sigma=3)

• • 删除
• • 转换：数据转换可以消除异常值 如对数据取对数会减轻由极值引起的变化
• • 填充：像处理缺失值一样，我们可以对异常值进行修改，如使用平均值、中值或其他的一些填补方法。在填补之前 需要分析异常值是自然形成的，还是人为造成的。如果是人为造成的，则可以进行填充处理，如使用预测模型填充
• • 区别对待 ：如果存在大量的异常值，则应该在统计模型中区别对待。其中一个方法是将数据分为两个不同的组：异常值归为一组，非异常值归为一组，且两组分别建立模型，然后最终将两组的输出合并。 这里采取的是删除法

#1、删除异常值(横着删)
X_train = X_train.drop(outliers)
y_train = y_train.drop(outliers)
X_train.shape,y_train.shape

#2、删除异常值(竖着删)
#针对每一个特征向量删掉样本异常点
for f in X_train.columns:
    X_ = X_train.drop(f,axis=1)#把特征值“V0”删掉
    y_ = X_train[f]#特征值“V0”
    outliers = find_outliers(Ridge(),X_,y_,sigma=4)
    X_train = X_train.drop(outliers)
    y_train = y_train.drop(outliers)
    X_train.shape,y_train.shape

• 数据采集
• 数据清洗
• 数据采样： 数据在采集、清洗过以后 正负样本是不均衡的，故要进行数据采样。采样的方法有随机采样和分层抽样。但由千随机采样存在隐患，可能某次随机采样得到的数据很不均匀，因此更多的是根据特征进行分层抽样》 正负样本不平衡的处理方法
• • 正样本＞负样本，且量都特别大的情况；采用下采样（downsampling）的方法。
• • 正样本＞负样本，且量不大的情况，可采用以下方法采集更多的数据：上采样(oversampling)，比如图像识别中的镜像和旋转；修改损失函数（loss function）设置样本权重。