：
：
- 直接填充以(均值、中位数、众数)填充缺失列的值
- 计算相关系数，根据最相关的几个字段筛选后取值(均值、中位数、众数)来填充
- 计算相关系数，以最相关的几个字段为基准，选择距离最近即最相似的样本对应的值来填充(KNN)
- 通过模型预测填充
- 策略1：填充方式比较粗暴，不够合理，适用于缺失值较少
- 策略2：填充方式较为合理，适用于缺失值较少
- 策略3：KNN填充，适用于没有连片缺失的数据(比如最相似的k个样本都缺失，KNN则不在起作用)
- 策略4：更准确
由于年龄是连续字段，可以查看与其相关度最高的字段，并根据相关性最高的字段填充(均值、中位数、众数)，而不是直接粗暴的填充(均值、中位数、众数)。
#计算相关系数
data_clean.corr().abs()['年龄'].sort_values(ascending=False)#ascending=False，降序，默认：True，升序
可以看到船舱等级字段和年龄字段关联度最高，其次是船上兄弟姐妹/配偶人数，那么据此将他们进行筛选，得到每个船舱等级、船上兄弟姐妹/配偶人数对应船舱等级的平均年龄，据此来填充年龄字段的缺失值。
groups = data_clean[['船舱等级','船上兄弟姐妹/配偶人数','年龄']].groupby(['船舱等级','船上兄弟姐妹/配偶人数']).mean()
groups
for i in data_clean['年龄'].index:
if pd.isnull(data_clean['年龄'][i]):
#value_age = groups.loc['female',:].loc[1,'年龄']
value_age = groups.loc[data_clean['船舱等级'][i],:].loc[data_clean['船上兄弟姐妹/配偶人数'][i],'年龄']
data_clean.loc[i,'年龄']= value_age
missing_values_table(data_clean)
2.
登船的港口字段为定类数据且缺失值较少，选择用众数进行填充
#使用港口的众数填充缺失值
value_mode = data_clean.登船的港口.dropna().mode()[0]
data_clean.登船的港口=data_clean.登船的港口.fillna(value=value_mode)
missing_values_table(data_clean)
3.
船票价是连续字段，可以查看与其相关度最高的字段，并根据相关性最高的字段填充(均值、中位数、众数)，而不是直接粗暴的填充(均值、中位数、众数)。
#计算相关系数
data_clean.corr().abs()['船票价'].sort_values(ascending=False)#ascending=False，降序，默认：True，升序
- 船票价字段与船舱等级关联度最高，其次是幸存、乘客在船上的父母/孩子数量。
- 由于只缺失一个数值，即没有连片缺失，所以这里采用KNN填充，根据船舱等级、幸存字段判断距离最近，寻找即最相似的的乘客对应的票价
。
def KNNImputerNum(inx,k=1):
#inx = data_clean[['Latitude','Longitude','Borough']]
result = copy.deepcopy(inx)
base = copy.deepcopy(inx.iloc[:,:-1])
col = list(result.columns)[-1]
for row in result.index:
if pd.isnull(result.loc[row,col]):
#计算距离
dis = np.linalg.norm((base-base.loc[row,:]),axis=1)
index = dis.argsort()[k]
while pd.isnull(inx.iloc[index,-1]) and k<dis.shape[0]:
k+=1
index = dis.argsort()[k]
if k<dis.shape[0]:
#填充缺失值
result.loc[row,col]=inx.iloc[index,-1]
else:
print('无法填充，该'+col+'整列缺失！')
return
return result
#填充信息
tmp =copy.deepcopy(data_clean[['船舱等级','乘客在船上的父母/孩子数量','船票价']])
data_clean[['船舱等级','乘客在船上的父母/孩子数量','船票价']]=KNNImputerNum(tmp,k=1)
missing_values_table(data_clean)
客舱号码缺失值比例很大，达到近78%，通常缺失项很大的特征一般会选择直接删除，但由于客舱号码特征比较重要，客舱号码特征可以反映乘客所在的位置，即可以透露出乘客距离救生艇的远近，从而影响乘客生还率这一目标，所以这里暂时先选择保留以分析其性质，并在训练模型中观察这一特征有无对模型的影响，从而决定是否保留这一特征。
- 客舱号码由舱位号和编号(如B5，B代表舱位，可能与船舱等级有关，5可能表示床铺号或者房间号，不同等级的船舱的床铺数也不同)
- 使用同一张的船票的乘客对应舱位号应相同
- 提取客舱号码舱位号，对客舱号统一码格式化为舱位号格式
对客舱号码字段作如下处理：
- 提取客舱号码字段的舱位号
- 根据船票号填充缺失项的舱位号
- 查看此时客舱号码缺失比例，若缺失比例依然很大，则缺失值替换为字母’U’（unknown）
#提取字符
import re
# grade_num = data_clean.dropna(subset=['客舱号码']).loc[:,['船舱等级','客舱号码']]
grade_num = data_clean.loc[:,['船舱等级','客舱号码']]
for i in grade_num.dropna(subset=['客舱号码']).index:
strs = list(set(re.findall('[a-zA-Z]+',grade_num.loc[i,'客舱号码'])))
if len(set(strs))>1:
strs = ''.join(strs)
else:
strs = strs[0]
data_clean.loc[i,'客舱号码'] = strs
#查看客舱号码字段类别
data_clean.客舱号码.unique()
根据船票号填充客舱号码缺失项
null_lists = data_clean[pd.isnull(data_clean.客舱号码)].index
# tmp = data_clean[['船票号','客舱号码']]
for i in null_lists:
ticket_num = data_clean.loc[i,'船票号']
cabin_lists = set(list(data_clean[data_clean.船票号==ticket_num].客舱号码.dropna()))
if len(cabin_lists)>0:
# print(cabin_lists)
data_clean.loc[i,'客舱号码']=cabin_lists
missing_values_table(data_clean)
客舱号码字段仍有大量缺失值，对缺失项统一填充为Unknown的首字母’U’。
data_clean.客舱号码=data_clean.客舱号码.fillna(value='U')
missing_values_table(data_clean)
data_clean['客舱号码'].unique()
此时可查看客舱号码与其他特征的关系图
# barch(data_clean,'船舱等级','幸存')
def barch(inx,tab1,tab2):#tab1:,tab2:lenged类别
#生成临时列
l = len(inx[tab1].unique())
df = pd.DataFrame(inx[tab1].unique(),columns=['tmp'])
df.index=df['tmp'].values
#统计每种类别(tab1)在不同类别tab2下的数量
lists = inx[tab2].unique().tolist()
for li in lists:
counts = inx[tab1][inx[tab2]==li].value_counts()
tmp = pd.DataFrame({
str(li):counts})
df = pd.concat([df,tmp],axis=1)
df=df.drop(['tmp'],axis=1)#删除临时列
# 添加计数列
df_count=pd.DataFrame(df.apply(lambda x:x.sum(),axis=1),columns=['counts'])
#生成百分比数据
df_percentage = pd.concat([df,df_count],axis=1)
#遍历列，计算百分比
for col in df_percentage.columns:
df_percentage[col]=round(df_percentage[col]/df_percentage['counts']*100,2)
#删除原有计数列
df_percentage = df_percentage.drop(['counts'],axis=1)
#分别绘制堆积条形图和百分比堆积条形图
fig,ax_arr = plt.subplots(1,2,figsize=(10, 5))
df.plot(kind='barh', stacked=True,ax=ax_arr[0]).invert_yaxis()
ax_arr[0].set_title(tab1+' vs '+tab2)
ax_arr[0].set_xlabel('数量')
ax_arr[0].set_ylabel(tab1)
df_percentage.plot(kind='barh', stacked=True,ax=ax_arr[1]).invert_yaxis()
ax_arr[1].set_title(tab1+' vs '+tab2)
ax_arr[1].set_xlabel('百分比')
ax_arr[1].set_ylabel(tab1)
plt.show()
#防止文字遮挡
plt.tight_layout()
# return df,df_percentage
barch(data_clean,'客舱号码','船舱等级')
如图，可以看出客舱号码很大程度上受制于船舱等级，头等舱乘客普遍居住在ABCDET这几个舱位，二等舱乘客则分散在DEF舱位
barch(data_clean,'客舱号码','幸存')
综上，虽然客舱号字段缺失值比例较大，但其与生存率有很大关联，所以暂时不做删除处理。
