这项任务的目的是处理它PO2，PCO两个指标。这两个指标都是患者的血气指标，在一定的时间间隔内收集。患者可以在一次住院期间收集一次或多次。根据收集时间的顺序，总结每个患者在每次住院期间的一切pO2, pCO2指标值。预处理方法包括插值、去噪、缺失值填充、离群点数据处理、可视化等。

patients:包括所有患者数据。

chart_events：它包含了所有可供患者使用的图表数据。在他们的ICU停留期间，病人信息的主要存储库是他们的电子图表。电子图表显示患者的日常生活体征和任何与其护理相关的额外信息：呼吸机设置、实验室值、代码状态、精神状态等。因此，大部分关于患者住院的信息都包含在内chartevent中。此外，即使实验室值在其他地方被捕获（labevent），它们也经常存在chartevent中重复。这是因为在患者的电子图上显示实验室值是可取的，所以这些值从存储实验室值的数据库复制到存储chartevent在数据库中。当labevent中的值与chartevent当中值不同时，以labevent以中值为准。

label_events：实验检查信息表主要是病人实验室检测记录的信息

下载数据集：https://download.csdn.net/download/qq1198768105/85259010

import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns 

# 设置可视化风格 plt.style.use('tableau-colorblind10') # 设置字体为SimHei(黑体) plt.rcParams['font.sans-serif'] = ['SimHei'] # 解决中文字体下坐标轴负数负数显示问题 plt.rcParams['axes.unicode_minus'] = False 

# 根据采集时间读取数据 df = pd.read_csv('mini_label_events.csv', index_col='CHARTTIME') 

# 筛选出po2和pco2数据 po2 = df.query('ITEMID==490 | ITEMID==3785 | ITEMID==3837 | ITEMID==50821') pco2 = df.query('ITEMID==3784 | ITEMID==3835 | ITEMID==50818') 

# 创建DateFrame来存储数据 a1 = pd.DataFrame() a1["PO2"] = po2["VALUENUM"] a1["PCO2"] = pco2["VALUENUM"] a1["SUBJECT_ID"] = po2["SUBJECT_ID"] a1["HADM_ID1"] = po2["HADM_ID"]
a1['采集时间'] = a1.index

# 重置索引
a1.reset_index()
# 根据采集时间从早到晚进行排序
a1.sort_values("CHARTTIME", inplace=True)
# 插入序号并设为索引
a1.insert(0, '序号', range(1, 1 + len(a1)))
a1.set_index('序号', inplace=True)
a1

4673 rows × 5 columns

df2 = pd.read_csv('mini_chart_events.csv',
                  low_memory=False, index_col="CHARTTIME")

# 筛选出po2和pco2数据
po2 = df2.query('ITEMID==490 | ITEMID==3785 | ITEMID==3837 | ITEMID==50821')
pco2 = df2.query('ITEMID==3784 | ITEMID==3835 | ITEMID==50818')
# 这里存在重复时间索引，删除前面一个，保留最后一个
po2 = po2.reset_index().drop_duplicates(
    subset='CHARTTIME', keep='last').set_index('CHARTTIME')
pco2 = pco2.reset_index().drop_duplicates(
    subset='CHARTTIME', keep='last').set_index('CHARTTIME')

# 创建DateFrame来存储数据
a2 = pd.DataFrame()
a2["PO2"] = po2["VALUENUM"]
a2["PCO2"] = pco2["VALUENUM"]
a2["SUBJECT_ID"] = po2["SUBJECT_ID"]
a2["HADM_ID1"] = po2["HADM_ID"]
a2['采集时间'] = a2.index

# 重置索引
a2.reset_index()
# 根据采集时间从早到晚进行排序
a2.sort_values("CHARTTIME", inplace=True)
# 插入序号并设为索引
a2.insert(0, '序号', range(1, 1 + len(a2)))
a2.set_index('序号', inplace=True)
a2

136 rows × 5 columns

# 根据病人ID和不同住院时间的ID进行分组
group = a1.groupby(["SUBJECT_ID", "HADM_ID1"])

# 提取采集时间大于1的组别(只有2个时间以上才能求间隔)
tem_list = []
for key, item in group['采集时间']:
    if item.count() > 1:
        tem_list.append(item)

# 提取各组的所有采集时间间隔
interval_list = []
for i in range(len(tem_list)):
    tem_list[i].sort_values(ascending=False, inplace=True)  # 对采集时间进行从大到小的排序
    for j in range(tem_list[i].count() - 1):
        interval = pd.to_datetime(
            tem_list[i].iloc[j]) - pd.to_datetime(tem_list[i].iloc[j+1])
        interval_list.append(interval)

# 选取最小的时间间隔
min(interval_list)

输出：

Timedelta('0 days 00:01:00')

可以发现，最小的采集时间间隔为1分钟，下面就利用该时间来进行插值。

pandas 插值核心函数为interpolate()

可选的插值方式有：

nearest：最邻近插值法

zero：阶梯插值

slinear、linear：线性插值

quadratic、cubic：2、3阶B样条曲线插值

ipl = pd.DataFrame()  # 用来存储插值后的结果

for key, item in group:
    item.set_index('采集时间', inplace=True)
    item.index = pd.to_datetime(item.index)
    # 设置重采样时间间隔为1min，该时间由上面选取得到
    ev_ipl = item.resample('1min').interpolate()  # 这里使用默认的线性插值
    ipl = pd.concat([ipl, ev_ipl], axis=0)

# 重置索引
ipl.reset_index(inplace=True)
# 插入序号并设为索引
ipl.insert(0, '序号', range(1, 1 + len(ipl)))
ipl.set_index('序号', inplace=True)
# 更换顺序
order = ['PO2', 'PCO2', 'SUBJECT_ID', 'HADM_ID1', '采集时间']
ipl = ipl[order]
ipl

2365514 rows × 5 columns

ipl2 = pd.DataFrame()  # 用来存储插值后的结果

# 根据病人ID和不同住院时间的ID进行分组
group2 = a2.groupby(["SUBJECT_ID", "HADM_ID1"])
for key, item in group2:
    item.set_index('采集时间', inplace=True)
    item.index = pd.to_datetime(item.index)
    # 设置重采样时间间隔为1min，该时间由上面选取得到
    ev_ipl = item.resample('1min').interpolate()  # 这里使用默认的线性插值
    ipl2 = pd.concat([ipl2, ev_ipl], axis=0)

# 重置索引
ipl2.reset_index(inplace=True)
# 插入序号并设为索引
ipl2.insert(0, '序号', range(1, 1 + len(ipl2)))
ipl2.set_index('序号', inplace=True)
# 更换顺序
order = ['PO2', 'PCO2', 'SUBJECT_ID', 'HADM_ID1', '采集时间']
ipl2 = ipl2[order]
ipl2

325119 rows × 5 columns

# 检测PO2缺失值
ipl.loc[ipl["PO2"].isnull(), :]

# 检测PCO2缺失值
ipl.loc[ipl["PCO2"].isnull(), :]

LABEVENTS表格中PO2和PCO2数据均无缺失点，不进行处理。

# 检测PCO2缺失值
ipl2.loc[ipl2["PCO2"].isnull(), :]

7813 rows × 5 columns

这里总共检测出7813条数据具有缺失值，将这些数据进行删除处理

ipl2.dropna(axis='index', how='any', inplace=True)  # any表示只要有一个缺失值则整行删除

处理后的数据如下表所示

ipl2

317306 rows × 5 columns

在原始数据中添加了高斯白噪声，需要进行去噪。我选择删除偏离均值三倍标准差数据的方式进行去噪。

def drop_noisy(df):
    df_copy = df.copy()
    df_describe = df_copy.describe()
    for column in df.columns:
        mean = df_describe.loc['mean', column]
        std = df_describe.loc['std', column]
        minvalue = mean - 3*std
        maxvalue = mean + 3*std
        df_copy = df_copy[df_copy[column] >= minvalue]
        df_copy = df_copy[df_copy[column] <= maxvalue]
    return df_copy

# 这里只对PO2和PCO2列进行去噪
dno1 = drop_noisy(ipl.iloc[:, :2])
dno1

2266786 rows × 2 columns

对PO2和PCO2去噪结果进行可视化展示

# PO2去噪前后可视化
plo1 = pd.DataFrame()
plo1['PO2去噪前'] = ipl['PO2']
plo1['PO2去噪后'] = dno1['PO2']
plo1.plot.hist(alpha=0.9)

# PCO2去噪前后可视化
plo2 = pd.DataFrame()
plo2['PCO2去噪前'] = ipl['PCO2']
plo2['PCO2去噪后'] = dno1['PCO2']
plo2.plot.hist(alpha=0.9)

dno2 = drop_noisy(ipl2.iloc[:, :2])
dno2

312190 rows × 2 columns

对PO2和PCO2去噪结果进行可视化展示

# PO2去噪前后可视化
plo3 = pd.DataFrame()
plo3['PO2去噪前'] = ipl2['PO2']
plo3['PO2去噪后'] = dno2['PO2']
plo3.plot.hist(alpha=0.9)

# PCO2去噪前后可视化
plo4 = pd.DataFrame()
plo4['PCO2去噪前'] = ipl2['PCO2']
plo4['PCO2去噪后'] = dno2['PCO2']
plo4.plot.hist(alpha=0.9)

通过绘制箱形图，将上边缘和下边缘之外的数据视作离群点，将其进行去除

c = pd.DataFrame()
c['PO2'] = plo1['PO2去噪后']
c['PCO2'] = plo2['PCO2去噪后']

c.boxplot(showmeans=True, sym='b+')

对PO2数据进行处理，将箱体图上下边缘的数据进行去除

a = pd.DataFrame()
b = pd.DataFrame()
a['PO2'] = plo1['PO2去噪后']
b['PO2离群点处理前'] = a['PO2']
# 将箱体图上下边缘的数据进行去除
first_quartile = a['PO2'].describe()['25%']
third_quartile = a['PO2'].describe()['75%']
iqr = third_quartile - first_quartile
b['PO2离群点处理后'] = a[(a['PO2'] > (first_quartile - 1.5 * iqr)) &
                   (a['PO2'] < (third_quartile + 1.5 * iqr))]