外包 | LBP/HOG/CNN 实现对 CK/jaffe/fer2013 人脸表情数据集分类
文章目录
- 外包 | LBP/HOG/CNN 实现对 CK/jaffe/fer2013 人脸表情数据集分类
- 1. Data
- 2. Code
-
- 2-1. LBP and HOG
-
- a. 读取数据集
- b. LBP
- c. HOG
- d. 分类模型
- 2-2. CNN
-
- a. 准备数据集
- b. 准备模型
- c. 准备测试
- 完整代码
1. Data
csdn下载 如果不能下载，可以留下下面的评论~ 处理了三个数据集， 大小 resize 为 , 并分为训练集和测试集， 需要自取哦 数据集和代码应放在同一目录下
2. Code
2-1. LBP and HOG
a. 读取数据集
def readData(dataName, label2id): X, Y = [], [] path = f'./{
dataName}/train' for label in os.listdir(path): for image in os.listdir(os.path.join(path, label)): img = cv2.imread(os.path.join(path, label, image), cv2.IMREAD_GRAYSCALE) img = img / 255.0 X.append(img) Y.append(label2id[label]) return X, Y b. LBP
算法内容主要参考知乎， 代码重写如下：
def lbpSingle(img): h, w = img.shape # 与图像大小相同的全零矩阵 temp_1 = np.zeros(img.shape) for i in range(1, h - 1): for j in range(1, w - 1): # 判断选中的3x3矩阵中四周数字是否大于矩阵矩阵中心数字 temp_2 = (img[i - 1:i + 2, j - 1:j + 2] > img[i][j]).astype(np.int8) # 重整形状为一列 temp_2 = temp_2.reshape(9) # 删掉中心值 temp_2 = np.delete(temp_2, 4) # 由于要按照顺时针排序, 因此对调顺序 temp_2[3], temp_2[4] = temp_2[4], temp_2[3] temp_2[5], temp_2[7] = temp_2[7], temp_2[5] temp_2 = ''.join('%s' % i for i in temp_2) # 01二进制转成十进制 temp_1[i][j] = int(temp_2, 2) # 返回的是这个图像经过LBP处理的特征 return [temp_1.flatten()] def lbpBatch(imgs): imgsFeatureList = [] for img in imgs: imgsFeatureList.append(lbpSingle(img)[0]) return imgsFeatureList
c. HOG
算法直接调用sklearn
def hogSingle(img):
feature, _ = hog(img, orientations=9, pixels_per_cell=(6, 6), cells_per_block=(6, 6),
block_norm='L2-Hys', visualize=True)
return [feature]
def hogBatch(imgs):
featureList = []
for img in imgs:
feature, _ = hog(img, orientations=9, pixels_per_cell=(6, 6), cells_per_block=(6, 6),
block_norm='L2-Hys', visualize=True)
featureList.append(feature)
return featureList
d. 分类模型
def prepareModel(name):
if name == 'svm':
m = sklearn.svm.SVC(C=2, kernel='rbf', gamma=10, decision_function_shape='ovr') # acc=0.9534
elif name == 'knn':
m = KNeighborsClassifier(n_neighbors=1)
elif name == 'dt':
m = DecisionTreeClassifier()
elif name == 'nb':
m = GaussianNB()
elif name == 'lg':
m = LogisticRegression()
else:
m = RandomForestClassifier(n_estimators=180, random_state=0)
return m
2-2. CNN
a. 准备数据集
# todo: 准备数据集
whichDataSet = 'CK' # 选择用哪个数据集 CK / fer2013 / jaffe
trainDir = f'./{
whichDataSet}/train/' # 训练集路径
trainingDataGenerator = ImageDataGenerator(
rescale=1. / 255, # 值将在执行其他处理前乘到整个图像上
rotation_range=40, # 整数，数据提升时图片随机转动的角度
width_shift_range=0.2, # 浮点数，图片宽度的某个比例，数据提升时图片随机水平偏移的幅度
height_shift_range=0.2, # 浮点数，图片高度的某个比例，数据提升时图片随机竖直偏移的幅度
shear_range=0.2, # 浮点数，剪切强度（逆时针方向的剪切变换角度）。是用来进行剪切变换的程度
zoom_range=0.2, # 用来进行随机的放大
validation_split=0.25,
horizontal_flip=True, # 布尔值，进行随机水平翻转。随机的对图片进行水平翻转，这个参数适用于水平翻转不影响图片语义的时候
fill_mode='nearest' # 'constant','nearest','reflect','wrap'之一，当进行变换时超出边界的点将根据本参数给定的方法进行处理
)
trainGenerator = trainingDataGenerator.flow_from_directory(
trainDir, subset='training', target_size=(48, 48), class_mode='categorical'
)
validGenerator = trainingDataGenerator.flow_from_directory(
trainDir, subset='validation', target_size=(48, 48), class_mode='categorical'
)
b. 准备模型
这里用的是三层:
# todo: 准备模型
model = tf.keras.models.Sequential([
# 1
Conv2D(16, (5, 5), activation='relu', input_shape=(48, 48, 3), padding='same'),
MaxPooling2D(2, 2),
# 2
Conv2D(32, (5, 5), activation='relu', padding='same'),
MaxPooling2D(2, 2),
# 3
Conv2D(32, (5, 5), activation='relu', padding='same'),
MaxPooling2D(2, 2),
# 4
Flatten(),
Dense(128, activation='relu'),
Dropout(0.5),
Dense(7, activation='softmax')
])
model.summary()
model.compile(loss='categorical_crossentropy', optimizer='Adam', metrics=['accuracy'])
c. 准备测试
读取test文件夹下没有标签的图片, 然后批量传进训练好的模型, 预测后将结果输出到一个csv文件
# todo: 测试模型
# 准备测试集
model = load_model(f'./{
whichDataSet}/{
whichDataSet}.h5')
with open(f'./{
whichDataSet}/class2id.pkl', 'rb') as f:
class2id = pickle.load(f)
f.close()
fileList = os.listdir(f'./{
whichDataSet}/test/')
testSet = []
for file in fileList:
img = image.load_img(f'./{
whichDataSet}/test/{
file}', target_size=(48, 48))
testSet.append(image.img_to_array(img))
testSet = np.array(testSet)
# 模型预测
modelOutput = model.predict(testSet, batch_size=10)
# 保存结果
getLabel = np.argmax(modelOutput, axis=1).flatten()
df = pd.DataFrame(columns=['file', 'label'])
for i in range(len(getLabel)):
df.append({
'file': fileList[i], 'label': class2id[getLabel[i]]
}, ignore_index=True)
df.to_csv(f'./{
whichDataSet}/result.csv')
完整代码
完整代码在gitee上,点击跳转, 有需要自取, 欢迎⭐️star⭐️! 由于这个代码只是帮别人做的一个小毕设, 所以关于里面的 算法都没有深入了解, 因此这篇blog只是记录一下, 顺便分享一下数据集和代码~ 如果数据集下载不了的欢迎底下留学邮箱地址, 看到后我会通过邮件发送给你