头歌——机器、深度学习—

第1关：人脸检测

在前面的几个实训中，我们已经学习了人脸识别的基本流程，包括人脸图像采集、人脸检测、特征点提取和人脸识别的整个流程。不仅了解了其中的原理，还学会了编写实际应用的代码。

本实训主要将介绍使用Face Recognition库进行人脸识别。因为Face Recognition是对Dlib的封装，所以其原理和我们前几个实训中，讲解的相同。在本实训中主要为大家讲解其基本使用方法。

为什么在学习完整个流程之后还要讲Face Recognition库呢？因为，在前面的实训中，我们主要使用Dlib库，它是一个在工业界和学术界广受好评，极其优秀的库。而Face Recognition基于Dlib库做了高度封装，当之无愧的称之为世界上最简洁的人脸识别库。

所以，我们学习完基础的原理以及Dlib库，就好比学会了“走路”；而Face Recognition库的高效与简洁，可以让我们彻底“跑起来”。

任务描述

本关任务：使用 face_recognition 中 face_locations 函数，定位人脸位置。

编程要求

根据提示，在右侧编辑器补充代码，检测图片中人脸并绘制：

获取指定路径中图片文件中的人脸，并打印输出结果；

使用cv2绘制人脸区域框。

第1关任务——代码题

'''****************BEGIN****************'''
import face_recognition
image_path = './step1/image/children.jpg'
image = face_recognition.load_image_file(image_path)
face_locations = face_recognition.face_locations(image)
print(face_locations)
'''**************** END ****************'''import cv2
for face_location in face_locations:'''****************BEGIN****************'''top,right,bottom,left = face_locationcv2.rectangle(image,(left,top),(right,bottom),(0,255,0),2)'''**************** END ****************'''# 保存图片
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
cv2.imwrite("./step1/out/children.jpg", image_rgb)

第2关：人脸特征点获取

任务描述

本关任务：使用 face_recognition 中 face_landmarks 函数，获取人脸特征点。

编程要求

根据提示，在右侧编辑器补充代码，获取特征并绘图保存，

获取指定路径下（./step2/image/laugh.jpg）得图片文件68个特征点，并打印结果；

使用cv2绘制人脸特征点，点的颜色为红色。

第2关任务——代码题

import face_recognition
'''****************BEGIN****************'''
# 获取人脸特征点
image_path = './step2/image/laugh.jpg'
image = face_recognition.load_image_file(image_path)
face_landmarks_list = face_recognition.face_landmarks(image)
print(face_landmarks_list)
'''**************** END ****************'''import cv2# 绘制人脸特征点
for face_landmarks in face_landmarks_list:'''****************BEGIN****************'''for facial_feature in face_landmarks.keys():for pt_pos in face_landmarks[facial_feature]:cv2.circle(image, pt_pos, 1, (255, 0, 0), 2)'''**************** END ****************'''# 保存图片
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
cv2.imwrite("./step2/out/laugh.jpg", image_rgb)

第3关：人脸识别

任务描述

本关任务：使用face_recognition中编写一个能识别人脸的程序。

编程要求

请在右侧编辑器中的BEGIN-END之间编写代码，完成如下要求：

导入已知和未知图片；

编码已知和未知图片的编码获取128维特征向量；

分别识别第一张和第二张未知图片，其中tolerance值设定为0.5。

第3关任务——代码题

import face_recognitiondef recognition():'''****************BEGIN****************'''# 导入图片known_image_path = "./step3/known_image/cyx1.jpg"known_image_cyz = face_recognition.load_image_file(known_image_path)unknown_image_1_path = "./step3/unknown_image/cyx2.jpg"unknown_image_2_path = "./step3/unknown_image/wlh.jpg"unknown_image_1 = face_recognition.load_image_file(unknown_image_1_path)unknown_image_2 = face_recognition.load_image_file(unknown_image_2_path)'''**************** END ****************''''''****************BEGIN****************'''# 编码获取128维特征向量cyz_encoding = face_recognition.face_encodings(known_image_cyz)[0]unknown_encoding_1 = face_recognition.face_encodings(unknown_image_1)[0]unknown_encoding_2 = face_recognition.face_encodings(unknown_image_2)[0]'''**************** END ****************''''''****************BEGIN****************'''# 比较特征向量值，识别人脸face1_result = face_recognition.compare_faces([cyz_encoding],unknown_encoding_1, tolerance=0.5)face2_result = face_recognition.compare_faces([cyz_encoding],unknown_encoding_2, tolerance=0.5)'''**************** END ****************'''return face1_result, face2_result

第4关：人脸识别绘制并展示

任务描述

本关任务：识别人脸并将识别的人名结果绘制到图片上。

相关知识

在前面的关卡中，我们学会了人脸检测和人脸识别。现在让我们整合之前学到的内容，完成一个完整的人脸识别流程，并将识别的人名结果绘制到图片上。

给定一系列已知的人脸图片和一系列未知的人脸图片，通过人脸识别技术，自动化的识别出未知人脸图片中包含人脸的名字，主要分为以下五个流程：

导入已知图片；
编码已知图片；
导入未知图片；
遍历识别；
绘制姓名和人脸。

我们以《军师联盟》中的四个人物：曹操、司马懿、张春华和荀彧为例。讲解以上五个步骤。

1. 导入已知图片

首先，我们准备已经名字的图片，如下：

使用load_image_file导入这些图片，代码如下：

# 加载已知图片
known_image_cc = face_recognition.load_image_file("./step3/know_image/Caocao.jpg")
known_image_xy = face_recognition.load_image_file("./step3/know_image/XunYu.jpg")
known_image_smy = face_recognition.load_image_file("./step3/know_image/SiMayi.jpg")
known_image_zch= face_recognition.load_image_file("./step3/know_image/ZhangChunhua.jpg")

2. 编码已知图片

然后，使用face_encodings对图片进行编码，获取128维特征向量。同时，之后我们需要遍历已经照片来识别，所以先将已知人脸存为数组。

代码如下：

# 对图片进行编码，获取128维特征向量
caocao_encoding = face_recognition.face_encodings(known_image_cc)[0]
xy_encoding = face_recognition.face_encodings(known_image_xy)[0]
zys_encoding = face_recognition.face_encodings(known_image_smy)[0]
cyz_encoding = face_recognition.face_encodings(known_image_zch)[0]
# 存为数组以便之后识别
known_faces = [
caocao_encoding,
xy_encoding,
zys_encoding,
cyz_encoding]

3. 导入未知图片

准备好已知图片信息之后，我们加载将要识别的未知图片：

四张照片分布对应于不同的已知照片中的任务。

代码如下：

# 加载待识别图片
unknown_image_1 = face_recognition.load_image_file(
"./step3/unknown_image/Caocao.jpg")
unknown_image_2 = face_recognition.load_image_file(
"./step3/unknown_image/SiMayi.jpg")
unknown_image_3 = face_recognition.load_image_file(
"./step3/unknown_image/ZhangChunhua.jpg")
unknown_image_4 = face_recognition.load_image_file(
"./step3/unknown_image/XunYu.jpg")
unknown_faces = [
unknown_image_1,
unknown_image_2,
unknown_image_3,
unknown_image_4]

4. 遍历识别

遍历未知图片，对每一种未知图片，获取其人脸位置和特征向量。将得到的位置图片特征向量与所有已知的特征向量进行比较，判断是否为同一个人。需要注意的是这里我们设置 tolerance 为0.5，实际应用时，可以根据自己对准确度的要求，进行调整。

# 初始化一些变量
face_locations = []
face_encodings = []
face_names = []
frame_number = 0
for frame in unknown_faces:
face_names = []
# 获取人脸区域位置
face_locations = face_recognition.face_locations(frame)
# 对图片进行编码，获取128维特征向量
face_encodings = face_recognition.face_encodings(frame, face_locations)
for face_encoding in face_encodings:
# 识别图片中人脸是否匹配已知图片
match = face_recognition.compare_faces(
known_faces, face_encoding, tolerance=0.5)

得到是否是同一个人的结果之后，我们可以对应其姓名，添加到face_names数组中。

代码如下：

name = None
if match[0]:
name = "Caocao"
elif match[1]:
name = "XunYu"
elif match[2]:
name = "SiMayi"
elif match[3]:
name = 'ZhangChunhua'
else:
name = 'Unknown'
face_names.append(name)

5. 绘制姓名和人脸

得到对应的人脸识别结果之后，我们将遍历每一张未知图片中的人脸，通过 OpenCV的rectangle绘制脸部区域框和putText对应的人名。

代码如下：

# 结果打上标签
for (top, right, bottom, left), name in zip(face_locations, face_names):
# 绘制脸部区域框
cv2.rectangle(frame, (left, top), (right, bottom), (0, 0, 255), 2)
# 在脸部区域下面绘制人名
cv2.rectangle(frame, (left, bottom - 25),
(right, bottom), (0, 0, 255), cv2.FILLED)
font = cv2.FONT_HERSHEY_DUPLEX
cv2.putText(frame, name, (left + 6, bottom - 6),
font, 0.5, (255, 255, 255), 1)

最后，再将绘制完成的代码展示或者保存。

完整代码示例

整合以上五个步骤，完整的代码示例如下：

import face_recognition
import cv2
# 加载已知图片
known_image_cc = face_recognition.load_image_file(
"./step3/know_image/Caocao.jpg")
known_image_xy = face_recognition.load_image_file(
"./step3/know_image/XunYu.jpg")
known_image_smy = face_recognition.load_image_file(
"./step3/know_image/SiMayi.jpg")
known_image_zch = face_recognition.load_image_file(
"./step3/know_image/ZhangChunhua.jpg")
# 对图片进行编码，获取128维特征向量
caocao_encoding = face_recognition.face_encodings(known_image_cc)[0]
xy_encoding = face_recognition.face_encodings(known_image_xy)[0]
zys_encoding = face_recognition.face_encodings(known_image_smy)[0]
cyz_encoding = face_recognition.face_encodings(known_image_zch)[0]
# 存为数组以便之后识别
known_faces = [
caocao_encoding,
xy_encoding,
zys_encoding,
cyz_encoding]
# 加载待识别图片
unknown_image_1 = face_recognition.load_image_file(
"./step3/unknown_image/Caocao.jpg")
unknown_image_2 = face_recognition.load_image_file(
"./step3/unknown_image/SiMayi.jpg")
unknown_image_3 = face_recognition.load_image_file(
"./step3/unknown_image/ZhangChunhua.jpg")
unknown_image_4 = face_recognition.load_image_file(
"./step3/unknown_image/XunYu.jpg")
unknown_faces = [
unknown_image_1,
unknown_image_2,
unknown_image_3,
unknown_image_4]
# 初始化一些变量
face_locations = []
face_encodings = []
face_names = []
frame_number = 0
for frame in unknown_faces:
face_names = []
# 获取人脸区域位置
face_locations = face_recognition.face_locations(frame)
# 对图片进行编码，获取128维特征向量
face_encodings = face_recognition.face_encodings(frame, face_locations)
for face_encoding in face_encodings:
# 识别图片中人脸是否匹配已知图片
match = face_recognition.compare_faces(
known_faces, face_encoding, tolerance=0.5)
name = None
if match[0]:
name = "Caocao"
elif match[1]:
name = "XunYu"
elif match[2]:
name = "SiMayi"
elif match[3]:
name = 'ZhangChunhua'
else:
name = 'Unknown'
face_names.append(name)
# 结果打上标签
for (top, right, bottom, left), name in zip(face_locations, face_names):
if not name:
continue
# 绘制脸部区域框
cv2.rectangle(frame, (left, top), (right, bottom), (0, 0, 255), 2)
# 在脸部区域下面绘制人名
cv2.rectangle(frame, (left, bottom - 25),
(right, bottom), (0, 0, 255), cv2.FILLED)
font = cv2.FONT_HERSHEY_DUPLEX
cv2.putText(frame, name, (left + 6, bottom - 6),
font, 0.5, (255, 255, 255), 1)
# 显示图片
image_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
cv2.imshow("laugh.jpg", image_rgb)
cv2.waitKey(0)

完成了整个流程，看看人脸识别的效果吧：

编程要求

请在右侧编辑器中的BEGIN-END之间编写代码，识别人脸并绘制人脸区域和名字，具体任务如下：

导入已知图片，图片路径已经指定；

对导入的已知图片进行编码，获得特征向量；

将已经图片编码存为数组known_faces；

导入未知图片，图片路径也已经指定；

将未知图片存为数组unknown_faces；

对于每一张未知图片，获取其人脸区域face_locations以及特征编码face_encodings；

对于图片中的每一个人脸编码，识别图片中人脸是否匹配已知图片；

将匹配的图片，与名字一一对应；

绘制脸部区域框并在在脸部区域下面绘制人名。

第4关任务——代码题

import face_recognition
import cv2'''****************BEGIN****************'''
# 加载已知图片
known_image_c_path = "./step4/known_image/Caocao.jpg"
known_image_xy_path = "./step4/known_image/XunYu.jpg"
known_image_smy_path = "./step4/known_image/SiMayi.jpg"
known_image_zch_path = "./step4/known_image/ZhangChunhua.jpg"
known_image_cc = face_recognition.load_image_file(known_image_c_path)
known_image_xy = face_recognition.load_image_file(known_image_xy_path)
known_image_smy = face_recognition.load_image_file(known_image_smy_path)
known_image_zch = face_recognition.load_image_file(known_image_zch_path)
'''**************** END ****************''''''****************BEGIN****************'''
# 对图片进行编码，获取128维特征向量
caocao_encoding = face_recognition.face_encodings(known_image_cc)[0]
xy_encoding = face_recognition.face_encodings(known_image_xy)[0]
zys_encoding = face_recognition.face_encodings(known_image_smy)[0]
cyz_encoding = face_recognition.face_encodings(known_image_zch)[0]
'''**************** END ****************''''''****************BEGIN****************'''
# 存为数组以便之后识别
known_faces = [caocao_encoding,xy_encoding,zys_encoding,cyz_encoding
]
'''**************** END ****************''''''****************BEGIN****************'''
# 加载待识别图片
unknown_image_1_path = "./step4/unknown_image/Caocao.jpg"
unknown_image_2_path = "./step4/unknown_image/Cuple.jpg"
unknown_image_3_path = "./step4/unknown_image/ZhangChunhua.jpg"
unknown_image_4_path = "./step4/unknown_image/XunYu.jpg"
unknown_image_5_path = './step4/unknown_image/A.jpg'
unknown_image_1 = face_recognition.load_image_file(unknown_image_1_path)
unknown_image_2 = face_recognition.load_image_file(unknown_image_2_path)
unknown_image_3 = face_recognition.load_image_file(unknown_image_3_path)
unknown_image_4 = face_recognition.load_image_file(unknown_image_4_path)
unknown_image_5 = face_recognition.load_image_file(unknown_image_5_path)
'''**************** END ****************''''''****************BEGIN****************'''
# 存为数组以遍历识别
unknown_faces = [unknown_image_1,unknown_image_2,unknown_image_3,unknown_image_4,unknown_image_5
]
'''**************** END ****************'''# 初始化一些变量
face_locations = []
face_encodings = []
face_names = []
frame_number = 0
for frame in unknown_faces:face_names = []'''****************BEGIN****************'''# 获取人脸区域位置face_locations = face_recognition.face_locations(frame)# 对图片进行编码，获取128维特征向量face_encodings = face_recognition.face_encodings(frame, face_locations)'''**************** END ****************'''for face_encoding in face_encodings:'''****************BEGIN****************'''# 识别图片中人脸是否匹配已知图片match = face_recognition.compare_faces(known_faces, face_encoding,tolerance=0.5)'''**************** END ****************''''''****************BEGIN****************'''name = Noneif match[0]:name = "Caocao"elif match[1]:name = "XunYu"elif match[2]:name = "SiMayi"elif match[3]:name = 'ZhangChunhua'else:name = 'Unknown''''**************** END ****************'''face_names.append(name)# 结果打上标签for (top, right, bottom, left), name in zip(face_locations, face_names):if not name:continue'''****************BEGIN****************'''# 绘制脸部区域框cv2.rectangle(frame, (left, top), (right, bottom),(0, 0, 255), 2)# 在脸部区域下面绘制人名cv2.rectangle(frame, (left, bottom - 25),(right, bottom), (0, 0, 255), cv2.FILLED)font = cv2.FONT_HERSHEY_DUPLEXcv2.putText(frame, name, (left + 6, bottom - 6),font, 0.5, (255, 255, 255), 1)'''**************** END ****************'''print(frame[left+6, bottom-6])print(frame[left, bottom])print(face_locations)print(face_names)# 保存图片image_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)path = './step4/out/' + name + str(face_locations[0][0]) + '.jpg'cv2.imwrite(path, image_rgb)