deepface介绍
deepface能够实现的功能
人脸检测:deepface 可以在图像中检测出人脸的位置,为后续的人脸识别任务提供基础。
人脸对齐:为了提高识别准确性,deepface 会将检测到的人脸进行对齐操作,消除姿态、光照和表情等因素对识别结果的影响。
特征提取:deepface 使用卷积神经网络(CNN)对齐后的人脸图像进行特征提取,将人脸转换为高维特征向量。
人脸识别:通过比较特征向量之间的相似度,deepface 可以识别出图像中的人脸是否属于同一个人。
人脸验证:deepface 可以用于人脸验证任务,即判断给定的两张人脸图像是否属于同一个人。
人脸搜索:deepface 可以在大型人脸数据库中搜索特定人物,通过比较特征向量找到与目标人物最相似的人脸。
人脸跟踪:deepface 可以在视频序列中跟踪人脸,实现实时的人脸识别和分析。
人脸年龄分析:deepface 可以估计图像中的人脸年纪。
人脸表情识别:deepface 可以估计图像中的人脸表情。
人种识别:deepface 可以识别出图像中的人脸属于什么人种。
性别分析:deepface 可以识别出图像中的人脸是什么性别。
deepface功能的具体实现
1.人脸识别:识别两个人人脸是否属于同一个人
api:
各个参数的含义如下:
img1_path 和 img2_path:就是两张图片的路径,当然除了路径,还可以是 numpy 数组或 base64 字符串。verify 函数会将图像上的人脸部分表示为向量,然后计算相似度。如果其中一张图片出现了多张脸,比如 img1_path 里面有一张脸,但 img2_path 里面有三张脸,那么每一张脸都会进行比对,找到最相似的那一个。
model_name:deepface 已经集成了大量顶尖的人脸模型用于训练,比如:
"VGG-Face"、"OpenFace"、"Facenet"、"Facenet512"、"DeepFace"、"DeepID" "Dlib"、"ArcFace"、"SFace"、"Emotion"、"Age"、"Gender"、"Race"
喜欢哪个就用哪个,但是模型需要下载,如果 deepface 检测到当前机器上没有指定的模型,那么会自动下载。所以当前第一次执行上面代码的时候,会下载 VGG-Face 模型(大小有好几百 M)。关于这些模型的区别,有兴趣可以自己了解一下,我们直接使用默认的即可。
detector_backend:检测器后端,负责提供人脸识别算法,因为 deepface 所使用的算法是由其它模块提供的,默认是 opencv。但除了 opencv 之外,还有其它选择。
"opencv", "retinaface", "mtcnn", "ssd", "dlib", "mediapipe"
这些人脸检测器之间的区别,还是很重要的,我们来解释一下。
- "opencv":最轻量级的人脸检测器,使用不基于深度学习技术的 haar-cascade 算法,因此速度很快,但准确率较低。而为了使 OpenCV 正常工作,需要正面图像,如果脸侧了一下或者局部发生遮挡,准确率就会受到影响。此外也不擅长对眼睛的检测,容易导致对齐问题。目前 DeepFace 使用的默认检测器就是 OpenCV。
- "dlib":该检测器在后台使用 hog 算法,与 OpenCV 类似,它也不是基于深度学习的,但它的检测和对齐分数相对较高。
- "ssd":单次检测器,它是一种流行的基于深度学习的检测器,但性能可与 OpenCV 相媲美。只是 SSD 不支持面部特征点,并且依赖于 OpenCV 的眼睛检测模块来对齐,因此尽管其检测性能很高,但对准分数仅为平均水平。
- "mtcnn":基于深度学习的人脸检测器,并带有面部特征点,所以它的检测和对齐得分都很高但是,但速度比 OpenCV,SSD 和 Dlib 慢。另外 MTCNN 是一种多任务级联卷积神经网络的人脸检测算法,能够同时实现人脸检测、关键点定位和人脸对齐等功能。其对于大尺寸人脸的检测效果较好,并且模型规模相对于 RetinaFace 的较小。
- "retinaface":一种基于卷积神经网络的人脸检测算法,具有高精度的特点,被公认为是最先进的人脸检测算法,但需要很高的计算能力。相比 MTCNN,检测小尺寸人脸的效果更好。
因此如果你希望结果更加精确,那么使用 RetinaFace 或 MTCNN;如果希望检测速度更快,比如清洗一部分没有人脸的照片,那么可以使用 OpenCV 或 SSD。
- "opencv":最轻量级的人脸检测器,使用不基于深度学习技术的 haar-cascade 算法,因此速度很快,但准确率较低。而为了使 OpenCV 正常工作,需要正面图像,如果脸侧了一下或者局部发生遮挡,准确率就会受到影响。此外也不擅长对眼睛的检测,容易导致对齐问题。目前 DeepFace 使用的默认检测器就是 OpenCV。
- "dlib":该检测器在后台使用 hog 算法,与 OpenCV 类似,它也不是基于深度学习的,但它的检测和对齐分数相对较高。
- "ssd":单次检测器,它是一种流行的基于深度学习的检测器,但性能可与 OpenCV 相媲美。只是 SSD 不支持面部特征点,并且依赖于 OpenCV 的眼睛检测模块来对齐,因此尽管其检测性能很高,但对准分数仅为平均水平。
- "mtcnn":基于深度学习的人脸检测器,并带有面部特征点,所以它的检测和对齐得分都很高但是,但速度比 OpenCV,SSD 和 Dlib 慢。另外 MTCNN 是一种多任务级联卷积神经网络的人脸检测算法,能够同时实现人脸检测、关键点定位和人脸对齐等功能。其对于大尺寸人脸的检测效果较好,并且模型规模相对于 RetinaFace 的较小。
- "retinaface":一种基于卷积神经网络的人脸检测算法,具有高精度的特点,被公认为是最先进的人脸检测算法,但需要很高的计算能力。相比 MTCNN,检测小尺寸人脸的效果更好。
因此如果你希望结果更加精确,那么使用 RetinaFace 或 MTCNN;如果希望检测速度更快,比如清洗一部分没有人脸的照片,那么可以使用 OpenCV 或 SSD。
distance_metric:距离(面部嵌入)度量方法,可以是 cosine、euclidean 或 euclidean_l2。
enforce_detection:如果没有检测到人脸时,是否引发异常,可以将其设置为 False。
align:是否执行面部对齐。(使用面部对齐,消除姿态、光照和表情等因素对识别结果的影响。)
normalization:用于预处理图像的归一化技术。
代码实例:
results = DeepFace.verify(src_file_path_name,make_file_path_name,model_name="retinaface", detector_backend="retinaface",enforce_detection=False,align=True)
results["verified"]
是一个布尔值,如果相似度超过某个阈值则返回True
,表示系统认为这两张图片是同一个人。results["distance"]
是一个数值,通常来说,这个值越小,表明两张图片的相似度越高。
采用不同模型和不同的后端算法阈值的大小均有所不同,
- 对于 FaceNet 模型,阈值可能设置在 0.40 左右。
- 对于 VGG-Face 模型,阈值可能在 0.60 或更高。
results["distance"]的值越小,代表两个人脸是同一个值
2.人脸识别:识别图片中存在多少个人脸
results = DeepFace.extract_faces(pic,detector_backend="retinaface",enforce_detection=False)#print("result:", results)for result in results:face_area = result["facial_area"]cv2.rectangle(pic, (face_area['x'], face_area['y']),(face_area['x'] + face_area['w'], face_area['y'] + face_area['h']), (255, 0, 0), 3)#判断双头结果if len(results)>1:cv2.imwrite(output_path_name, pic)
with concurrent.futures.ThreadPoolExecutor(max_workers=4) as excutor:futures = []for imgname in tqdm(imgs_list):#遍历图片排除头的图像if "_head_" in imgname:continue#将图片全部加入任务path_filename = os.path.join(origin_path,imgname)task = excutor.submit(find_face,path_filename)futures.append(task)count = len(futures)print("共记录{}个任务".format(count))prad = tqdm(total=count,position=0)for future in concurrent.futures.as_completed(futures):prad.update(1)future.result()
应用:此种情况一般应用于检测图片中是否出现了多头的情况,这种情况deepface的准确率达到了99%
3.人脸分析:使用deepface分析人的人种,人的性别,人的心情
# 使用deepface对人脸进行分析,作为评判生图合理性的标准之一
import time
from openpyxl.drawing.image import Image
from deepface import DeepFace
import cv2
import openpyxl
import os
from tqdm import tqdm
py_path = os.path.dirname(__file__)
imgs_path = "./inputDIc"
img_dirs = os.listdir(imgs_path)
OUTPUT_FILE =os.path.join(py_path,"analyze_{}.xlsx".format(time.strftime("%Y-%m-%d %H: %M: %S"),time.localtime()))
path_filename = "./Newoutputimages_2/0_head_pic_Anime_0_balanced.png"
wb = openpyxl.Workbook()
ws = wb.active
ws.append(["img","angry","disguest","fear","happy","sad","surprise","neutral","dominant_emotion","age","gender-women","gender-man","dominant_race"])
# 进行遍历
print(img_dirs)
print("共计{}张图片".format(len(img_dirs)))
for img_name in tqdm(img_dirs):path_filename = os.path.join(imgs_path,img_name)try:results = DeepFace.analyze(path_filename, detector_backend="retinaface", enforce_detection=False, align=True)except Exception as e:print("error:",e)ws.append([path_filename])continueresult = results[0]ws.append([path_filename, result["emotion"]["angry"], result["emotion"]["disgust"], result["emotion"]["fear"],result["emotion"]["happy"], result["emotion"]["sad"], result["emotion"]["surprise"],result["emotion"]["neutral"], result["dominant_emotion"], result["age"], result["gender"]["Man"],result["gender"]["Woman"], result["dominant_gender"], result["dominant_race"]])# print(results)
# print(len(results))
# result = results[0]
#加载图片
img = Image(path_filename)
#将分析结果写入excel表格中
wb.save(OUTPUT_FILE)