【OpenCV-Torch-dlib-ubuntu】Vm虚拟机linux环境摄像头调用方法与dilb模型探究

前言

随着金秋时节的来临，国庆和中秋的双重喜庆汇聚成一片温暖的节日氛围。在这个美好的时刻，我们有幸共同迎来一次长达8天的假期，为心灵充电，为身体放松，为未来充实自己。今年的国庆不仅仅是家国团聚的时刻，更是展现自我的舞台。我在这个特殊的假期里，决定探究dlib模型用法，并将在这篇文章中分享我的学习过程和心得体会。

在上一篇文章中，我们成功跨平台成功配置了dlib库
全面横扫：dlib Python API在Linux和Windows的配置方案
本文基于人脸识别系统项目继续拓展，尝试添加dlib库相关功能进行二合一
Retinaface+FaceNet人脸识别系统-Gradio界面设计

文章目录

  • 前言
    • VMware摄像头调用方法
    • 运行环境配置
    • 13个模型逐个分析
    • 模型下载
    • 13个模型的示例程序
      • 1.dlib_face_recognition_resnet_model_v1.dat
      • 2. **mmod_dog_hipsterizer.dat.bz2**
      • 3. **mmod_human_face_detector.dat.bz2:**
      • 4. **resnet34_1000_imagenet_classifier.dnn.bz2:**
      • 5. **shape_predictor_5_face_landmarks.dat.bz2:**
      • 6. **shape_predictor_68_face_landmarks.dat.bz2:**
      • 7. **shape_predictor_68_face_landmarks_GTX.dat.bz2:**
      • 8. **mmod_rear_end_vehicle_detector.dat.bz2:**
      • 9. **mmod_front_and_rear_end_vehicle_detector.dat.bz2:**
      • 10. **dnn_gender_classifier_v1.dat.bz2:**
      • 11. **dnn_age_predictor_v1.dat.bz2:**
      • 12. **resnet50_1000_imagenet_classifier.dnn.bz2:**
      • 13. **dcgan_162x162_synth_faces.dnn.bz2:**
    • 实用技巧
      • 眨眼次数记录
    • 下一步尝试
    • 写给自己（关闭gpu加速仅在cpu上加载模型）
  • 总结

VMware摄像头调用方法

  1. VMware怎么调中文

网上的教程大多都说右键快捷方式打开属性，然后再vmware.exe后加一个空格再加上–locale zh_CN，我开始测试时不管用，后来换成两个空格，即
快捷方式末尾添加两个空格然后加

--locale zh_CN

在这里插入图片描述

  1. 调整虚拟机USB设置：

    • 进入虚拟机设置。
    • 转至硬件选项，选择USB控制器。
    • 在USB兼容性选项中，设置为USB3.1。
      在这里插入图片描述

  2. 在VMware Workstation中配置虚拟机摄像头：

    • 打开虚拟机，找到虚拟机（M）。
    • 移动鼠标到可移动设置，找到图像设备。
    • 在图像设备中，确保摄像头选项已启用。
      在这里插入图片描述

  3. 进行虚拟机设置：

    • 打开终端并输入以下命令：
      sudo apt-get install cheese
cheese
    • 测试摄像头是否连接成功，在终端输入命令，如果看到video0，表示连接成功：
      ls /dev/video0
    • 安装ffmpeg：
      sudo apt-get install ffmpeg
    • 使用以下命令测试摄像头：
      ffplay -i /dev/video0

以上步骤确保了你的虚拟机摄像头能够成功连接，并且通过ffmpeg进行测试。
在这里插入图片描述

运行环境配置

打包方式基于
半自动化使用.bat手动打包迁移python项目

  • Python 3.8
  • OpenCV
  • Pytorch
  • dlib
  • gradio
rem 创建虚拟环境 
python -m venv venv
call venv\Scripts\activate.bat
python -m pip install -i https://mirrors.aliyun.com/pypi/simple/ --upgrade pip setuptools
pip install dlib-19.19.0-cp38-cp38-win_amd64.whl
pip install -i https://mirrors.aliyun.com/pypi/simple/ opencv-python==4.5.3.56
pip install torch-1.7.1+cu110-cp38-cp38-win_amd64.whl
pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html
pip install -i https://mirrors.aliyun.com/pypi/simple/ gradio
pip install -i https://mirrors.aliyun.com/pypi/simple/ scikit-learn
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt

requirements.txt

scipy==1.7.1
numpy==1.21.2
matplotlib==3.4.3
opencv_python==4.5.3.56
torch==1.7.1
torchvision==0.8.2
tqdm==4.62.2
Pillow==8.3.2
h5py==2.10.0

我搜集了python3.7-3.9各种版本的dlib安装包你可以关注我然后回复我dlib获取

dlib

我搜集了python3.7-3.9各种版本的dlib安装包

dlib-19.17.99-cp37-cp37m-win_amd64.whl
dlib-19.24.2-cp37-cp37m-win_amd64.whl
dlib-19.19.0-cp38-cp38-win_amd64.whl
dlib-19.21.99-cp38-cp38-win_amd64.whl
dlib-19.22.99-cp39-cp39-win_amd64.whl

这里我们使用dlib-19.19.0-cp38-cp38-win_amd64.whl测试

rem 创建虚拟环境 
python -m venv venv
call venv\Scripts\activate.bat
python -m pip install -i https://mirrors.aliyun.com/pypi/simple/ --upgrade pip setuptools
pip install dlib-19.19.0-cp38-cp38-win_amd64.whl

13个模型逐个分析

官方GitHub连接
dlib
dlib-models
"dlib-models"仓库中的训练模型由Davis King创建，主要用于计算机视觉和人脸识别等各种任务。以下是每个模型及其特点的简要总结：

  1. dlib_face_recognition_resnet_model_v1.dat.bz2:

    • 描述：一个具有29个卷积层的ResNet网络，改编自ResNet-34架构。从头开始训练，使用了约300万张脸部图像，数据来自多个来源，包括face scrub、VGG数据集和从互联网上抓取的图像。
    • 用途：人脸识别。
    • 性能：在LFW基准测试中，平均误差为0.993833，标准差为0.00272732。

  2. mmod_dog_hipsterizer.dat.bz2:

    • 描述：基于Columbia Dogs数据集训练，用于狗的品种分类和部位定位。
    • 用途：狗的品种分类以及可能与狗图像相关的其他任务。

  3. mmod_human_face_detector.dat.bz2:

    • 描述：在包括ImageNet、AFLW、Pascal VOC、VGG数据集、WIDER和face scrub在内的多个公开可用图像数据集中找到的人脸图像创建的数据集。标注是使用dlib的imglab工具创建的。
    • 用途：人脸检测。

  4. resnet34_1000_imagenet_classifier.dnn.bz2:

    • 描述：在ImageNet数据集上训练。
    • 用途：通用图像分类。

  5. shape_predictor_5_face_landmarks.dat.bz2:

    • 描述：一个5点面部标记模型，用于识别眼睛角和鼻子底部。使用从互联网下载的图像并使用dlib的imglab工具进行标注创建的数据集进行训练。
    • 用途：面部特征定位，与dlib的HOG人脸检测器和CNN人脸检测器兼容。

  6. shape_predictor_68_face_landmarks.dat.bz2:

    • 描述：在ibug 300-W数据集上训练，用于精确的面部特征定位，最适合与dlib的HOG人脸检测器一起使用。

  7. shape_predictor_68_face_landmarks_GTX.dat.bz2:

    • 描述：具有增强的面部检测器鲁棒性的68点面部标记模型。
    • 用途：精确的面部特征定位，优化用于方形边界框。

  8. mmod_rear_end_vehicle_detector.dat.bz2:

    • 描述：在包括车辆仪表板摄像头图像的后端车辆图像上手动注释的数据集上进行训练。
    • 用途：后端车辆检测。

  9. mmod_front_and_rear_end_vehicle_detector.dat.bz2:

    • 描述：在包括车辆仪表板摄像头图像的前端和后端车辆图像上手动注释的数据集上进行训练。
    • 用途：前端和后端车辆检测。

  10. dnn_gender_classifier_v1.dat.bz2:

    • 描述：使用约20万张不同脸部图像的私有数据集训练的性别分类器。
    • 用途：从面部图像进行性别预测。

  11. dnn_age_predictor_v1.dat.bz2:

    • 描述：基于ResNet-10架构训练的年龄预测器，使用约11万张不同标记图像进行训练，性能超越了最新的结果。
    • 用途：从面部图像进行年龄估计。

  12. resnet50_1000_imagenet_classifier.dnn.bz2:

    • 描述：使用ResNet50模型定义在resnet.h中，在ImageNet数据集上进行训练。
    • 用途：通用图像分类。

  13. dcgan_162x162_synth_faces.dnn.bz2:

    • 描述：使用深度卷积生成对抗网络（DCGAN）架构训练的DCGAN面部合成模型，用于生成逼真的合成彩色面部图像。

请注意，这些模型的使用和许可可能会有所不同，因此务必仔细阅读提供的信息，并确保遵守任何提到的限制。这些模型可以用于各种计算机视觉任务，是宝贵的资源。

模型下载

我们直接使用git

git clone https://github.com/davisking/dlib-models.git

当使用dlib的dlib_face_recognition_resnet_model_v1.dat模型进行人脸识别时，你需要安装dlib库并加载该模型。以下是一个Python示例代码，演示如何使用该模型进行简单的人脸识别：

首先，确保你已经安装了dlib库。你可以使用以下命令安装：

pip install dlib

然后，你可以使用以下Python代码进行人脸识别：

import dlib
from skimage import io# 加载dlib_face_recognition_resnet_model_v1.dat模型
detector = dlib.get_frontal_face_detector()
sp = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")  # 这里你也可以使用其他人脸关键点模型
facerec = dlib.face_recognition_model_v1("dlib_face_recognition_resnet_model_v1.dat")# 加载测试图像
img = io.imread("test_image.jpg")# 在图像中检测人脸
dets = detector(img, 1)# 如果检测到多个人脸，可以迭代处理每一个人脸
for i, d in enumerate(dets):shape = sp(img, d)  # 获取关键点face_descriptor = facerec.compute_face_descriptor(img, shape)  # 获取人脸描述符# 在这里，你可以与数据库中的人脸描述符进行比对，实现人脸识别# 例如，计算当前人脸描述符与数据库中存储的描述符的欧氏距离，找到最接近的匹配# 打印人脸描述符print(f"Face Descriptor for Face {i + 1}:")print(face_descriptor)# 在这里，你可以根据你的需求进行人脸识别匹配

请注意，上述示例中使用的是shape_predictor_68_face_landmarks.dat模型来获取人脸关键点，然后使用dlib_face_recognition_resnet_model_v1.dat模型来计算人脸描述符。你可以根据需要使用不同的关键点模型和匹配算法来进行人脸识别。还需要将test_image.jpg替换为你要测试的图像文件的路径。

13个模型的示例程序

1.dlib_face_recognition_resnet_model_v1.dat

当使用dlib的dlib_face_recognition_resnet_model_v1.dat模型进行人脸识别时，你需要安装dlib库并加载该模型。以下是一个Python示例代码，演示如何使用该模型进行简单的人脸识别：

首先，确保你已经安装了scikit-image库。你可以使用以下命令安装：

pip install scikit-image

文件夹结构： 将用户图像存储在以用户名称命名的文件夹中，这样可以更轻松地组织用户数据。例如，用户1的图像存储在名为 user1 的文件夹中，用户2的图像存储在名为 user2 的文件夹中。
1. 注册用户的人脸描述符生成代码：

import dlib
import numpy as np
import os
from skimage import io
import pickle# 加载dlib_face_recognition_resnet_model_v1.dat模型
detector = dlib.get_frontal_face_detector()
sp = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")  # 这里你也可以使用其他人脸关键点模型
facerec = dlib.face_recognition_model_v1("dlib_face_recognition_resnet_model_v1.dat")# 初始化一个字典来存储已注册用户的人脸描述符
registered_faces = {}# 指定用户图像所在的文件夹
user_images_folder = "user_images"# 遍历用户图像文件夹
for user_folder in os.listdir(user_images_folder):if os.path.isdir(os.path.join(user_images_folder, user_folder)):user_name = user_folder  # 使用文件夹名称作为用户名称# 初始化一个列表来存储当前用户的人脸描述符user_face_descriptors = []# 遍历用户文件夹中的图像文件for user_image_file in os.listdir(os.path.join(user_images_folder, user_folder)):if user_image_file.endswith(".jpg"):user_image_path = os.path.join(user_images_folder, user_folder, user_image_file)# 从用户图像中读取图像user_img = io.imread(user_image_path)# 在图像中检测人脸dets = detector(user_img, 1)# 如果检测到一个人脸，假设只有一个人脸if len(dets) == 1:shape = sp(user_img, dets[0])  # 获取关键点face_descriptor = facerec.compute_face_descriptor(user_img, shape)  # 获取人脸描述符user_face_descriptors.append(np.array(face_descriptor))# 存储用户的人脸描述符到已注册用户的字典registered_faces[user_name] = user_face_descriptors# 将已注册用户的人脸描述符保存到本地文件
with open("registered_faces.pkl", "wb") as f:pickle.dump(registered_faces, f)print("Registration completed.")

2. 人脸识别代码：

import dlib
import numpy as np
from skimage import io
import pickle
import cv2# 加载dlib_face_recognition_resnet_model_v1.dat模型
detector = dlib.get_frontal_face_detector()
sp = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")  # 这里你也可以使用其他人脸关键点模型
facerec = dlib.face_recognition_model_v1("dlib_face_recognition_resnet_model_v1.dat")# 加载已注册用户的人脸描述符
with open("registered_faces.pkl", "rb") as f:registered_faces = pickle.load(f)# 设定一个阈值，用于确定匹配是否成功，阈值越小，匹配越严格
threshold = 0.6# 加载测试图像
test_image_path = "test.jpg"
img = io.imread(test_image_path)# 在图像中检测人脸
dets = detector(img, 1)# 初始化一个列表来存储匹配结果
matches = []# 遍历检测到的人脸描述符
for i, d in enumerate(dets):shape = sp(img, d)  # 获取关键点face_descriptor = facerec.compute_face_descriptor(img, shape)  # 获取人脸描述符# 初始化最佳匹配信息best_match_name = "Unknown"best_match_distance = float("inf")# 遍历已注册用户的数据库for name, registered_descriptors in registered_faces.items():for registered_descriptor in registered_descriptors:# 计算当前人脸描述符与已注册用户的欧氏距离distance = np.linalg.norm(np.array(face_descriptor) - np.array(registered_descriptor))# 如果距离小于阈值，并且比当前最佳匹配距离更近if distance < threshold and distance < best_match_distance:best_match_name = namebest_match_distance = distance# 将匹配结果添加到列表matches.append({"face_id": i + 1, "user_name": best_match_name, "distance": best_match_distance})# 在图像上绘制匹配结果
for match in matches:face_id = match["face_id"]user_name = match["user_name"]distance = match["distance"]# 绘制人脸框x, y, w, h = d.left(), d.top(), d.width(), d.height()cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)# 在人脸框上方显示匹配结果text = f"Face {face_id}: {user_name} ({distance:.2f})"cv2.putText(img, text, (x, y - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)# 显示带有匹配结果的图像
cv2.imshow("Face Recognition", img)
cv2.waitKey(0)
cv2.destroyAllWindows()

确保根据你的需求将这些代码片段中的变量和文件路径进行适当的替换。这两段代码现在应该能够正常运行并进行人脸识别。如果你有其他问题或需要进一步的帮助，请随时提问。

2. mmod_dog_hipsterizer.dat.bz2

import dlib
import cv2
from skimage import io# 加载 dlib_face_recognition_resnet_model_v1.dat 模型用于关键点检测
shape_predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")# 加载测试图像
img = io.imread("test.jpg")# 加载 mmod_dog_hipsterizer.dat 模型
detector = dlib.get_frontal_face_detector()
hip_detector = dlib.cnn_face_detection_model_v1("mmod_dog_hipsterizer.dat")# 使用检测器检测狗的品种和部位
detections = hip_detector(img, 1)# 遍历检测结果并绘制矩形框
for detection in detections:x, y, w, h = detection.rect.left(), detection.rect.top(), detection.rect.width(), detection.rect.height()# 绘制矩形框cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)# 使用关键点检测器获取部位关键点landmarks = shape_predictor(img, detection.rect)# 遍历关键点并绘制for point in landmarks.parts():cv2.circle(img, (point.x, point.y), 2, (0, 0, 255), -1)# 显示带有检测结果和关键点的图像
cv2.imshow("Dog Hipsterizer", img)
cv2.waitKey(0)
cv2.destroyAllWindows()

在这里插入图片描述

import dlib
from skimage import io# 加载模型
detector = dlib.cnn_face_detection_model_v1("mmod_dog_hipsterizer.dat")# 加载要分类的狗的图像
dog_image = io.imread("dog2.jpg")# 运行分类器来检测品种
detections = detector(dog_image)# 打印每个检测到的品种
for detection in detections:# 检测到的品种的置信度可以通过矩形的面积来估计confidence = detection.rect.area()print(f"品种：{detection.rect}, 置信度：{confidence}")# 如果需要，可以进一步解析品种的标签以获得可读的结果

3. mmod_human_face_detector.dat.bz2:

import dlib
import cv2# 加载模型
detector = dlib.cnn_face_detection_model_v1("mmod_human_face_detector.dat")# 加载要进行人脸检测的图像
image = cv2.imread("test.jpg")# 将图像转换为灰度图像（dlib要求输入为灰度图像）
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)# 使用模型进行人脸检测
detections = detector(gray)# 在原图上绘制检测到的人脸矩形框
for detection in detections:x, y, w, h = (detection.rect.left(), detection.rect.top(), detection.rect.width(), detection.rect.height())cv2.rectangle(image, (x, y), (x + w, y + h), (0, 255, 0), 2)# 显示带有人脸检测结果的图像
cv2.imshow("Face Detection", image)
cv2.waitKey(0)
cv2.destroyAllWindows()

在这里插入图片描述

4. resnet34_1000_imagenet_classifier.dnn.bz2:

暂未找到python调用方法

5. shape_predictor_5_face_landmarks.dat.bz2:


import dlib
import cv2# 加载面部特征定位模型
predictor = dlib.shape_predictor("shape_predictor_5_face_landmarks.dat")# 加载图像
image = cv2.imread("test.jpg")# 将图像转换为灰度
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)# 使用dlib的HOG人脸检测器检测人脸
detector = dlib.get_frontal_face_detector()
faces = detector(gray)# 对每个检测到的人脸进行面部特征定位
for face in faces:landmarks = predictor(gray, face)# 获取并绘制每个关键点for n in range(5):  # 此模型仅包含5个关键点x = landmarks.part(n).xy = landmarks.part(n).ycv2.circle(image, (x, y), 2, (0, 255, 0), -1)# 显示带有关键点的图像
cv2.imshow("Facial Landmarks", image)
cv2.waitKey(0)
cv2.destroyAllWindows()

在这里插入图片描述

6. shape_predictor_68_face_landmarks.dat.bz2:

import dlib
import cv2# 加载面部特征定位模型
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")# 加载图像
image = cv2.imread("test.jpg")# 将图像转换为灰度
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)# 使用dlib的HOG人脸检测器检测人脸
detector = dlib.get_frontal_face_detector()
faces = detector(gray)# 对每个检测到的人脸进行面部特征定位
for face in faces:landmarks = predictor(gray, face)# 获取并绘制每个关键点for n in range(68):  # 此模型包含68个关键点x = landmarks.part(n).xy = landmarks.part(n).ycv2.circle(image, (x, y), 2, (0, 255, 0), -1)# 显示带有关键点的图像
cv2.imshow("Facial Landmarks", image)
cv2.waitKey(0)
cv2.destroyAllWindows()

在这里插入图片描述

7. shape_predictor_68_face_landmarks_GTX.dat.bz2:


import dlib
import cv2# 加载面部特征定位模型
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks_GTX.dat")# 加载图像
image = cv2.imread("test.jpg")# 将图像转换为灰度
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)# 使用dlib的HOG人脸检测器检测人脸
detector = dlib.get_frontal_face_detector()
faces = detector(gray)# 对每个检测到的人脸进行面部特征定位
for face in faces:landmarks = predictor(gray, face)# 获取并绘制每个关键点for n in range(68):  # 此模型包含68个关键点x = landmarks.part(n).xy = landmarks.part(n).ycv2.circle(image, (x, y), 2, (0, 255, 0), -1)# 显示带有关键点的图像
cv2.imshow("Facial Landmarks", image)
cv2.waitKey(0)
cv2.destroyAllWindows()

在这里插入图片描述

8. mmod_rear_end_vehicle_detector.dat.bz2:

暂未找到python调用方法

9. mmod_front_and_rear_end_vehicle_detector.dat.bz2:

暂未找到python调用方法

10. dnn_gender_classifier_v1.dat.bz2:

暂未找到python调用方法

11. dnn_age_predictor_v1.dat.bz2:

暂未找到python调用方法

12. resnet50_1000_imagenet_classifier.dnn.bz2:

暂未找到python调用方法

13. dcgan_162x162_synth_faces.dnn.bz2:

暂未找到python调用方法

实用技巧

眨眼次数记录


import dlib
import cv2
import numpy as np# 计算眼睛长宽比
def eye_aspect_ratio(eye):A = np.linalg.norm(eye[1] - eye[5])B = np.linalg.norm(eye[2] - eye[4])C = np.linalg.norm(eye[0] - eye[3])ear = (A + B) / (2.0 * C)return ear# 获取最大的人脸
def largest_face(dets):if len(dets) == 1:return 0face_areas = [(det.right() - det.left()) *(det.bottom() - det.top()) for det in dets]largest_area = face_areas[0]largest_index = 0for index in range(1, len(dets)):if face_areas[index] > largest_area:largest_index = indexlargest_area = face_areas[index]return largest_index# 初始化探测器和预测器
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")# 获取视频流
cap = cv2.VideoCapture(0)# 初始化帧计数器和眨眼计数器
frame_counter = 0
blink_counter = 0while True:# 获取当前帧ret, frame = cap.read()if not ret:break# 转换为灰度图gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)# 检测人脸faces = detector(gray, 0)# 检测到人脸if len(faces) > 0:# 获取最大的人脸index = largest_face(faces)face = faces[index]# 获取特征点landmarks = np.matrix([[p.x, p.y] for p in predictor(frame, face).parts()])# 提取左右眼点left_eye = landmarks[42:48]right_eye = landmarks[36:42]# 计算EARleft_ear = eye_aspect_ratio(left_eye)right_ear = eye_aspect_ratio(right_eye)ear = (left_ear + right_ear) / 2.0# 判断是否眨眼if ear < 0.21:frame_counter += 1status = "Blinking"else:# 眨眼次数判断if frame_counter >= 3:blink_counter += 1frame_counter = 0status = "Open"# 显示眨眼结果cv2.putText(frame, "Blinks: {}".format(blink_counter), (10, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)cv2.putText(frame, "EAR: {:.2f}".format(ear), (300, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)cv2.putText(frame, "Status: {}".format(status), (10, 60),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255, 0, 0), 2)# 显示画面cv2.imshow("Frame", frame)# 按Q退出key = cv2.waitKey(1) & 0xFFif key == ord('q'):break# 释放资源并关闭窗口
cap.release()
cv2.destroyAllWindows()

下一步尝试

dlib库在人脸检测和面部landmark定位方面非常强大,主要支持的功能包括:

  1. 人脸检测 - 使用CNN模型进行快速且准确的人脸检测。
  2. 人脸关键点定位 - 基于68点或5点模型,定位人脸的关键结构点,如眉毛、眼睛、鼻子、嘴巴等。
  3. 人脸识别 - 通过提取人脸特征,实现面部比对识别不同人脸。
  4. 人脸校准 - 对人脸图像进行校准,实现平移、旋转和缩放调整。
  5. 头部姿态估计 - 通过面部关键点分析头部的3D方向和姿态。
  6. 微笑检测 - 通过观察嘴巴形状变化判断是否微笑。
  7. 眨眼检测 - 通过眼睛形状分析判断是否眨眼。
  8. 情绪识别 - 利用面部表情判断人脸情绪,如生气、高兴、悲伤等。
  9. 年龄/性别预测 - 基于人脸图像判断年龄阶段和性别。
  10. 3D人脸重建 - 通过2D图片生成3D人脸模型。

dlib提供了非常方便的人脸分析API,包括数据训练和预训练模型,是人脸相关任务不可多得的强大工具库。

shape_predictor_68_face_landmarks.dat 这个人脸68点标志模型不仅可以实现眨眼检测,结合计算机视觉和机器学习算法,还可以扩展实现更多的面部分析任务:

  1. 微笑检测:通过观察嘴角上扬的关键点坐标变化来判断是否微笑。
  2. 情绪识别:观察眉毛、眼睛、嘴巴等关键点形变来判断面部表达的情绪。
  3. 年龄/性别预测:建立回归/分类模型,以关键点坐标和相对位置关系作为特征,预测年龄和性别。
  4. 头部姿态分析:根据关键点构成的人脸轮廓变化推断头部的三维旋转和平移信息。
  5. 面部交换:结合图片变形,可以在不同人脸之间交换表情。

基于该模型提取的特征非常丰富,可以支持构建各种面部理解和分析的机器学习模型。需要注意商业授权限制,但对研究用途非常有价值。掌握了计算机视觉和机器学习技巧,可以开发出很多有趣的人脸应用。

写给自己（关闭gpu加速仅在cpu上加载模型）

根据的错误日志,问题出在加载RetinaFace模型的时候:

File "/home/topeet/rknn/RetinaFace-FaceNet/retinaface.py", line 124, in __init__self.generate()
File "/home/topeet/rknn/RetinaFace-FaceNet/retinaface.py", line 146, in generatestate_dict = torch.load(self.retinaface_model_path)

所以需要在retinaface.py里面加载模型的时候添加map_location参数:

# retinaface.pyimport torchclass RetinaFace():def __init__(self):...def generate(self):...# 原代码# state_dict = torch.load(self.retinaface_model_path)  # 修改为state_dict = torch.load(self.retinaface_model_path, map_location=torch.device('cpu'))

用map_location='cpu’告诉torch将模型加载到CPU上。
这样应该就可以避免CUDA不可用的问题了。
另外,为了保证结果的一致性,在加载模型之前可以加上:

torch.cuda.empty_cache()

清空GPU缓存,torch就会把 computation 默认放在CPU上做。
所以完整的修改代码是:

import torchclass RetinaFace():def __init__(self):...def generate(self):...torch.cuda.empty_cache() state_dict = torch.load(self.retinaface_model_path, map_location=torch.device('cpu'))

总结

在国庆和中秋双节的欢庆氛围中，我深入研究了dlib，并在实践中遭遇了种种问题。通过不懈的努力和探索，我成功地克服了挑战，取得了技术上的突破。这个过程不仅让我更深入地理解了活体检测技术的原理，也锻炼了我的问题解决能力。希望通过我的分享，能够为大家提供一些有价值的经验，也希望在未来的技术道路上，我们能够不断探索，共同进步，这篇文章并未完结，我还会继续坚持更新。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/91795.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

scala基础入门

scala基础入门

一、Scala安装 下载网址&#xff1a;Install | The Scala Programming Language ideal安装 &#xff08;1&#xff09;下载安装Scala plugins &#xff08;2&#xff09;统一JDK环境&#xff0c;统一为8 &#xff08;3&#xff09;加载Scala &#xff08;4&#xff09;创建工…
阅读更多...
LabVIEW学习笔记五：错误，visa关闭超时（错误-1073807339）

LabVIEW学习笔记五：错误，visa关闭超时（错误-1073807339）

写的串口调试工具&#xff0c;其中出现了这个错误 这是串口接收的部分&#xff0c;如果没有在很短的时间内收到外界发进来的数据&#xff0c;这里就会报错。 先在网上查了一下&#xff0c;这个问题很常见&#xff0c;我找到了官方的解答&#xff1a; VISA读取或写入时出现超时…
阅读更多...
【JavaEE】CSS

【JavaEE】CSS

CSS 文章目录 CSS语法引入方式内部样式表行内样式表外部样式 选择器基础选择器标签选择器类选择器id选择器通配符选择器 复合选择器后代选择器伪类选择器链接伪类选择器 字体设置设置文本颜色粗细样式文本对齐 背景背景颜色背景平铺背景尺寸 圆角矩形元素显示模式块级元素 盒模…
阅读更多...
Pikachu靶场——XXE 漏洞

Pikachu靶场——XXE 漏洞

文章目录 1. XXE1.1 查看系统文件内容1.2 查看PHP源代码1.3 查看开放端口1.4 探测内网主机 1. XXE 漏洞描述 XXE&#xff08;XML External Entity&#xff09;攻击是一种利用XML解析器漏洞的攻击。在这种攻击中&#xff0c;攻击者通过在XML文件中插入恶意实体来触发解析器加载…
阅读更多...
计算机图像处理-高斯滤波

计算机图像处理-高斯滤波

高斯滤波 高斯滤波是一种线性平滑滤波&#xff0c;适用于消除高斯噪声&#xff0c;广泛应用于图像处理的减噪过程。通俗的讲&#xff0c;高斯滤波就是对整幅图像进行加权平均的过程&#xff0c;每一个像素点的值&#xff0c;都由其本身和邻域内的其他像素值经过加权平均后得到…
阅读更多...
1340. 跳跃游戏 V；2039. 网络空闲的时刻；2767. 将字符串分割为最少的美丽子字符串

1340. 跳跃游戏 V；2039. 网络空闲的时刻；2767. 将字符串分割为最少的美丽子字符串

1340. 跳跃游戏 V 核心思想&#xff1a;动态规划记忆化搜索。定义dfs(i)&#xff0c;表示从i开始最多可以访问多少个下标&#xff0c;然后统计往左跳和往右边跳的最大值&#xff0c;思路其实比较简单&#xff0c;但是代码我感觉还是不太好想。 2039. 网络空闲的时刻 核心思想…
阅读更多...
W5100S_EVB_PICO快速入门之MQTT篇（十二）

W5100S_EVB_PICO快速入门之MQTT篇（十二）

目录 1. 前言 2. MQTT介绍 2.1 什么是mqtt&#xff1f; 2.2 特点 2.3 应用场景 2.4 MQTT协议实现方式 3. 硬件及接线方式 3.1 硬件准备 3.2 硬件介绍 3.3 接线图 4. 测试 4.1 MQTT测试流程图 4.2 相关代码 4.3 测试现象 5. 相关链接&#xff1a; 1. 前言 随着物…
阅读更多...
vue下载在前端存放的pdf文件

vue下载在前端存放的pdf文件

vue下载在前端存放的pdf文件 注意&#xff0c;这里要在public文件夹中新建文件夹存放静态资源&#xff0c;不能在src文件夹中新建文件夹存放静态资源&#xff0c;因为public文件夹中的文件资源不会被npm run build打包编译。大家打包一下&#xff0c;就会发现 模板.pdf文件 是存…
阅读更多...
【C++入门指南】类和对象（上）

【C++入门指南】类和对象（上）

【C杂货店】类和对象&#xff08;上&#xff09; 一、面向过程和面向对象初步认识二、类的引入三、类的定义四、类的访问限定符及封装4.1 访问限定符4.2 封装 五、类的作用域六、类的实例化七、类对象模型7.1 类对象的存储规则7.2 例题7.3结构体内存对齐规则 八、this指针8.2 t…
阅读更多...
第 114 场 LeetCode 双周赛题解

第 114 场 LeetCode 双周赛题解

A 收集元素的最少操作次数 模拟: 反序遍历数组&#xff0c;用一个集合存当前遍历过的不超过 k k k 的正数 class Solution { public:int minOperations(vector<int> &nums, int k) {unordered_set<int> vis;int n nums.size();int i n - 1;for (;; i--) {if…
阅读更多...
[Framework] Android Binder 工作原理

[Framework] Android Binder 工作原理

Binder 是 Android 系统中主要的 IPC 通信方式&#xff0c;其性能非常优异。但是包括我在内的很多开发者都对它望而却步&#xff0c;确实比较难&#xff0c;每次都是看了忘&#xff0c;忘了看&#xff0c;但是随着工作的时间约来越长&#xff0c;每次看也都对 Binder 有新的认识…
阅读更多...
使用自功率谱、互功率谱估计滤波器幅频特性

使用自功率谱、互功率谱估计滤波器幅频特性

这段时间终于对工程中的随机信号的一般处理方式有点头绪了&#xff0c;功率谱密度估计是十分重要的方式之一&#xff0c;仍需继续深入细化相关内容。 示例&#xff1a;使用自功率谱、互功率谱估计滤波器幅频特性&#xff0c;自己实现 & Matlab自带函数实现。 clc;clear;cl…
阅读更多...
HTML之如何下载网页中的音频(二)

HTML之如何下载网页中的音频(二)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 人生格言&#xff1a; 人生…
阅读更多...
毅速课堂：3D打印随形水路设计应注意什么？

毅速课堂：3D打印随形水路设计应注意什么？

随形水路是一种基于3D打印技术的新型模具冷却水路&#xff0c;能有效提高冷却效率、缩短冷却周期、提升产品良率、提高生产效率、 与传统的水路设计相比&#xff0c;随形水路更加贴合模具型腔表面&#xff0c;能够更加均匀地分配冷却水&#xff0c;使模具各部分的冷却效果得到有…
阅读更多...
系统集成|第二十一章(笔记)

系统集成|第二十一章(笔记)

目录 第二十一章 知识产权与法律法规21.1 知识产权21.2 法律法规 上篇&#xff1a;第二十章、收尾管理 第二十一章 知识产权与法律法规 21.1 知识产权 概述&#xff1a;狭义的知识产权就是传统意义上的知识产权&#xff0c;包括著作权&#xff08;含邻接权&#xff09;&#x…
阅读更多...
生产者、消费者问题

生产者、消费者问题

线程六个状态&#xff1a; public enum State {/*** 新生*/NEW,/*** 运行*/RUNNABLE,/***阻塞*/BLOCKED,/*** 等待*/WAITING,/*** 超时等待*/TIMED_WAITING,/**死亡**/TERMINATED;} synchronized和lock的区别 1、synchronized是关键字&#xff0c;lock是类 2、synchronized全自…
阅读更多...
doT.js模板学习笔记

doT.js模板学习笔记

doT.js模板学习笔记 欢迎学习doT.js模板学习笔记doT.js模板是什么doT.js 主要优势在doT.js好处引入方式基本语法语法示例结尾 欢迎学习doT.js模板学习笔记 doT.js官方网站 本文章得示例源码 doT.js模板是什么 doT.js 是一个 JavaScript 模板框架&#xff0c;在 web 前端使用 d…
阅读更多...
堆的介绍、堆的向上、 向下调整法与基本功能实现

堆的介绍、堆的向上、 向下调整法与基本功能实现

&#x1f493;博主csdn个人主页&#xff1a;小小unicorn ⏩专栏分类&#xff1a;数据结构 &#x1f69a;代码仓库&#xff1a;小小unicorn的代码仓库&#x1f69a; &#x1f339;&#x1f339;&#x1f339;关注我带你学习编程知识 堆 二叉树的顺序结构堆的概念&#xff1a;堆的…
阅读更多...
企业风险管理策略终极指南

企业风险管理策略终极指南

企业风险管理不一定是可怕的。企业风险管理是一个模糊且难以定义的主题领域。它涵盖了企业的多种风险和程序&#xff0c;与传统的风险管理有很大不同。 那么&#xff0c;企业风险管理到底是什么&#xff1f;在本文中&#xff0c;我们将确定它是什么&#xff0c;提出两种常见的…
阅读更多...
超级好用绘图工具（Draw.io+Github)

超级好用绘图工具（Draw.io+Github)

超级好用绘图工具&#xff08;Draw.ioGithub&#xff09; 方案简介 绘图工具&#xff1a;Draw.io 存储方式&#xff1a; Github 1 Draw.io 1.2 简介 ​ 是一款免费开源的在线流程图绘制软件&#xff0c;可以用于创建流程图、组织结构图、网络图、UML图等各种类型的图表。…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023