前言

日常中如果需要进行大数据分析，那么就要记录用户的使用情况和数据分析。

实时屏幕捕获就可以很好地获取数据，从而进行数据分析和使用习惯。

借助AI模拟人为操作习惯，替代重复性工作解放咱们的双手。

训练AI来模拟人为操作，就需要先看着其工作，然后进行学习，就类似于学徒跟着师傅学习，首先要先看着，然后慢慢尝试，师傅再矫正，直到可以和师傅一样工作，当然唯一不可替代的是人的思维、创造力、想象力。

如何使用 OpenCV 展示实时屏幕捕获，这是模拟人为操作的基础步骤之一。

基本思路

1. 利用 pyautogui 来监控人为在电脑上面的操作画面
2. 利用 numpy 来实时解析并转换画面的数据
3. 利用 OpenCV 图像处理工具来实时处理画面。

安装依赖包

首先，我们需要安装所需的库。在终端或命令提示符中执行以下命令：

pip install opencv-python pyautogui numpy

opencv-python：用于提供了丰富的图像处理和计算机视觉算法

pyautogui：用于控制鼠标和键盘，从而模拟人的操作

numpy：用于处理大型多维数组和矩阵，以及执行与数据结构相关的数学运算

实时捕获屏幕画面

利用 pyautogui 工具来实时捕获电脑屏幕：

import pyautogui# 设置捕获电脑区域
monitor = (0, 0, 1920, 1080)# 设置捕获对象
screenshot = pyautogui.screenshot(region=monitor)

转换屏幕画面数据

利用 numpy 实时高效转换捕获屏幕的数据：

import numpy as npscreenshot_np = np.array(screenshot)

调用窗体显示屏幕截取画面

利用 cv2 调用窗体并显示屏幕截取画面：

import cv2# 创建 windows 窗体
cv2.namedWindow("Real-time Screen Capture", cv2.WINDOW_NORMAL)# 将 BGR 转换为 RGB (OpenCV 默认使用 RGB)
screenshot_np = cv2.cvtColor(screenshot_np, cv2.COLOR_BGR2RGB)
cv2.imshow("Real-time Screen Capture", screenshot_np)

增加实时捕获时间

使用 datetime 来获取当前时间，并将其添加到图像中：

from datetime import datetime# 获取当前时间
current_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")# 在窗口内显示实时时间
cv2.putText(screenshot_np, current_time, (10, 70), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 0, 0), 2, cv2.LINE_AA)

保存实时视频流

要保存视频流，可以使用 OpenCV 的 VideoWriter 类：

# 视频保存参数
fourcc = cv2.VideoWriter_fourcc(*'XVID')
fps = 25.0
output_size = (1920, 1080)# 创建 VideoWriter 对象
out = cv2.VideoWriter('screen_capture.avi', fourcc, fps, output_size)# 将帧写入视频流
out.write(screenshot_np)

保存实时视频流是为了记录人为一系列操作，用于后面分析使用。

效果图

完整实现代码

import cv2
import pyautogui
import numpy as np
from datetime import datetime# 设置捕获电脑区域
monitor = (0, 0, 1920, 1080)# 视频保存参数
fourcc = cv2.VideoWriter_fourcc(*'XVID')
fps = 25.0
output_size = (1920, 1080)
output_file = 'screen_capture.avi'# 创建 VideoWriter 对象
out = cv2.VideoWriter(output_file, fourcc, fps, output_size)# 创建 windows 窗体
cv2.namedWindow("实时屏幕捕获".encode("gbk").decode('UTF-8', errors='ignore'), cv2.WINDOW_NORMAL)while True:# 获取当前时间current_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")# 设置捕获对象screenshot = pyautogui.screenshot(region=monitor)screenshot_np = np.array(screenshot)# 将 BGR 转换为 RGB (OpenCV 默认使用 RGB)screenshot_np = cv2.cvtColor(screenshot_np, cv2.COLOR_BGR2RGB)# 在窗口内显示实时时间cv2.putText(screenshot_np, current_time, (10, 70), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 0, 0), 2, cv2.LINE_AA)# 将帧写入视频流out.write(screenshot_np)# 显示屏幕截取画面cv2.imshow("实时屏幕捕获".encode("gbk").decode('UTF-8', errors='ignore'), screenshot_np)# 监控按键，按下 q 退出程序if cv2.waitKey(1) & 0xFF == ord("q"):break# 关闭 OpenCV 所有窗体
cv2.destroyAllWindows()