随记-点选验证码（二）

之前写过一篇文章随记-点选验证码，当时借助了 ddddocr 完成了ocr 识别，这篇文章算是对之前的补充。
本次更换了新的方案：

通过 ultralytics（YOLO8）训练自己的模型
- 吐槽一句：标注真是一件耗时的事情啊，自己标注了 1600张图片
- 准确率：因为标注的样本以及刚刚接触 ultralytics 的原因，准确率较低。

验证码示例

我将一张完整的验证码图片，划分为两部分 verify 和 target。

target 包含了文字和顺序信息两部分
verify 包含了文字和坐标信息两部分

效果

target
verify

主要代码


def run(image_base_path):driver.get('https://www.bilibili.com/')# 点击 头像click_element(driver, """ //div[@class="header-login-entry"] """)# 点击 短信登录click_element(driver, """ //div[@class="login-tab-item"] """)# 输入 手机号input_element(driver, """ //div[@class="login-sms-wp__cid"]/../input """, "15266666666")# 点击 获取验证码click_element(driver, """ //div[@class="login-sms-wp__cid"]/../div[@class="login-sms-send clickable "] """)style_value = get_element_value(driver, """ //div[@class="geetest_widget"]//div[@class="geetest_tip_img"] """, "style", 10)target_image_path, verify_image_path = save_image(image_base_path, style_value)print(target_image_path, verify_image_path)results_list = []# 预测 targetmodel = YOLO("C:/Workspace/G_01_Gitee/demo_click_text/yolo/target_600.pt")results_list.extend(model([target_image_path]))# 预测 verifymodel = YOLO("C:/Workspace/G_01_Gitee/demo_click_text/yolo/verify_1000.pt")results_list.extend(model([verify_image_path]))for result in results_list:boxes = result.boxes  # Boxes object for bounding box outputsmasks = result.masks  # Masks object for segmentation masks outputskeypoints = result.keypoints  # Keypoints object for pose outputsprobs = result.probs  # Probs object for classification outputsobb = result.obb  # Oriented boxes object for OBB outputslabel_index = list(boxes.cls.numpy().astype(int))label_conf = list(boxes.conf.numpy())# 输出label 和 置信度for index, value in enumerate(label_index):print(f"label:{result.names[value]}, conf:{label_conf[index]}")result.show()  # display to screenresult.save(filename="result.jpg")  # save to disk