之前写过一篇文章 随记-点选验证码 ，当时借助了 ddddocr 完成了ocr 识别，这篇文章算是对之前的补充。
本次更换了新的方案：
- 通过 ultralytics（YOLO8）训练自己的模型
- 吐槽一句：标注真是一件耗时的事情啊，自己标注了 1600张图片
- 准确率：因为标注的样本以及刚刚接触 ultralytics 的原因，准确率较低。
验证码示例
我将一张完整的验证码图片，划分为两部分 verify 和 target。
- target 包含了 文字和顺序信息两部分
- verify 包含了文字和坐标信息两部分
效果
主要代码
def run(image_base_path):driver.get('https://www.bilibili.com/')# 点击 头像click_element(driver, """ //div[@class="header-login-entry"] """)# 点击 短信登录click_element(driver, """ //div[@class="login-tab-item"] """)# 输入 手机号input_element(driver, """ //div[@class="login-sms-wp__cid"]/../input """, "15266666666")# 点击 获取验证码click_element(driver, """ //div[@class="login-sms-wp__cid"]/../div[@class="login-sms-send clickable "] """)style_value = get_element_value(driver, """ //div[@class="geetest_widget"]//div[@class="geetest_tip_img"] """, "style", 10)target_image_path, verify_image_path = save_image(image_base_path, style_value)print(target_image_path, verify_image_path)results_list = []# 预测 targetmodel = YOLO("C:/Workspace/G_01_Gitee/demo_click_text/yolo/target_600.pt")results_list.extend(model([target_image_path]))# 预测 verifymodel = YOLO("C:/Workspace/G_01_Gitee/demo_click_text/yolo/verify_1000.pt")results_list.extend(model([verify_image_path]))for result in results_list:boxes = result.boxes # Boxes object for bounding box outputsmasks = result.masks # Masks object for segmentation masks outputskeypoints = result.keypoints # Keypoints object for pose outputsprobs = result.probs # Probs object for classification outputsobb = result.obb # Oriented boxes object for OBB outputslabel_index = list(boxes.cls.numpy().astype(int))label_conf = list(boxes.conf.numpy())# 输出label 和 置信度for index, value in enumerate(label_index):print(f"label:{result.names[value]}, conf:{label_conf[index]}")result.show() # display to screenresult.save(filename="result.jpg") # save to diskSource Code
到此结 DragonFangQy 2024.03.02
本博文仅供学习参考之用，不得用于其他任何目的。如有任何内容侵犯到您的隐私或权益，敬请立即联系我，我将及时删除或修正相关内容。感谢您的理解与支持，期待与您共同维护一个友善、尊重知识产权的网络环境。
)
)
)