01_AI编程案例展示:借助AI轻松爬取海量网盘链接

爬虫案例展示

今天,我们将展示如何利用AI快速开发一个网络爬虫,

使用的工具是Python和Claude 3.5 Sonnet(国内可用豆包替代)

我们的目标是爬取panhub.fun网站上的夸克网盘链接,

即使你是编程新手,也可以轻松完成这样的任务。

案例1-批量爬取panhub网盘整合包

下载链接:https://pan.quark.cn/s/f68d5a9fd380

环境准备

首先,确保你的Win11系统上已经安装了以下工具:

  • Python 3.10嵌入包(方便迁移到其他电脑使用)

  • Visual Studio Code (VSCode:微软开发的免费、开源的代码编辑器)

    • 下载:https://code.visualstudio.com/download

  • Git (用于版本控制)

    • 下载:https://git-scm.com/downloads/win

打包下载:https://pan.quark.cn/s/57a15dddcb95

设置VSCode

  1. 安装Python扩展:在左侧扩展栏搜索"Python",安装Microsoft的官方Python扩展

  2. 安装扩展Continue

    1. 国内推荐使用:字节跳动旗下的AI编程助手MarsCode AI。注册地址:https://www.marscode.cn/events/s/iSVgTQH6/

      1. 左侧扩展栏搜索 ”豆包“或”MarsCode“ 关键词

      2. 官网教程:https://docs.marscode.cn/docs/quickstart

  3. 创建新文件夹,如"panhub_crawler"

  4. Ctrl+Shift+p 选择解释器路径:选择python.exe所在路径,示例:

    e:/panhub_crawler/python310/python.exe

VSCode克隆仓库:

Ctrl+Shift+p 输入git:clone 提交网址

示例:https://gitee.com/qianchilang/panhub_crawler

编写代码

现在,让我们借助AI来编写我们的爬虫代码。在VSCode中创建一个新文件crawler.py,然后我们向AI描述我们的需求:

  • 编程语言:Python 3.10

  • 系统:win11

  • 交互式页面:Streamlit

  • 数据库:SQLite

对话: "我需要一个Python脚本来爬取https://panhub.fun/网站上的夸克网盘链接。"

优化后的提示词:

 

创建一个Python脚本,使用Streamlit构建交互界面,用于爬取特定网页上的夸克网盘链接。
具体要求如下:
目标网页:https://panhub.fun/d/8964.html
夸克网盘链接格式示例:https://pan.quark.cn/s/7212e1e2eb97
运行环境:Windows 11系统
用户界面:使用Streamlit创建
编程语言:Python
脚本功能需求:
从指定网页提取所有符合夸克网盘链接格式的URL 使用Streamlit创建简洁的用户界面,包含以下元素: 输入框:允许用户输入目标网页URL(默认值为https://panhub.fun/d/8964.html) 按钮:触发爬取过程 结果显示区域:以表格形式展示爬取到的链接 下载按钮:允许用户将结果导出为CSV文件
实现错误处理,在网页无法访问或未找到链接时显示适当的提示信息 考虑网站访问频率限制,实现适当的请求间隔 请提供完整的Python代码,包括必要的库导入、函数定义和主程序逻辑。同时,请简要说明如何在Windows 11系统上安装所需依赖并运行该脚本。
注意:在实现过程中,请确保遵守网站的使用条款和爬虫政策,避免对目标网站造成过大负担。

报错解决:

报错信息抛给AI

注意:

AI回复 会省略部分之前的代码;

回复内容过长会被截断,输入继续 接着回复;

夸克链接批量转存:

QuarkPanTool夸克网盘批量转存

下载链接:https://pan.quark.cn/s/67763d3945ca

记住,AI是一个强大的工具,但关键还在于你如何提出正确的问题和解释需求。

希望这个教程能激发你的编程兴趣。下一步,你可以尝试爬取其他网站,或者为这个爬虫添加更多功能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/58855.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++动态规划 01背包】2787. 将一个数字表示成幂的和的方案数

本文涉及知识点 C动态规划 C背包问题 LeetCode2787. 将一个数字表示成幂的和的方案数 给你两个 正 整数 n 和 x 。 请你返回将 n 表示成一些 互不相同 正整数的 x 次幂之和的方案数。换句话说,你需要返回互不相同整数 [n1, n2, …, nk] 的集合数目,满…

websocket的使用

websocket的封装,面对后端为服务架构 // websocket.js import Vue from vue;class WebSocketService {constructor() {this.socket null;this.state Vue.observable({isConnected: false,currentUrl: ,retries: 0,maxRetries: 5,reconnectInterval: 3000});this.…

一分钟学会Python基础

Python 是一种广泛使用的高级编程语言,因其简洁和易读的语法而受到欢迎。下面是一些 Python 基础知识的概述: 1. 安装 Python 1.下载: 你可以从 Python 官网 下载适合你操作系统的版本。 2.安装: 安装过程中,确保勾选 "Add Python to …

vue下载安装

目录 vue工具前置要求:安装node.js并配置好国内镜像源下载安装 vue 工具 系统:Windows 11 前置要求:安装node.js并配置好国内镜像源 参考:本人写的《node.js下载、安装、设置国内镜像源(永久)&#xff…

ASP.NET Core 应用程序的Startup笔记

在 ASP.NET Core 中,Startup 类是用于配置应用程序的服务和请求管道的地方。 默认情况下,Visual Studio 2022 创建的 ASP.NET Core Web API 项目可能不再包含 Startup 类,而是直接在 Program.cs 中进行配置。这是因为从 .NET 6 开始&#xf…

计算机毕业设计——ssm基于Java的酒店管理系统的设计与实现演示录像2021

作者:程序媛9688开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等。 🌟文末获取源码数据库🌟感兴趣的可以先收藏起来,还有大家在毕设选题(免费咨询指导选题)&#xff0…

Spring整合Mybatis过程

配置文件 springConfig --> [jdbcConfig mybatisConfig] jdbc配置文件进行基本的数据库连接池配置 mybatis配置文件进行SqlSessionFactory Bean 和 MapperScannerConfigurer Bean的创建 在Spring容器启动时,系统会根据配置创建并初始化所有MyBatis所需的Bean…

光纤中光的散射

什么现象是光的散射? 辐射在不均匀介质中传播时,会产生偏离光的入射方向的光。 背向散射光分为哪些? 瑞利散射、布里渊散射和拉曼散射。 瑞利散射的原理是? 瑞利散射是由微粒的弹性碰撞而产生的,所以散射前后光波…

Java Executor ScheduledFuture 源码

前言 相关系列 《Java & Executor & 目录》《Java & Executor & ScheduledFuture & 源码》《Java & Executor & ScheduledFuture & 总结》《Java & Executor & ScheduledFuture & 问题》 涉及内容 《Java & Executor &…

Kafka 客户端工具使用分享【offsetexplorer】

前言: 前面我们使用 Spring Boot 继承 Kafka 完成了消息发送,有朋友会问 Kafka 有没有好用的客户端工具,RabbitMQ、RocketMQ 都有自己的管理端,那 Kafka 如何去查看发送出去的消息呢? 本篇我们就来分享一个好用的工具…

远程控制项目第一天

使用C开发,git进行版本控制, 关于远程项目的思考 需求分析 文件需求 1.观察文件 2.打开文件 3.下载文件 4.删除文件 观察需求 1.远程监控 控制需求 1.鼠标控制 2.键盘控制 3.锁机/解锁 技术分析 服务器部署在被控端 网络编程 文件处理 鼠标处理 图像处…

antd 5X中 tree属性结构,自定义菜单,右键菜单实现方式

第一种方式 使用自定义渲染节点 titleRender <TreetitleRender{titleRender}autoExpandParent{autoExpandParent}fieldNames{fieldNames}treeData{treeData}></Tree> 重要代码 titleRender实现方式 const menu (<Menuitems{[{key: add,label: <span>新增…

flume系列之:flume机器做条带划分提高磁盘性能和吞吐量的详细步骤

flume系列之:flume机器做条带划分提高磁盘性能和吞吐量的详细步骤 磁盘条带划分新磁盘直接条带划分步骤有数据的磁盘做条带划分步骤磁盘条带划分 磁盘条带划分是将一个文件或数据块分散存储在多个物理磁盘上的技术。它可以提高磁盘的性能和吞吐量。以下是磁盘做了条带划分后可…

六、栈————相关算法探讨(持续更新中)

栈————相关算法探讨 前言一、有效的括号1.1 思路分析1.2 解法探讨1.2.1 一次 for 循环&#xff0c;左括号入栈1.2.2 一次 for 循环&#xff0c;左括号入栈&#xff08;使用字典&#xff09;1.2.3 一次 for 循环&#xff0c;右括号进栈1.2.4 一次 for 循环&#xff0c;右括号…

【日常记录-Java】Windows下查看Java进程完整的启动命令

1. 简介 jps是Java Virtual Machine Process Status Tool的缩写&#xff0c;其会列出所有正在运行的Java进程ID以及类名。 wmic是Windows Management Instrumentation Command-line的缩写&#xff0c;其允许用户与wmi服务进行交互&#xff0c;提供了一种标准化的方法来访问和操…

ctfshow(151->154)--文件上传漏洞--.user.ini

Web151 进入界面&#xff1a; 审计&#xff1a; 提示是前台校验。 存在图片上传。 思路&#xff1a; 先编写一个一句话木马文件&#xff1a; //shell.php <?php eval($_POST[1]); ?>既然是前端校验&#xff0c;我们查看页面源代码找到相关的校验内容&#xff1a…

Ubuntu使用Tesla P4配置Anaconda+CUDA+PyTorch

我们之前测试了在Windows系统如何安装Tesla M4&#xff08;成了&#xff01;Tesla M4Windows 10AnacondaCUDA 11.8cuDNNPython 3.11&#xff09;&#xff0c;前面安装好了Ubuntu 22.04.4的操作系统&#xff08;Ubuntu 22.04.4安装Docker引擎&#xff09;。今天&#xff0c;简单…

少儿编程参培意愿地图:一二线城市热情高涨,低线城市市场待挖掘

随着少儿编程的普及&#xff0c;编程教育逐渐走进越来越多家庭。然而&#xff0c;少儿编程的地域分布显示出明显的差异&#xff1a;在一二线城市中&#xff0c;家长对少儿编程的接受度和参与度显著高于低线城市。本文将通过对地域分布和家长态度的分析&#xff0c;探讨少儿编程…

基于SSM演出道具租赁系统的设计

管理员账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;用户管理&#xff0c;商家管理&#xff0c;道具类型管理&#xff0c;道具出租管理&#xff0c;租赁订单管理&#xff0c;道具归还管理&#xff0c;系统管理 商家账号功能包括&#xff1a;系统首页&…

【Spring】Spring 核心和设计思想

Spring 核心和设计思想 1.什么是 Spring1.1 传统程序开发1.2 控制反转程序开发 2.理解 Spring IoC 1.什么是 Spring 我们通常所说的 Spring 指的是 Spring Framework&#xff08;Spring 框架&#xff09;&#xff0c;它是⼀个开源框架&#xff0c;有着活跃而庞大的社区&#x…