用C语言采集亚马逊amazon产品数据

上一篇文章我是用C++写的一个爬取亚马逊的爬虫程序,相信大家已经看过了,这次呢,我依然使用C语言来写一个爬虫,大体上思路是和之前一样,只是支持的库以及语法有些区别,具体的呢我会一一解释出来,方便大家查阅。

在这里插入图片描述

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <curl/curl.h>int main() {CURL *curl;CURLcode res;char *url = "https://www.amazon.com";// 提取爬虫ip jshk.com.cn/mb/reg.asp?kefu=xjy&csdnchar *proxy_host = "duoip";int proxy_port = 8000;char *ch = NULL;curl_global_init(CURL_GLOBAL_DEFAULT);curl = curl_easy_init();if(curl) {curl_easy_setopt(curl, CURLOPT_URL, url);curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, NULL);curl_easy_setopt(curl, CURLOPT_WRITEDATA, &ch);curl_easy_setopt(curl, CURLOPT_PROXY, proxy_host);curl_easy_setopt(curl, CURLOPT_PROXYPORT, proxy_port);res = curl_easy_perform(curl);if(res != CURLE_OK)fprintf(stderr, "curl_easy_perform() failed: %s\n",curl_easy_strerror(res));curl_easy_cleanup(curl);}curl_global_cleanup();if(ch) free(ch);return 0;
}

1、#include <stdio.h>:这个头文件包含了标准输入输出文件流的定义和函数声明。

2、#include <stdlib.h>:这个头文件包含了各种系统函数的定义和声明,如malloc、free等。

3、#include <string.h>:这个头文件包含了各种字符串函数的定义和声明,如strcpy、strlen等。

4、#include <curl/curl.h>:这个头文件包含了libcurl库函数的定义和声明。

5、int main() { ..、}:这是一个标准的C程序的主函数入口。

6、CURL *curl;:这是一个全局变量,用于存放libcurl库的句柄。

7、CURLcode res;:这是一个全局变量,用于存放libcurl库的错误代码。

8、char *url = "https://www.amazon.com";:这是一个字符串指针,用于存放要访问的URL。

9、char *proxy_host = "duoip";:这是一个字符串指针,用于存放代理服务器的主机名。

10、int proxy_port = 8000;:这是一个整数变量,用于存放代理服务器的端口号。

11、char *ch = NULL;:这是一个字符串指针,用于存放libcurl库的返回数据。

12、curl_global_init(CURL_GLOBAL_DEFAULT);:这是一个libcurl库的函数,用于初始化libcurl库。

13、curl = curl_easy_init();:这是一个libcurl库的函数,用于创建一个libcurl库的句柄。

14、if(curl) { ..、}:这是一个if语句,用于判断libcurl库的句柄是否成功创建。

15、curl_easy_setopt(curl, CURLOPT_URL, url);:这是一个libcurl库的函数,用于设置要访问的URL。

16、curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, NULL);:这是一个libcurl库的函数,用于设置数据写入函数。

17、curl_easy_setopt(curl, CURLOPT_WRITEDATA, &ch);:这是一个libcurl库的函数,用于设置数据写入的数据指针。

18、curl_easy_setopt(curl, CURLOPT_PROXY, proxy_host);:这是一个libcurl库的函数,用于设置代理服务器的主机名。

19、curl_easy_setopt(curl, CURLOPT_PROXYPORT, proxy_port);:这是一个libcurl库的函数,用于设置代理服务器的端口号。

20、res = curl_easy_perform(curl);:这是一个libcurl库的函数,用于发送请求并获取响应。

21、if(res != CURLE_OK) { ..、}:这是一个if语句,用于判断libcurl库的错误代码是否为CURLE_OK,即请求是否成功。

22、fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));:这是一个标准库函数,用于输出错误信息。

23、curl_easy_cleanup(curl);:这是一个libcurl库的函数,用于清除libcurl库的句柄。

24、curl_global_cleanup();:这是一个libcurl库的函数,用于清除libcurl库的全局数据。

25、if(ch) free(ch);:这是一个if语句,用于判断ch是否为空指针,如果是则调用free函数释放ch所指向的内存。

26、return 0;:这是一个标准的C程序的返回值,表示程序成功运行。

以上就是今天我编程的全部内容,其实总体思路还是和上一篇差不多。只是这次使用的库不同,但是都一样能达到自己想要的效果,两者选其一就行。如果有更多有趣好玩的爬虫代码,记得评论区留言给我。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/619799.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

android自定义来电秀UI

简单来电秀功能&#xff0c;效果如图&#xff1a; 底部附上demo 一、新建一个PhoneCallService服务&#xff0c;在服务中监听来电等状态&#xff0c;且控制UI显示 public class PhoneCallService extends InCallService {private final Call.Callback callback new Call.Ca…

仿真机器人-深度学习CV和激光雷达感知(项目2)day01

文章目录 前言项目介绍功能与技术简介硬件要求环境配置虚拟机运行项目demo 前言 &#x1f4ab;你好&#xff0c;我是辰chen&#xff0c;本文旨在准备考研复试或就业 &#x1f4ab;本文内容是我为复试准备的第二个项目 &#x1f4ab;欢迎大家的关注&#xff0c;我的博客主要关注…

如何给AI下达精准的指令,哪些提示词对于AI是有效的?

刚上手那会&#xff0c;我倾向于将 prompt 翻译为“指令”&#xff0c;但这并不精确。“指令”通常对应instructions&#xff0c;属于 prompt 中的纯指令部分&#xff0c;通常是一个动宾结构&#xff08;做什么&#xff09;。剩下的部分更多是描述&#xff08;describe&#xf…

Open3D 不规则点云体积计算 (15)

Open3D 不规则点云体积计算 (15) 一、算法介绍二、算法实现1.代码2.结果黑暗笼罩万物,我将是黑暗中最后的那道曙光,以雷霆,击碎黑暗!!! 一、算法介绍 点云往往是不规则的,利用别的包围盒方法获取的体积可能不太准确,如果希望获取更准确的体积,这里介绍一种基于体素…

stable-diffusion 学习笔记

从效果看Stable Diffusion中的采样方法 参考&#xff1a;Ai 绘图日常 篇二&#xff1a;从效果看Stable Diffusion中的采样方法_软件应用_什么值得买 大概示例&#xff1a;

arm64架构编译electron长征路

文章目录 1. gn工具生成1.1 问题,找不到last_commit_position.h文件问题描述如下:解决方法1.2 ninja文件不是对应架构问题问题描述:解决方法1.3 问题3:clang++找不到问题描述解决方法2. electron 编译参数生成2.1 下载对应版本debian_bullseye_arm64-sysroot错误描述

Linux:信号

目录 1.信号 2.信号的过程 a.信号的产生 1:键盘产生, 异常产生 2:系统调用产生信号 3.软件条件产生信号 4.硬件异常产生信号 b.信号的发送 c.信号的处理 d.总结与思考 3.信号保存 1.信号及其它相关常见概念 2.在内核中的表示 3.sigset_t 4. 信号集操作函数 4.信…

【读书笔记】网空态势感知理论与模型(十)

网络安全的认知科学&#xff1a;一个推进社会-网络系统研究的框架 1.引言 网空安全理念、策略和操作的核心是对抗性的规则&#xff0c;对于攻击方来说&#xff0c;这个规则会推动一个威胁去夺取重要数据或文件的所有权。 2. 网空安全作为一个跨学科的超系统&#xff0c;其中…

Arduino开发实例-AS608光学指纹传感器驱动

AS608光学指纹传感器驱动 文章目录 AS608光学指纹传感器驱动1、AS608光学指纹传感器介绍2、硬件准备及接线3、代码实现3.1 指纹录入3.2 指纹匹配验证1、AS608光学指纹传感器介绍 AS608 光学指纹传感器可用于扫描指纹,它也可以通过串行通信将处理后的数据发送到微控制器。 所有…

50天精通Golang(第16天)

beego框架介绍和流程分析 beego官方文档&#xff1a;https://beego.me/ 一、beego框架介绍 1.1 beego框架介绍–beego简介 1.1.1 什么是beego beego是一个使用Go语言来开发WEB引用的GoWeb框架&#xff0c;该框架起始于2012年&#xff0c;由一位中国的程序员编写并进行公开…

gem5学习(12):理解gem5 统计信息和输出——Understanding gem5 statistics and output

目录 一、config.ini 二、config.json 三、stats.txt 官方教程&#xff1a;gem5: Understanding gem5 statistics and output 在运行 gem5 之后&#xff0c;除了仿真脚本打印的仿真信息外&#xff0c;还会在根目录中名为 m5out 的目录中生成三个文件&#xff1a; config.i…

第六篇 提升网页性能:深入解析HTTP请求优化策略(一)

深入浅出HTTP请求前后端交互系列专题 第一章 引言-HTTP协议基础概念和前后端分离架构请求交互概述 第二章 HTTP请求方法、状态码详解与缓存机制解析 第三章 前端发起HTTP请求 第四章 前后端数据交换格式详解 第五章 跨域资源共享&#xff08;CORS&#xff09;&#xff1a;现代W…

水仙花数(Java解法)

什么是水仙花数&#xff1f; 水仙花数是指一个 3 位数&#xff0c;它每位上的数字的 3 次幂之和等于它本身&#xff08;例如&#xff1a; 1 5 3 153 &#xff09;&#xff0c;水仙花数的取值范围在 100~1000 之间。 解题思路&#xff1a; 这个题需要把所以的数字都拿到&…

Egg框架搭建后台服务【2】

前言 接上文 Egg框架搭建后台服务【1】&#xff0c;继续优化后台服务&#xff0c;之前直接用 SQL 语句调用的数据库数据&#xff0c;既不安全&#xff0c;也比较麻烦&#xff0c;当然最重要的是“显着不专业”。 所以本文仍然是增删改查&#xff0c;重点是将原本 SQL 语句操作…

【QT】QMessageBox 弹出消息框,对话确认框(确定/取消)

1.无互动 QMessageBox::information(nullptr,"信息","登陆成功");2.互动&#xff1a;确定、取消 QMessageBox::StandardButton box; box QMessageBox::question(this, "提示", "确定要添加吗?", QMessageBox::Yes|QMessageBox::…

8个Linux软件包管理命令

软件包管理器允许在 Linux 发行版上轻松安装、更新和删除软件。常用的软件包管理器包括 APT、YUM、DNF、Pacman 和 Zypper。 1. apt – Debian/Ubuntu 软件包管理器 apt 命令使用 APT 软件库管理 Debian/Ubuntu 系统上的软件包。它允许安装、更新和删除软件包。 例子&#x…

Linux 使用小记

安装IDEA mkdir -p /home/app/idea tar -zxvf ideaIU-2022.3.3.tar.gz -C /home/app/idea cd /usr/local/IDEA/idea-IU-223.8836.41/bin sh ./idea.sh 配置 IDEA 快捷方式 sudo gedit /usr/share/applications/idea.desktop 写入下面的内容 [Desktop Entry] NameIntelliJ …

大模型学习读书笔记01——大模型基础

大模型学习读书笔记01——大模型基础 1、什么是语言模型 语言模型 评判由一些单词排列组合而成的句子是否更像真正的、自然的句子。&#xff08;通俗的说是否像人话&#xff09; 语言模型的经典定义是一种对词符&#xff08;token&#xff09;序列的概率分布。每个token在真…

Docker 镜像的详解及创建(Dockerfile详解)

目录 镜像加载的原理 联合文件系统&#xff08;UnionFS&#xff09; 镜像结构的分层 Dockerfile Dockerfile结构 dockerfile常用命令 Dockerfile 编写规范 docker创建镜像的方法 基于现有镜像创建 示例&#xff1a; 基于本地模版创建 示例 基于Dockerfile 创建 示…

关于基于STM32使用外部中断控制按键

关于基于STM32使用外部中断控制按键的相关论文&#xff0c;虽然我不能直接提供具体的论文全文&#xff0c;但可以为您描述一下这类论文可能涉及的内容和框架&#xff1a; 标题&#xff1a;《基于STM32微控制器的外部中断系统在按键控制应用中的设计与实现》 摘要&#xff1a;…