用C语言采集亚马逊amazon产品数据

上一篇文章我是用C++写的一个爬取亚马逊的爬虫程序,相信大家已经看过了,这次呢,我依然使用C语言来写一个爬虫,大体上思路是和之前一样,只是支持的库以及语法有些区别,具体的呢我会一一解释出来,方便大家查阅。

在这里插入图片描述

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <curl/curl.h>int main() {CURL *curl;CURLcode res;char *url = "https://www.amazon.com";// 提取爬虫ip jshk.com.cn/mb/reg.asp?kefu=xjy&csdnchar *proxy_host = "duoip";int proxy_port = 8000;char *ch = NULL;curl_global_init(CURL_GLOBAL_DEFAULT);curl = curl_easy_init();if(curl) {curl_easy_setopt(curl, CURLOPT_URL, url);curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, NULL);curl_easy_setopt(curl, CURLOPT_WRITEDATA, &ch);curl_easy_setopt(curl, CURLOPT_PROXY, proxy_host);curl_easy_setopt(curl, CURLOPT_PROXYPORT, proxy_port);res = curl_easy_perform(curl);if(res != CURLE_OK)fprintf(stderr, "curl_easy_perform() failed: %s\n",curl_easy_strerror(res));curl_easy_cleanup(curl);}curl_global_cleanup();if(ch) free(ch);return 0;
}

1、#include <stdio.h>:这个头文件包含了标准输入输出文件流的定义和函数声明。

2、#include <stdlib.h>:这个头文件包含了各种系统函数的定义和声明,如malloc、free等。

3、#include <string.h>:这个头文件包含了各种字符串函数的定义和声明,如strcpy、strlen等。

4、#include <curl/curl.h>:这个头文件包含了libcurl库函数的定义和声明。

5、int main() { ..、}:这是一个标准的C程序的主函数入口。

6、CURL *curl;:这是一个全局变量,用于存放libcurl库的句柄。

7、CURLcode res;:这是一个全局变量,用于存放libcurl库的错误代码。

8、char *url = "https://www.amazon.com";:这是一个字符串指针,用于存放要访问的URL。

9、char *proxy_host = "duoip";:这是一个字符串指针,用于存放代理服务器的主机名。

10、int proxy_port = 8000;:这是一个整数变量,用于存放代理服务器的端口号。

11、char *ch = NULL;:这是一个字符串指针,用于存放libcurl库的返回数据。

12、curl_global_init(CURL_GLOBAL_DEFAULT);:这是一个libcurl库的函数,用于初始化libcurl库。

13、curl = curl_easy_init();:这是一个libcurl库的函数,用于创建一个libcurl库的句柄。

14、if(curl) { ..、}:这是一个if语句,用于判断libcurl库的句柄是否成功创建。

15、curl_easy_setopt(curl, CURLOPT_URL, url);:这是一个libcurl库的函数,用于设置要访问的URL。

16、curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, NULL);:这是一个libcurl库的函数,用于设置数据写入函数。

17、curl_easy_setopt(curl, CURLOPT_WRITEDATA, &ch);:这是一个libcurl库的函数,用于设置数据写入的数据指针。

18、curl_easy_setopt(curl, CURLOPT_PROXY, proxy_host);:这是一个libcurl库的函数,用于设置代理服务器的主机名。

19、curl_easy_setopt(curl, CURLOPT_PROXYPORT, proxy_port);:这是一个libcurl库的函数,用于设置代理服务器的端口号。

20、res = curl_easy_perform(curl);:这是一个libcurl库的函数,用于发送请求并获取响应。

21、if(res != CURLE_OK) { ..、}:这是一个if语句,用于判断libcurl库的错误代码是否为CURLE_OK,即请求是否成功。

22、fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));:这是一个标准库函数,用于输出错误信息。

23、curl_easy_cleanup(curl);:这是一个libcurl库的函数,用于清除libcurl库的句柄。

24、curl_global_cleanup();:这是一个libcurl库的函数,用于清除libcurl库的全局数据。

25、if(ch) free(ch);:这是一个if语句,用于判断ch是否为空指针,如果是则调用free函数释放ch所指向的内存。

26、return 0;:这是一个标准的C程序的返回值,表示程序成功运行。

以上就是今天我编程的全部内容,其实总体思路还是和上一篇差不多。只是这次使用的库不同,但是都一样能达到自己想要的效果,两者选其一就行。如果有更多有趣好玩的爬虫代码,记得评论区留言给我。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/619799.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

android自定义来电秀UI

简单来电秀功能&#xff0c;效果如图&#xff1a; 底部附上demo 一、新建一个PhoneCallService服务&#xff0c;在服务中监听来电等状态&#xff0c;且控制UI显示 public class PhoneCallService extends InCallService {private final Call.Callback callback new Call.Ca…

仿真机器人-深度学习CV和激光雷达感知(项目2)day01

文章目录 前言项目介绍功能与技术简介硬件要求环境配置虚拟机运行项目demo 前言 &#x1f4ab;你好&#xff0c;我是辰chen&#xff0c;本文旨在准备考研复试或就业 &#x1f4ab;本文内容是我为复试准备的第二个项目 &#x1f4ab;欢迎大家的关注&#xff0c;我的博客主要关注…

如何给AI下达精准的指令,哪些提示词对于AI是有效的?

刚上手那会&#xff0c;我倾向于将 prompt 翻译为“指令”&#xff0c;但这并不精确。“指令”通常对应instructions&#xff0c;属于 prompt 中的纯指令部分&#xff0c;通常是一个动宾结构&#xff08;做什么&#xff09;。剩下的部分更多是描述&#xff08;describe&#xf…

stable-diffusion 学习笔记

从效果看Stable Diffusion中的采样方法 参考&#xff1a;Ai 绘图日常 篇二&#xff1a;从效果看Stable Diffusion中的采样方法_软件应用_什么值得买 大概示例&#xff1a;

Linux:信号

目录 1.信号 2.信号的过程 a.信号的产生 1:键盘产生, 异常产生 2:系统调用产生信号 3.软件条件产生信号 4.硬件异常产生信号 b.信号的发送 c.信号的处理 d.总结与思考 3.信号保存 1.信号及其它相关常见概念 2.在内核中的表示 3.sigset_t 4. 信号集操作函数 4.信…

Arduino开发实例-AS608光学指纹传感器驱动

AS608光学指纹传感器驱动 文章目录 AS608光学指纹传感器驱动1、AS608光学指纹传感器介绍2、硬件准备及接线3、代码实现3.1 指纹录入3.2 指纹匹配验证1、AS608光学指纹传感器介绍 AS608 光学指纹传感器可用于扫描指纹,它也可以通过串行通信将处理后的数据发送到微控制器。 所有…

gem5学习(12):理解gem5 统计信息和输出——Understanding gem5 statistics and output

目录 一、config.ini 二、config.json 三、stats.txt 官方教程&#xff1a;gem5: Understanding gem5 statistics and output 在运行 gem5 之后&#xff0c;除了仿真脚本打印的仿真信息外&#xff0c;还会在根目录中名为 m5out 的目录中生成三个文件&#xff1a; config.i…

【QT】QMessageBox 弹出消息框,对话确认框(确定/取消)

1.无互动 QMessageBox::information(nullptr,"信息","登陆成功");2.互动&#xff1a;确定、取消 QMessageBox::StandardButton box; box QMessageBox::question(this, "提示", "确定要添加吗?", QMessageBox::Yes|QMessageBox::…

RAG代码实操之斗气强者萧炎

&#x1f4d1;前言 本文主要是【RAG】——RAG代码实操的文章&#xff0c;如果有什么需要改进的地方还请大佬指出⛺️ &#x1f3ac;作者简介&#xff1a;大家好&#xff0c;我是听风与他&#x1f947; ☁️博客首页&#xff1a;CSDN主页听风与他 &#x1f304;每日一句&#x…

Netty 介绍、使用场景及案例

Netty 介绍、使用场景及案例 1、Netty 介绍 https://github.com/netty/netty Netty是一个高性能、异步事件驱动的网络应用程序框架&#xff0c;用于快速开发可扩展的网络服务器和客户端。它是一个开源项目&#xff0c;最初由JBoss公司开发&#xff0c;现在由社区维护。Netty的…

企业网络出口部署案例

知识改变命运&#xff0c;技术就是要分享&#xff0c;有问题随时联系&#xff0c;免费答疑&#xff0c;欢迎联系&#xff01; 厦门微思网络​​​​​​ https://www.xmws.cn 华为认证\华为HCIA-Datacom\华为HCIP-Datacom\华为HCIE-Datacom Linux\RHCE\RHCE 9.0\RHCA\ Oracle O…

myql进阶-一条查询sql在mysql的执行过程

目录 1. 流程图 2. 各个过程 2.1 连接器 2.2 分析器 2.3 优化器 2.4 执行器 2.5 注意点 1. 流程图 2. 各个过程 假设我们执行一条sql语句如下&#xff1a; select * from t_good where good_id 1 2.1 连接器 首先我们会和mysql建立连接&#xff0c;此时就会执行到连接…

C++20结构化绑定应用实例(二百五十六)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 人生格言&#xff1a; 人生…

猫头虎分享:探索TypeScript的世界 — TS基础入门 ‍

博主猫头虎的技术世界 &#x1f31f; 欢迎来到猫头虎的博客 — 探索技术的无限可能&#xff01; 专栏链接&#xff1a; &#x1f517; 精选专栏&#xff1a; 《面试题大全》 — 面试准备的宝典&#xff01;《IDEA开发秘籍》 — 提升你的IDEA技能&#xff01;《100天精通Golang》…

Web前端 ---- 【Vue3】vue3中的组件传值(props、自定义事件、全局事件总线)

目录 前言 props 自定义事件 全局事件总线 安装第三方库mitt 封装event-bus.js文件 使用全局事件总线 清除全局事件绑定 前言 本文介绍在vue3中的组件传值&#xff0c;props、自定义事件以及全局事件总线。相较于vue2中&#xff0c;略有变化。关于vue2中的组件传值看这篇…

鸿蒙(HarmonyOS)应用开发指南

1. 概述 1.1 简介 鸿蒙&#xff08;即 HarmonyOS &#xff0c;开发代号 Ark&#xff0c;正式名称为华为终端鸿蒙智能设备操作系统软件&#xff09;是华为公司自 2012 年以来开发的一款可支持鸿蒙原生应用和兼容 AOSP 应用的分布式操作系统。该系统利用“分布式”技术将手机、电…

windows11通过虚拟机安装Ubuntu20.04

VMware 分为 VMware Workstation Pro 和 VMware Workstation Player, Pro体验期后收费&#xff0c;Player则免费。player 早期不能创建虚拟机&#xff0c;只能Pro创建好后给Player运行&#xff0c;而现在player早已加入创建虚拟机功能&#xff0c;所以使用体验上两者相差不大&a…

物联网协议Coap之Core和NetWork简介

目录 前言 一、Coap的Core包 1、Coap对象 2、Message对象 3、Request对象 4、Response对象 二、Coap的NetWork调试 1、UDP运行模式 2、Network消息接收 3、Sender线程发送数据 三、总结 前言 在之前的博文中&#xff0c;对Californium中Coap的实现进行了简要的介绍&a…

swing快速入门(四十)JList、JComboBox实现列表框

注释很详细&#xff0c;直接上代码 上一篇 新增内容 &#x1f9e7;1.列表的属性设置与选项监听器 &#x1f9e7;2.下拉框的属性设置与选项监听器 &#x1f9e7;3.Box中组件填充情况不符合预期的处理方法 &#x1f9e7;4.LIst向Vector的转化方法 源码&#xff1a; package swing…

OpenCV 基于C++图像读取及存储API函数

OpenCV可以从存储介质中读入图像&#xff0c;也可以将摄像头(Camera)抓取的图像载入内存&#xff0c;然后进行处理。而存储图像就是将内存中的图像数据写入存储介质中&#xff0c;如写入硬盘、优盘等。 OpenCV要读入图像、操作图像。首先要用到Mat类&#xff0c;并且需创建Mat对…