Linuxcurl命令参数详解


Linuxcurl是通过url语法在命令行下上传或下载文件的工具软件,它支持http,https,ftp,ftps,telnet等多种协议,常被用来抓取网页和监控Web服务器状态。
1.linuxcurl抓取网页:
抓取百度:
curlhttp://www.baidu.com
如发现乱码,可以使用iconv转码:
curlhttp://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
2.Linuxcurl使用代理:
linuxcurl使用http代理抓取页面:
linuxcurl使用http代理抓取页面:
curl-x111.95.243.36:80http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312curl-x111.95.243.36:80-Uaiezu:passwordhttp://www.baidu.com使用socks代理抓取页面:
curl--socks4202.113.65.229:443http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
curl--socks5202.113.65.229:443http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
代理服务器地址可以从看爬虫代理上获取。
3.linuxcurl处理cookies
接收cookies:
curl-c/tmp/cookieshttp://www.baidu.com#cookies保存到/tmp/cookies文件
发送cookies:
curl-b"key1=val1;key2=val2;"http://www.baidu.com#发送cookies文本curl-b/tmp/cookieshttp://www.baidu.com#从文件中读取cookies
4.linuxcurl发送数据:
linuxcurlget方式提交数据:
curl-G-d"name=value&name2=value2"http://www.baidu.com
linuxcurlpost方式提交数据:
curl-d"name=value&name2=value2"http://www.baidu.com#post数据curl-da=b&c=d&txt@/tmp/txthttp://www.baidu.com#post文件以表单的方式上传文件:
curl-Ffile=@/tmp/me.txthttp://tech.cxzzl.com.cn
相当于设置form表单的method=”POST”和enctype=’multipart/form-data’两个属性。
5.linuxcurlhttpheader处理:
设置http请求头信息:
curl-A"Mozilla/5.0Firefox/21.0"http://www.baidu.com#设置http请求头User-Agent
curl-e"http://pachong.org/"http://www.baidu.com#设置http请求头Referer
curl-H"Connection:keep-alive\n
User-Agent:
Mozilla/5.0"
http://tech.cxzzl.com.cn设置http响应头处理:
curl-Ihttp://tech.cxzzl.com.cn#仅仅返回header
curl-D/tmp/headerhttp://tech.cxzzl.com.cn#将httpheader保存到/tmp/header文件
6.linuxcurl认证:
curl-uaiezu:passwordhttp://tech.cxzzl.com.cn#用户名密码认证curl-Emycert.pemhttps://www.baidu.com#采用证书认证
7、其它
curl-#http://www.baidu.com#以“#”号输出进度条
curl-o/tmp/aiezuhttp://www.baidu.com#保存http响应到/tmp/cxzzl

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/273405.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

android解析XML总结(SAX、Pull、Dom三种方式)

在android开发中&#xff0c;经常用到去解析xml文件&#xff0c;常见的解析xml的方式有一下三种&#xff1a;SAX、Pull、Dom解析方式。 今天解析的xml示例&#xff08;channels.xml&#xff09;如下&#xff1a; 1 <?xml version"1.0" encoding"utf-8"…

查看Eclipse中的jar包的源代码:jd-gui.exe

前面搞了很久的使用JAD&#xff0c;各种下载插件&#xff0c;最后配置好了&#xff0c;还是不能用&#xff0c;不知道怎么回事&#xff0c; 想起一起用过的jd-gui.exe这个工具&#xff0c;是各种强大啊&#xff01;&#xff01;&#xff01; 只需要把jar包直接扔进去就可以了&a…

maven scope含义的说明

compile &#xff08;编译范围&#xff09; compile是默认的范围&#xff1b;如果没有提供一个范围&#xff0c;那该依赖的范围就是编译范围。编译范围依赖在所有的classpath 中可用&#xff0c;同时它们也会被打包。 provided &#xff08;已提供范围&#xff09; provided 依…

此地址使用了一个通常用于网络浏览以外的端口。出于安全原因,Firefox 取消了该请求...

FirFox打开80以外的端口&#xff0c;会弹出以下提示&#xff1a; “此地址使用了一个通常用于网络浏览以外的端口。出于安全原因&#xff0c;Firefox 取消了该请求。”。 解决方法如下&#xff1a; 在Firefox地址栏输入about:config,然后在右键新建一个字符串键network.securit…

Java操作shell脚本

public class Exec {private static ILogger logger LoggerFactory.getLogger(Exec.class);public Exec() {super();}/*** 执行命令&#xff08;如Shell脚本&#xff09;<br>* * param cmd 操作命令* param timeout 超时时间* return 命令执行过程输出内容* * throws IO…

Mysql更新插入

在向表中插入数据的时候&#xff0c;经常遇到这样的情况&#xff1a;1. 首先判断数据是否存在&#xff1b; 2. 如果不存在&#xff0c;则插入&#xff1b;3.如果存在&#xff0c;则更新。 在 SQL Server 中可以这样处理&#xff1a; if not exists (select 1 from t where id …

信息加密之信息摘要加密MD2、MD4、MD5

对于用户数据的保密一直是各个互联网企业头疼的事&#xff0c;那如何防止用户的个人信息泄露呢&#xff1f;今天为大家介绍一种最简单的加密方式--信息摘要算法MD。它如何来保护用户的个人信息呢&#xff1f;其实很简单&#xff0c;当获得到用户的信息后&#xff0c;先对其进行…

Java 从网络上下载文件

/*** 下载文件到本地 */public static void downloadPicture(String imageUrl, String filename){ URL url;try {url new URL(imageUrl);//打开网络输入流DataInputStream dis new DataInputStream(url.openStream());//建立一个新的文件FileOutputStream fos new FileOutp…

An error was encountered while running(Domain=LaunchSerivcesError, Code=0)

今天突然遇到这样一个错误&#xff0c;编译可以通过&#xff0c;但是运行就会弹出这个错误提示&#xff1a; An error was encountered while running(DomainLaunchSerivcesError, Code0) 解决办法就是重置模拟器。 点击模拟器菜单中的Reset Contents and Settings&#xff0c;…

hdu 4091 线性规划

分析转自&#xff1a;http://blog.csdn.net/dongdongzhang_/article/details/7955136 题意 &#xff1a; 背包能装体积为N, 有两种宝石&#xff0c; 数量无限&#xff0c; 不能切割。 分别为 size1 value 1 size2 value2 问背包能装最大的价值&#xff1f; 思路 &#xff…

linux fmt命令

简单的格式化文本 fmt [option] [file-list] fmt通过将所有非空白行的长度设置为几乎相同&#xff0c;来进行简单的文本格式化 参数 fmt从file-list中读取文件&#xff0c;并将其内容的格式化版本发送到标准输出。如果不制定文件名或者用连字符&#xff08;-&#xff09;来替代…

基于 jQuery支持移动触摸设备的Lightbox插件

Swipebox是一款支持桌面、移动触摸手机和平板电脑的jquery Lightbox插件。该lightbox插件支持手机的触摸手势&#xff0c;支持桌面电脑的键盘导航&#xff0c;并且支持视频的播放。 在线预览 源码下载 简要教程 Swipebox是一款支持桌面、移动触摸手机和平板电脑的jQuery Ligh…

简化工作——我的bat文件

重启adb(radb.bat)&#xff1a; echo off call adb kill-server call adb start-server call adb remount push 一个apk(push.bat) echo off if "%1""launcher" ( call adb push 相关apk路径 system/app )else ( echo 请添加一个参数!当前有效…

js操作数据库

<script languagejavascript> function replace(v) { //容错问题&#xff0c;请读者自行进行判断。 //定义SQL语句 var sql select * from Dictionary where MainID v ; //新建数据库连接对象和数据集存取对象 var ConnDB new ActiveXObject(adodb.connection)…

Java中StringBuilder的清空方法比較

StringBuilder 没有提供clear或empty方法。清空有3种方法&#xff1a;1&#xff09;新生成一个&#xff0c;旧的由系统自己主动回收2&#xff09;使用delete3&#xff09;使用setLength 将三种方法循环1000万次&#xff0c;代码&#xff1a; 1.public class sbbm { 2. 3. st…

LinkCutTree 总结

最近学习了LinkCutTree&#xff0c;总结一下。 LinkCutTree是一种数据结构&#xff08;是Tree Decomposition中的一种&#xff09;&#xff0c;她维护的一般是无向图&#xff08;一个森林&#xff09;&#xff0c;支持连边、删边、链修改、链查询&#xff08;点属于特殊的链&am…

linux 数据转换

使用bc 可以进行不同进制之间的转换 digit100; printf "the number is : %d\n" $digit;binary$( echo "obase2;$digit" | bc );printf "result is : %s\n" $binary;digit1$( echo "obase10;ibase2;$binary" | bc );printf "bina…

PHP常用的正则表达式(有些需要调整)

平时做网站经常要用正则表达式&#xff0c;下面是一些讲解和例子&#xff0c;仅供大家参考和修改使用&#xff1a; "^\d$"  //非负整数&#xff08;正整数 0&#xff09; 顺平注: 验证输入id数值&#xff0c;不能为0 $reg1/^[1-9]\d*$/; "^[0-9]*[1-9][0-9]…

浮点数据的运算

使用bc设置scale可以进行相应的浮点运算#!/bin/bash# FileName TestBc.shdigit100;sqrt$(echo "scale3;sqrt($digit) " | bc);echo $sqrt;var$(echo "scale3;10/3" | bc);echo $var;var1$( echo "scale2;0.5*3" | bc);echo $var1;

IE(IE6/IE7/IE8)支持HTML5标签--20150216

让IE&#xff08;ie6/ie7/ie8&#xff09;支持HTML5元素&#xff0c;我们需要在HTML头部添加以下JavaScript&#xff0c;这是一个简单的document.createElement声明&#xff0c;利用条件注释针对IE来调用这个js文件。Opera&#xff0c;FireFox等其他非IE浏览器就会忽视这段代码…