Python 爬虫知识点 - 淘宝商品检索结果抓包分析(续一)

通过前一节得出地址可能的构建规律,如下:

https://s.taobao.com/search?data-key=s&data-value=44&ajax=true&_ksTS=1481814489094_902&callback=jsonp903&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=3&ntoffset=0&p4ppushleft=1%2C48

https://s.taobao.com/search?data-key=s&data-value=88&ajax=true&_ksTS=1481814530312_1045&callback=jsonp1046&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=0&ntoffset=6&p4ppushleft=1%2C48&s=44

https://s.taobao.com/search?data-key=s&data-value=132&ajax=true&_ksTS=1481816198100_1326&callback=jsonp1327&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-3&ntoffset=3&p4ppushleft=1%2C48&s=88

https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481816618010_1533&callback=jsonp1534&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=0&p4ppushleft=1%2C48&s=132


https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481817378403_2108&callback=jsonp2109&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=132

https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481817378403_2108&callback=jsonp2109&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=132

https://s.taobao.com/search?data-key=s&data-value=176&ajax=true&_ksTS=1481817378403_2108&callback=jsonp2109&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=132


https://s.taobao.com/search?data-key=s&data-value=220&ajax=true&_ksTS=1481816618010_1533&callback=jsonp1534&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-6&ntoffset=-6&p4ppushleft=1%2C48&s=176


https://s.taobao.com/search?data-key=s&data-value=264&ajax=true&_ksTS=1481818506324_2454&callback=jsonp2455&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-9&ntoffset=-3&p4ppushleft=1%2C48&s=220

https://s.taobao.com/search?data-key=s&data-value=264&ajax=true&_ksTS=1481818506324_2454&callback=jsonp2455&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-9&ntoffset=-3&p4ppushleft=1%2C48&s=220

 

但是从浏览器者开发工具中,拷贝出来的URL,放在浏览器中,刷新后,同样的URL,而结果确实变化的,为什么???同时打开两次,返回的数据是变化的?初步判断可能是后台搜索服务器中对于bcoffset=-9&ntoffset=-3&p4ppushleft=1等参数做了偏移处理,这是不是由于后台搜索机制引起的了???

URL是:https://s.taobao.com/search?data-key=s&data-value=264&ajax=true&_ksTS=1481818506324_2454&callback=jsonp2455&q=Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20161215&ie=utf8&bcoffset=-9&ntoffset=-3&p4ppushleft=1%2C48&s=220

 

 

 

 

 更为紧张的事情,本来关键词是Python机器学习,结果搜索的结果是:全套2本2016秋期末冲刺100分二年级上完全试卷 二年级上 数学语文2年级全2本2年级上册人教版RJ小学生同步练习卷期中期末测试卷搭,正版【全2册】C程序设计语言//计算机科学丛书(第2版新版) 第二版 教材+习题详解 媲美谭浩强 the c programming language 克尼汉等。为什么会是这样的结果了?

 

 

 

可能解释的结果是:淘宝禁止爬取通过搜索框输入返回的结果列表???对参数做了特殊处理???有谁知道这样的规律了?仅仅是为了学习抓包分析和爬虫技术,不做他用。

 

转载于:https://www.cnblogs.com/defineconst/p/6185396.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/270315.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

系统技巧:电脑系统盘实用清理方案介绍

目录 一、清理windows更新 二、清理电脑下载文件 三、清理回收站 眼看系统盘都又快满了,总要清理掉一些文件,才能释放空间。 大家都知道,系统盘里面装了很多系统重要文件,如果在清理系统盘垃圾的时候,不小心误删了系统…

计算机如何驱动无线网络,电脑如何安装全民WiFi驱动

现在,不少用户都已经开始使用全民WiFi软件了,它的功能十分强大,可以带来不错的上网体验。不过,一些用户反馈不知道在电脑中该怎么安装全民WiFi的驱动,要如何解决呢?接下来,系统城小编为大家整理…

史上最全最强SpringMVC详细示例实战教程

一、SpringMVC基础入门&#xff0c;创建一个HelloWorld程序 1.首先&#xff0c;导入SpringMVC需要的jar包。 2.添加Web.xml配置文件中关于SpringMVC的配置 123456789101112131415<!--configure the setting of springmvcDispatcherServlet and configure the mapping-->&…

JAVA内存模型与JVM内存模型的区别

JAVA内存模型&#xff1a; Java内存模型规定所有的变量都是存在主存中&#xff0c;每个线程都有自己的工作内存。线程堆变量的操作都必须在工作内存进行&#xff0c;不能直接堆主存进行操作&#xff0c;并且每个线程不能访问其他线程的工作内存。 Java内存模型的Volatile关键…

nmap结果导出html,nmap的简单使用 - osc_ijgldkz9的个人空间 - OSCHINA - 中文开源技术交流社区...

主机探测1.扫描单个主机nmap 192.168.1.22.扫描整个子网nmap 192.168.1.1/243.扫描多个目标nmap 192.168.1.1 192.168.1.1.54.扫描一个范围内的目标nmap 192.168.1.1-1005.如果有一个全是ip地址的txt文件&#xff0c;这个文件在你的nmap目录下&#xff0c;则可以这样子操作nmap…

网络安全:堡垒机相关知识介绍

1、堡垒机是什么&#xff1f; 堡垒机&#xff0c;就是在一个特定的网络环境下&#xff0c;为了保障网络和数据不受来自外部和内部用户的入侵和破坏&#xff0c;采用各种技术手段监控和记录运维人员对网络内的服务器、网络设备、安全设备、数据库等设备的操作行为&#xff0c;以…

Beta Daily Scrum 第七天

[目录] 1.任务进度2.困难及解决3.燃尽图4.代码check-in5.总结1. 任务进度 学号今日完成明日完成612app已完成将APP交给客户使用615app已完成将APP交给客户使用617app已完成将APP交给客户使用339app已完成将APP交给客户使用338app已完成将APP交给客户使用614app已完成将APP交给客…

电脑技巧:Win 11可直接安装Android 应用了,赶紧来试一下吧

大家安装了Windows 11&#xff0c;你尝试过在系统上安装Android 应用吗&#xff1f; 前段时间&#xff0c;Windows 11安卓子系统运行 Android应用程序的第一个预览版现已提供给美国 Beta频道的 Windows 内部人员&#xff0c;但不是内部人员的我们&#xff0c;该怎么操作才能安装…

硬件:如何选择固态硬盘

目录 1、接口类型 2、看品牌和颗粒 3、4K随机读写速度 如果你追求高效性能&#xff0c;那高性能CPU、大容量内存&#xff0c;以及超强显卡是必不可少的。但要发挥这些部件的性能&#xff0c;必须还要有更快的硬盘与之匹配。毕竟&#xff0c;尽管处理器每秒可以处理数十亿个周期…

计算机内存

一、计算机内存 1.1、计算机硬件内存架构。   计算机CPU&#xff08;central processing unit&#xff09;和内存的交互是最频繁的&#xff0c;内存是我们的高速缓存区。用户磁盘和CPU的交互&#xff0c;而CPU运转速度越来越快&#xff0c;磁盘远远跟不上CPU的读写速度&…

电脑软件:推荐七款实用的效率神器

目录 1、Snipaste 截图神器 2、DisplayFusion 屏幕管理神器 3、Wox 快速启动辅助神器 4、Total Commander 文件管理神器 5、Seer 文件预览神器 6、VLC Media Player 视频播放神器 7、Calibre&#xfeff; 电子书管理神器 今天小编给大家分享八款超级实用的效率神器&#xff0c;…

计算机应用基础word说课,全国“XX杯”说课大赛计算机应用基础类优秀作品:Word图文混排教案.doc...

全国“XX杯”说课大赛计算机应用基础类优秀作品&#xff1a;Word图文混排教案.doc文档编号&#xff1a;1054624文档页数&#xff1a;5上传时间&#xff1a; 2020-05-30文档级别&#xff1a;精品资源文档类型&#xff1a;doc文档大小&#xff1a;78.50KBWordWord 图文混排教案图…

电脑技巧:键盘上ESC按键的使用小技巧

目录 1、退出全屏 2、停止页面加载 3、快速清空表单 4、输入法清除输入内容 5.打开任务管理器 6、快速切换应用程序 今天小编给大家分享电脑键盘上ESC按键的使用小技巧&#xff0c;希望能帮到大家&#xff01; 1、退出全屏 ESC和它本身的英语含义类似&#xff0c;针对一些电脑应…

电脑知识:新电脑数据迁移解决方案,看完你就会了

目录 一、将旧电脑硬盘拆下安装到新电脑上 二、数据上传网盘 三、使用U盘或移动硬盘来传送 四、通过网络共享文件传送 五、使用PE工具盘引导电脑进入PE系统 今天小编给大家分享几种比较实用的电脑数据迁移的方案&#xff0c;希望对大家能有所帮助&#xff01; 一、将旧电脑硬盘…

分布式系统的一些基本概念

1、分布式 小明的公司又3个系统&#xff1a;系统A&#xff0c;系统B和系统C&#xff0c;这三个系统所做的业务不同&#xff0c;被部署在3个独立的机器上运行&#xff0c;他们之间互相调用&#xff08;当然是跨域网络的&#xff09;&#xff0c;通力合作完成公司的业务流程。 将…

良性计算机病毒对计算有没有危害机系统,154、计算机病毒有良性和恶性之分,其中, – 手机爱问...

2016-10-09胃溃疡有良性和恶性之分吗胃溃疡最大的危害来自并发症1、出血&#xff1a;出血是溃疡发生到一定的程度的侵蚀到溃疡周围的血管使血管破裂所致其出血量的多少及对病人生命的危害程度撒于受到损伤的血管的大小当溃疡损伤的为毛细血管时一般对病人危害较小也不容易被发现…

办公技巧:分享12个实用的word小技巧,欢迎收藏

目录 1、 Word表格自动填充序号 2、 Word中快速输星期 3、 快速粘贴网页内容 4、 快速转换大写金额 5、 去掉自动编号功能 6、画出不打折的直线 7、加减乘除快速输入 8、部分加粗表格线 9、打造整齐的Word公式 10、文字旋转 11、去除默认的输入法 12、翻译文字 今天给大家分享1…

计算机组成SRAM,静态读写存储器(SRAM)-计算机组成原理与汇编语言-电子发烧友网站...

4.2.1 静态读写存贮器( SRAM )1.概述静态读写存贮器(SRAM)使用十分方便&#xff0c;在微型计算机领域获得了极其广泛的应用。现以一块典型的SRAM芯片为例说明其外部特性及工作过程。(1) 8K8bit的CMOSRAM芯片 ① 引线功能。6264(6164)有28条引出线&#xff0c;它们包括&#xff…