爬虫文件:
import scrapyclass TestpostSpider(scrapy.Spider):name = "testpost"allowed_domains = ["fanyi.baidu.com"]# post 请求如果没有参数,那么这个请求将没有任何意义,所以start_urls也没有用了,parse也没有用了# start_urls = ["http://fanyi.baidu.com/"] # get请求# def parse(self, response):# pass# post请求使用start_requestsdef start_requests(self):url = "http://fanyi.baidu.com/sug"data = {"kw": "final"}# post请求使用FormRequestyield scrapy.FormRequest(url=url, formdata=data, callback=self.parse_second)def parse_second(self, response):content = response.textprint(content)