按照网上的模板自己写了类似的代码爬取微博,可是response回来的html是登录界面的html,应该是没有成功登陆微博,但是和网上的代码是基本一样的
from bs4 import BeautifulSoup
import pandas as pd
import requests
url = "https://weibo.cn/2610622321/info"
cook = {"Cookies":"SUB=_2A25xtQZjDeRhGeVM6VQV8CvIyjuIHXVTWaorrDV6PUJbkdAKLW-ikW1NTRxe3ZqwS1KogOneF6bXUXz7lkhb7SGJ; SUHB=0QSpzHMgP-YPEV; SCF=AisDqT2yt7Pkh8gy_7C80NumATyJngEuCniBti09uOwx-8_0IHEkgoGo9HSTyrsBm2J-UMjtDw_DbAEbO-jH2xA.; _T_WM=2901aedc3b6c36f819fe83923328067d"}
html = requests.get(url,cookies = cook).content
soup = BeautifulSoup(html,'lxml')
print(soup)
可结果获取的html是这样的
登录 - 新浪微博帐号或密码错误,你也可以选择短信验证码方式登录微博。
取消
验证码登录
关闭
使用的身份登录网页版微博
检测到您已在微博客户端登录
是否获取该登录状态?
确认
使用其他帐号登录
var fEntry = '';
var fWentry = '';
var fBackUrl = '';
fEntry = 'mweibo';
fBackUrl = 'https%3A%2F%2Fweibo.cn';
var fClientid = '';
var fCode = '';
var fQq = '';
//记住用户名的时候需要把mode设置为1
//这里是需要微盾
请过来人解答。是需要模拟登陆吗?可是我看网上的教程都不需要模拟登陆啊