python爬虫(10)之get()函数

慈云数据 2024-03-15 技术支持 83 0

1、headers

用于设置请求包中的请求头信息(在很多网站会在那个请求包头加一层验证来防止他人爬取数据

python爬虫(10)之get()函数
(图片来源网络,侵删)

当然前面已经讲过它是在哪里找

2、params

是用于模拟在发送动态请求时携带动态参数这种常用于那种在搜索框来进行爬取的行为

python爬虫(10)之get()函数
(图片来源网络,侵删)

3、timeout

设置超时的时间,然后requests模块会默认发起请求(主要是为了防止那些网络问题引起的爬虫失败

4、proxies

设置代理服务器(在某些网站还会限制同一IP地址大量访问,所以会有代理服务器这一方法出现)。

微信扫一扫加客服

微信扫一扫加客服

点击启动AI问答
Draggable Icon