博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python 爬虫
阅读量:4221 次
发布时间:2019-05-26

本文共 964 字,大约阅读时间需要 3 分钟。

超级简单,首先先学会python的文件操作,因为要写入到文件中去。python把一切都封装好了,而且非常简洁,也简单。

基础

1、导入requests模块

import requests

2、设置url

url = 'http://www.baidu.com'

3、发送请求

result = requests.get(url)

4、获取内容

# 获取二进制内容content = result.content

5、获取解码的内容

content = result.content.decode()

6、查看请求头

header = result.request.headersprint(header)

User-Agent

User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

每个浏览器都会有一个User-Agent,来标识自己的什么浏览器,以及版本等一些信息。服务器在接收请求的时候,会判断这个User-Agent,如果不正常,只返回部分数据。

查看浏览器的UA

随便打开一个浏览器,我这里是Chrome。


小例子,下载百度首页

"""谷歌代理:    Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 S"""import requestsurl = 'http://www.baidu.com'header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 S'}response = requests.get(url, headers=header)ret = response.content.decode()with open('1.html', mode='w', encoding='utf-8') as req: req.write(ret)

然后打开1.html

在这里插入图片描述

转载地址:http://hnqmi.baihongyu.com/

你可能感兴趣的文章
自动驾驶汽车GPS系统数字孪生建模(一)
查看>>
自动驾驶汽车GPS系统数字孪生建模(二)
查看>>
上海控安入选首批工控安全防护能力贯标咨询机构名单
查看>>
自动驾驶汽车传感器数字孪生建模(一)
查看>>
CUDA 学习(四)、线程
查看>>
CUDA 学习(五)、线程块
查看>>
CUDA 学习(八)、线程块调度
查看>>
CUDA 学习(九)、CUDA 内存
查看>>
CUDA 学习(十一)、共享内存
查看>>
游戏感:虚拟感觉的游戏设计师指南——第十四章 生化尖兵
查看>>
游戏感:虚拟感觉的游戏设计师指南——第十五章 超级马里奥64
查看>>
游戏感:虚拟感觉的游戏设计师指南——第十七章 游戏感的原理
查看>>
游戏感:虚拟感觉的游戏设计师指南——第十八章 我想做的游戏
查看>>
游戏设计的艺术:一本透镜的书——第十章 某些元素是游戏机制
查看>>
游戏设计的艺术:一本透镜的书——第十一章 游戏机制必须平衡
查看>>
游戏设计的艺术:一本透镜的书——第十二章 游戏机制支撑谜题
查看>>
游戏设计的艺术:一本透镜的书——第十三章 玩家通过界面玩游戏
查看>>
编写苹果游戏中心应用程序(翻译 1.3 为iOS应用程序设置游戏中心)
查看>>
编写苹果游戏中心应用程序(翻译 1.4 添加游戏工具包框架)
查看>>
编写苹果游戏中心应用程序(翻译 1.5 在游戏中心验证本地玩家)
查看>>