User-Agent（用户代理）是什么

User-Agent 即用户代理，简称“UA”，它是一个特殊字符串头。网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息。而网站服务器则通过判断 UA 来给客户端发送不同的页面。

UA在线识别工具

爬虫程序UA信息

http://httpbin.org 这个网站能测试 HTTP 请求和响应的各种信息，比如 cookie、IP、headers 和登录验证等，且支持 GET、POST 等多种方法，对 Web 开发和测试很有帮助。

import urllib.request

response=urllib.request.urlopen('http://httpbin.org/get')
html = response.read().decode()
print(html)

运行程序可以发现使用python程序发送请求时，User-Agent信息为：

User-Agent: python-urllib/3.12

重构UA信息

import urllib.request

url = 'http://httpbin.org/get'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:65.0) Gecko/20100101 Firefox/65.0'}
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
html = response.read().decode()
print(html)

运行程序可以发现使用python程序发送请求时，User-Agent信息为：

User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:65.0) Gecko/20100101 Firefox/65.0