Python爬虫urllib库状态码异常处理与浏览器伪装设置教程

数码系统

相机 win10

测评 win11

手机智车

华为 Tesla

小米理想

苹果蔚来

游戏软件

LOL 抖音

原神微信

当前位置：首页

AI教程

Python爬虫urllib库状态码异常处理与浏览器伪装设置教程

作者:冻月看渠时间：2026-08-17

转载

基于urllib库构建爬虫，通过try except捕获URLError异常并输出错误代码或原因，识别常见HTTP状态码。利用build_opener添加User-Agent伪装浏览器，通过install_opener全局生效。创建用户袋里池随机选择User-Agent，降低反爬风险，确保程序稳定运行不崩溃。

构建一个具备异常处理和浏览器伪装的 Python 爬虫

本教程将引导你完成一个稳定、抗封的 Python 爬虫。它能够捕获网络请求中的常见错误，并通过伪装浏览器请求头（User-Agent）绕过反爬机制，最终实现自动抓取目标页面内容。

项目目标

编写一个基于 urllib 库的爬虫，具备以下能力：

捕获 URLError 异常，打印错误代码或错误原因，程序不崩溃。
识别常见 HTTP 状态码（301、302、304、400、401、403、404、500、501）。
设置模拟浏览器 User-Agent，避免被服务器拒绝。
通过 install_opener 将伪装设置为全局，使 urlopen() 自动携带伪装头。
实现一个用户袋里池，每次请求随机选择一个 User-Agent，进一步降低被封概率。

最终效果

运行爬虫后，能够正常获取 https://www.qiushibaike.com/ 的首页 HTML（或类似反爬网站），而不会遇到 403 禁止访问错误。如果遇到网络问题或服务器拒绝，程序会输出错误代码或原因，不会崩溃。

技术方案

使用 Python 标准库 urllib.request 和 urllib.error。通过 try/except 捕获 URLError，利用 build_opener 和 addheaders 添加 User-Agent，最后使用 install_opener 全局生效。用户袋里池通过 random.choice 随机选取。

环境与依赖

Python 3.x（推荐 3.6+）
不需要安装第三方库，urllib 是标准库。

项目结构

本教程所有代码均保存在一个 Python 文件中，例如 spider.py。你可以按顺序复制各段代码，分别测试效果。

核心实现

1. 了解常见 HTTP 状态码

爬虫运行时遇到不同状态码，有助于快速定位问题：

301：永久重定向
302：临时重定向
304：资源未修改（可使用缓存）
400：非法请求
401：请求未经授权
403：禁止访问（常见反爬）
404：页面不存在
500：服务器内部错误
501：服务器不支持请求功能

2. 异常处理：捕获 URLError

使用 try/except 包裹 urlopen()，当出现异常时，通过 hasattr 检查是否存在 code 或 reason 属性并打印。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import urllib.request
import urllib.error

try:
    # 尝试执行里面的内容
    html = urllib.request.urlopen('http://www.xiaohuar.com/').read().decode("utf-8")
    print(html)
except urllib.error.URLError as e:
    # 如果出现错误
    if hasattr(e,"code"):  # 如果有错误代码
        print(e.code)      # 打印错误代码
    if hasattr(e,"reason"): # 如果有错误信息
        print(e.reason)    # 打印错误信息

运行后，通常返回 403 Forbidden，因为该网站屏蔽了非浏览器请求。

3. 浏览器伪装：设置单个 User-Agent

通过 build_opener 创建请求对象，然后添加 User-Agent 报头。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import urllib.request

url = 'https://www.qiushibaike.com/'
# 抓取页面URL
tou = ('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0')
# 设置模拟浏览器报头
b_tou = urllib.request.build_opener()  # 创建请求对象
b_tou.addheaders=[tou]                 # 添加报头
html = b_tou.open(url).read().decode("utf-8")  # 开始抓取页面
print(html)

注意：这里使用的是 build_opener().open()，而不是 urlopen()。

4. 全局设置：使用 install_opener 让 urlopen 自动携带伪装

通过 install_opener 将报头信息设置为全局，之后调用 urlopen() 也会自动添加报头。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import urllib.request

# 设置报头信息
tou = ('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0')
# 设置模拟浏览器报头
b_tou = urllib.request.build_opener()  # 创建请求对象
b_tou.addheaders=[tou]                 # 添加报头到请求对象

# 将报头信息设置为全局，urlopen()方法请求时也会自动添加报头
urllib.request.install_opener(b_tou)

# 请求
url = 'https://www.qiushibaike.com/'
html = urllib.request.urlopen(url).read().decode("utf-8")
print(html)

此后，所有 urlopen() 调用都会自动携带该 User-Agent。

5. 创建用户袋里池，随机选择 User-Agent

定义一个函数 yh_dl()，内置多个 User-Agent 字符串，使用 random.choice 随机选取一个，然后拼接成报头并全局安装。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import urllib.request
import random  # 引入随机模块文件

def yh_dl():
    # 创建用户袋里池
    yhdl = [
        'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
        'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0',
        'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
        'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
        'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
        'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
        'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)',
        'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTra veler 4.0)',
        'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
        'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)',
        'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)',
        'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; A vant Browser)',
        'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
        'Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5',
        'User-Agent:Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5',
        'Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5',
        'Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1',
        'Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10',
        'Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13',
        'Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1  (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1 ',
        'Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)',
        'UCWEB7.0.2.37/28/999',
        'NOKIA5700/ UCWEB7.0.2.37/28/999',
        'Openwa ve/ UCWEB7.0.2.37/28/999',
        'Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999'
    ]
    thisua = random.choice(yhdl)  # 随机获取袋里信息
    headers = ("User-Agent",thisua)  # 拼接报头信息
    opener = urllib.request.build_opener()  # 创建请求对象
    opener.addheaders=[headers]  # 添加报头到请求对象
    urllib.request.install_opener(opener)  # 将报头信息设置为全局

# 请求
yh_dl()  # 执行用户袋里池函数
url = 'https://www.qiushibaike.com/'
html = urllib.request.urlopen(url).read().decode("utf-8")
print(html)

每次运行都会随机选择一个 User-Agent，保证报头信息不一样。

配置说明

本教程无需额外配置文件。所有配置（User-Agent 列表、目标 URL）均写在代码中。你可以根据需要修改或扩展用户袋里池中的字符串，或者替换目标 URL。

运行方法

将上述代码（例如第5步的完整代码）保存为 spider.py。
在终端中执行：python spider.py。
观察输出。如果成功，会打印出目标页面的 HTML 源码。

结果验证

如果输出正常 HTML 且没有报错，说明爬虫已成功伪装并通过反爬检测。
如果出现 HTTP Error 403: Forbidden，说明 User-Agent 仍被识别或目标网站有更严格的反爬策略，可以尝试更换 User-Agent 或增加延迟。
如果出现网络连接错误，会打印 reason 信息，程序不会崩溃。