python爬虫 抓取网页并解析HTML页面相当简单!入门开始
zhezhongyun 2025-01-21 23:08 22 浏览
有任何问题可联系我，我们一起学习！：）
第一步：下载HTML页面
基本下载网页的能力包括针对 URL 进行 HTTP GET 请求。这是任何 web 浏览器的基本操作。让我们快速回顾一下此操作的不同部分，因为它有三个不同的元素：
使用 HTTP 协议。这涉及请求的结构方式。
使用 GET 方法，这是最常见的 HTTP 方法。我们将在访问 web API 的示例中进一步了解它。
完整的 URL 描述了页面的地址，包括服务器（例如：mypage.com）和路径（例如：/page）。
该请求将通过互联网路由到服务器，并由服务器进行处理，然后将返回响应。该响应将包含状态代码，通常是 200，如果一切正常，以及结果的正文，这通常是带有 HTML 页面的文本。
大部分请求自动处理了 HTTP 客户端。在这个示例中，我们将看到如何简单请求以获取 web 页面。
HTTP 请求和响应也可以包含头部信息。头部信息包含了关于请求本身的重要信息，例如请求的总大小，内容的格式，请求的日期以及使用的浏览器或服务器等。
准备工作
使用出色的 requests 模块，获取网页非常简单。安装模块：
$ echo "requests==2.23.0" >> requirements.txt
$ source .venv/bin/activate
(.venv) $ pip install -r requirements.txt
我们将下载位于 http://www.columbia.edu/~fdc/sample.html 的页面，因为它是一个简单的 HTML 页面，易于在文本模式下阅读。
操作步骤：
导入requests模块：
import requests
使用以下URL向服务器发出请求，需要一两秒钟的时间：
url = 'http://www.columbia.edu/~fdc/sample.html'
response = requests.get(url)
检查返回对象的状态码：
response.status_code
200
检查结果的内容：
response.text
'<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
n<html>\n<head>\n
...
完整的HTML代码
...
<!-- close the <html> begun above -->\n'
检查正在进行和返回的标头：
response.request.headers
{'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip,
deflate', 'Accept': '/', 'Connection': 'keep-alive'}
response.headers
{'Date': 'Fri, 24 Jan 2020 19:04:12 GMT', 'Server': 'Apache',
'Last-Modified': 'Wed, 11 Dec 2019 12:46:44 GMT', 'Accept-Ranges':
'bytes', 'Vary': 'Accept-Encoding,User-Agent', 'Content-Encoding':
'gzip', 'Content-Length': '10127', 'Keep-Alive': 'timeout=15,
max=100', 'Connection': 'Keep-Alive', 'Content-Type': 'text/
html', 'Set-Cookie': 'BIGipServerCUITwww.columbia.edu-80-
pool=1311259520.20480.0000; expires=Sat, 25-Jan-2020 01:04:12 GMT;
path=/; Httponly'}
它是如何工作的...
requests 的操作非常简单；在此情况下，使用 GET 方法在 URL 上执行请求。这将返回一个结果对象，可以进行分析。主要元素是状态代码和正文内容，可以表示为文本。
完整的请求可以在请求属性中检查：
response.request
<PreparedRequest [GET]>
response.request.url
http://www.columbia.edu/~fdc/sample.html'
完整的 requests 模块文档可以在这里找到：https://requests.readthedocs.io/en/master/。
在本章的过程中，我们将展示更多 requests 库的特点。
还有更多...
所有 HTTP 状态代码可以在此网页中查看：https://httpstatuses.com/。它们也在 http.HTTPStatus 枚举中描述，具有方便的常量名称，如 OK、NOT_FOUND 或 FORBIDDEN。
状态代码的一般结构是：
1XX - 关于协议的具体信息。
2XX - 成功。
3XX - 重定向。例如：URL 不再有效，并且可在其他地方找到。新的 URL 应该被包含在内。
4XX - 客户端错误。在向服务器发送信息时存在一些错误（例如，格式错误），或者客户端存在错误（例如，需要身份验证才能访问 URL）。
最著名的错误状态代码可能是 404，当描述 URL 的资源未找到时返回该代码。尝试通过执行 requests.get(http://www.columbia.edu/invalid) 进行测试。
5XX - 服务器错误。服务器端存在错误；例如，服务器可能不可用，或者处理请求时可能存在错误。
请求可以使用 HTTPS（安全 HTTP）协议。它与 HTTP 相同，但确保请求和响应的内容是私有的。requests 会自动处理它。
任何处理任何私人信息的网站都应该使用HTTPS来确保信息没有泄漏。HTTP容易被窃听。请在有可能的情况下使用HTTPS。
第二步：解析HTML
下载原始文本或二进制文件是一个好的起点，但是网络的主要语言是HTML。
HTML是一种结构化语言，定义了文档的不同部分，例如标题和段落。HTML也是分层的，定义了子元素。将原始文本解析为结构化文档的能力基本上是从网页自动提取信息的能力。例如，如果将某些文本放入特定的HTML元素中，例如class div或heading h3标记之后，则可能是相关的文本。
准备就绪
我们将使用优秀的Beautiful Soup模块将HTML文本解析为可以分析的内存对象。我们需要使用最新版本的beautifulsoup4包与Python 3兼容。将该包添加到您的requirements.txt文件中，并在虚拟环境中安装依赖项：
$ echo "beautifulsoup4==4.8.2" >> requirements.txt
$ pip install -r requirements.txt
如何完成它...
导入 BeautifulSoup 和 requests 模块:
import requests
from bs4 import BeautifulSoup
设置要下载和获取的页面的 URL:
URL = 'http://www.columbia.edu/~fdc/sample.html'
response = requests.get(URL)
response
<Response [200]>
解析已下载的页面:
page = BeautifulSoup(response.text, 'html.parser')
获取页面标题。查看它是否与浏览器中显示的相同:
page.title
<title>Sample Web Page</title>
>>> page.title.string
'Sample Web Page'
5. 找到页面中的所有 h3 元素，以确定现有部分:
>>> page.find_all('h3')
[<h3><a name="contents">CONTENTS</a></h3>, <h3><a name="basics">1.
Creating a Web Page</a></h3>, <h3><a name="syntax">2. HTML
Syntax</a></h3>, <h3><a name="chars">3. Special Characters</a></
h3>, <h3><a name="convert">4. Converting Plain Text to HTML</
a></h3>, <h3><a name="effects">5. Effects</a></h3>, <h3><a
name="lists">6. Lists</a></h3>, <h3><a name="links">7. Links</
a></h3>, <h3><a name="tables">8. Tables</a></h3>, <h3><a
name="install">9. Installing Your Web Page on the Internet</a></
h3>, <h3><a name="more">10. Where to go from here</a></h3>]
6. 提取特殊字符部分的文本。当遇到下一个 <h3> 标签时停止:
>>> link_section = page.find('h3', attrs={'id': 'chars'})
>>> section = []
for element in link_section.next_elements:
... if element.name == 'h3':
... break
... section.append(element.string or '')
...
result = ''.join(section)
result
'3. Special Characters\n\nHTML特殊“字符实体”以和号(&&)开头并以分号(;;)结束，例如"EUREUR" = "EUR"。永远流行的“不换行空格”是 。有用于重音拉丁字母和其他西欧特殊字符的特殊实体名称，例如：\n\n\n\n\n\n"a"a\na-umlaut\n\xa0"a\xa0\n\n\n"A"A\nA-umlaut\n\xa0"A\xa0\n\n\náá\na-acute\n\xa0á\xa0\n\nàà\na-grave\n\xa0à\xa0\n\n~n~n\nn-tilde\n\xa0~n\xa0\n\nssss\nGerman double-s\n\xa0ss\xa0\n\nthth\nIcelandic thorn\n\xa0th\xa0\n\xa0th\xa0\n\n\n\n\n示例：\n\n\n对于西班牙语，您需要：\n'A'A ('A),\náá (á),\n'E'E ('E),\néé (é),\n'I'I ('I),\níí (í),\n'O'O ('O),\nóó (ó),\n'U'U (ú),\núú (ú),\n~N~N (~N),\n~n~n (~n);\n?? (?);\n!! (!)。\n例如：A~norarán = A~noraránA~norarán。\n\n\n对于德语，您需要：\n"A"A ("A),\n"a"a ("a),\n"O"O ("O),\n"o"o ("o),\n"U"U (ü),\nüü (ü),\nssss (ss)。\n例如：Grüsse aus K"oln = Grüsse aus K"olnGrüsse aus K"oln。\n\n\n\n点击此处\n点击此处\n以获取完整列表。建议页面编码为UTF-8，这样您也可以直接从键盘输入任何字符，无论是罗马字母、西里尔字母、阿拉伯字母、
它是如何工作的...
第一步是下载页面。然后，可以像第3步那样解析原始文本。
生成的页面对象包含了解析后的信息。
BeautifulSoup允许我们搜索HTML元素。它可以使用.find()搜索第一个HTML元素，或使用.find_all()返回一个列表。
在第5步中，它搜索了一个特定的标签<a>，该标签具有特定的属性id=chars。
然后，它继续迭代.next_elements，直到找到下一个h3标签，该标签标志着该节的结束。
提取每个元素的文本，最后组合成一个单一的文本。请注意，使用or可以避免存储None，当元素没有文本时返回None。
还有更多...
正则表达式可以用作.find()和.find_all()方法的输入。例如，此搜索使用h2和h3标记：
page.find_all(re.compile('^h(2|3)'))
[<h2>Sample Web Page</h2>, <h3 id="contents">CONTENTS</h3>, <h3
id="basics">1. Creating a Web Page</h3>, <h3 id="syntax">2. HTML Syntax</
h3>, <h3 id="chars">3. Special Characters</h3>, <h3 id="convert">4.
Converting Plain Text to HTML</h3>, <h3 id="effects">5. Effects</
h3>, <h3 id="lists">6. Lists</h3>, <h3 id="links">7. Links</h3>, <h3
id="tables">8. Tables</h3>, <h3 id="viewing">9. Viewing Your Web Page</
h3>, <h3 id="install">10. Installing Your Web Page on the Internet</h3>,
<h3 id="more">11. Where to go from here</h3>]
html.parser解析器是默认的解析器，但对于某些操作，它可能会有问题。例如，对于大页面，它可能会很慢，并且它可能会在渲染高度动态的网页时出现问题。您可以使用其他解析器，例如lxml，它更快，或html5lib，它将更接近浏览器的操作方式。它们是需要添加到requirements.txt文件中的外部模块。
HTML非常灵活，可以有多种结构。本篇案例是典型的，但其他选项可将相关部分组合在大的<div>标记或其他元素内，甚至可以使用原始文本。需要进行一些实验，才能找到提取网页中的精华部分的具体过程。不要害怕尝试！
另一个有用的查找参数是使用class_参数包含CSS类。这将在本书的后面展示。
完整的Beautiful Soup文档可以在此处找到：https://www.crummy.com/software/BeautifulSoup/bs4/doc/。
相关推荐
- JPA实体类注解，看这篇就全会了
-
基本注解@Entity标注于实体类声明语句之前，指出该Java类为实体类，将映射到指定的数据库表。name(可选)：实体名称。缺省为实体类的非限定名称。该名称用于引用查询中的实体。不与@Tab...
- Dify教程02 - Dify+Deepseek零代码赋能，普通人也能开发AI应用
-
开始今天的教程之前，先解决昨天遇到的一个问题，docker安装Dify的时候有个报错，进入Dify面板的时候会出现“InternalServerError”的提示，log日志报错：S3_USE_A...
- 用离散标记重塑人体姿态:VQ-VAE实现关键点组合关系编码
-
在人体姿态估计领域，传统方法通常将关键点作为基本处理单元，这些关键点在人体骨架结构上代表关节位置（如肘部、膝盖和头部）的空间坐标。现有模型对这些关键点的预测主要采用两种范式：直接通过坐标回归或间接通过...
- B 客户端流RPC (clientstream Client Stream)
-
客户端编写一系列消息并将其发送到服务器，同样使用提供的流。一旦客户端写完消息，它就等待服务器读取消息并返回响应gRPC再次保证了单个RPC调用中的消息排序在客户端流RPC模式中，客户端会发送多个请...
- 我的模型我做主02——训练自己的大模型:简易入门指南
-
模型训练往往需要较高的配置，为了满足友友们的好奇心，这里我们不要内存，不要gpu，用最简单的方式，让大家感受一下什么是模型训练。基于你的硬件配置，我们可以设计一个完全在CPU上运行的简易模型训练方案。...
- 开源项目MessageNest打造个性化消息推送平台多种通知方式
-
今天介绍一个开源项目，MessageNest-可以打造个性化消息推送平台，整合邮件、钉钉、企业微信等多种通知方式。定制你的消息，让通知方式更灵活多样。开源地址：https://github.c...
- 使用投机规则API加快页面加载速度
-
当今的网络用户要求快速导航，从一个页面移动到另一个页面时应尽量减少延迟。投机规则应用程序接口（SpeculationRulesAPI）的出现改变了网络应用程序接口（WebAPI）领域的游戏规则。...
- JSONP安全攻防技术
-
关于JSONPJSONP全称是JSONwithPadding，是基于JSON格式的为解决跨域请求资源而产生的解决方案。它的基本原理是利用HTML的元素标签，远程调用JSON文件来实现数据传递。如果...
- 大数据Doris(六):编译 Doris遇到的问题
-
编译Doris遇到的问题一、js_generator.cc:(.text+0xfc3c):undefinedreferenceto`well_known_types_js’查找Doris...
- 网页内嵌PDF获取的办法
-
最近女王大人为了通过某认证考试，交了2000RMB，官方居然没有给线下教材资料，直接给的是在线教材，教材是PDF的但是是内嵌在网页内，可惜却没有给具体的PDF地址，无法下载，看到女王大人一点点的截图保...
- 印度女孩被邻居家客人性骚扰，父亲上门警告，反被围殴致死
-
微信的规则进行了调整希望大家看完故事多点“在看”，喜欢的话也点个分享和赞这样事儿君的推送才能继续出现在你的订阅列表里才能继续跟大家分享每个开怀大笑或拍案惊奇的好故事啦~话说只要稍微关注新闻的人，应该...
- 下周重要财经数据日程一览 (1229-0103)
-
下周焦点全球制造业PMI美国消费者信心指数美国首申失业救济人数值得注意的是，下周一希腊还将举行第三轮总统选举需要谷歌日历同步及部分智能手机（安卓，iPhone）同步日历功能的朋友请点击此链接，数据公布...
- PyTorch 深度学习实战(38):注意力机制全面解析
-
在上一篇文章中，我们探讨了分布式训练实战。本文将深入解析注意力机制的完整发展历程，从最初的Seq2Seq模型到革命性的Transformer架构。我们将使用PyTorch实现2个关键阶段的注意力机制变...
- 聊聊Spring AI的EmbeddingModel
-
序本文主要研究一下SpringAI的EmbeddingModelEmbeddingModelspring-ai-core/src/main/java/org/springframework/ai/e...
- 前端分享-少年了解过iframe么
-
iframe就像是HTML的「内嵌画布」，允许在页面中加载独立网页，如同在画布上叠加另一幅动态画卷。核心特性包括：独立上下文：每个iframe都拥有独立的DOM/CSS/JS环境（类似浏...
- 一周热门
- 最近发表
- 标签列表
-
- HTML 教程 (33)
- HTML 简介 (35)
- HTML 实例/测验 (32)
- HTML 测验 (32)
- HTML 参考手册 (28)
- JavaScript 和 HTML DOM 参考手册 (32)
- HTML 拓展阅读 (30)
- HTML中如何键入空格 (27)
- HTML常用标签 (29)
- HTML文本框样式 (31)
- HTML滚动条样式 (34)
- HTML5 浏览器支持 (33)
- HTML5 新元素 (33)
- HTML5 WebSocket (30)
- HTML5 代码规范 (32)
- HTML5 标签 (717)
- HTML5 标签 (已废弃) (75)
- HTML5电子书 (32)
- HTML5开发工具 (34)
- HTML5小游戏源码 (34)
- HTML5模板下载 (30)
- HTTP 状态消息 (33)
- HTTP 方法：GET 对比 POST (33)
- 键盘快捷键 (35)
- 标签 (226)