每天一个Python库:lxml全面实战指南，爬虫解析速度翻倍
zhezhongyun 2025-07-19 23:58 28 浏览
你是否遇到过：
- BeautifulSoup 解析太慢？
- re 提取数据太容易误匹配？
- 抓数据时 HTML 太乱根本不好搞？
本期，我们用 lxml + XPath 一把梭！
学习本来就不是一蹴而就的事，不过只要你肯练、敢用，坚持一阵子，你一定能看到变化！
为什么推荐 lxml？
- 比 html.parser 快 10 倍以上
- 支持 XPath（选择 DOM 像切菜一样丝滑）
- 支持 HTML/XML 双解析
- 兼容 BeautifulSoup 作为后端
安装与准备
pip install lxml requests常用操作大全（快速入门）
功能 | 语法示例 |
加载 HTML 字符串 | etree.HTML(html_str) |
读取 HTML 文件 | etree.parse("file.html") |
提取文本内容 | xpath("//tag/text()") |
提取属性值 | xpath("//a/@href") |
匹配包含关键词文本 | xpath("//p[contains(text(),'关键词')]") |
匹配多个属性 | xpath("//div[@id='main' and @class]") |
场景 1：从网页中提取标题、链接和内容
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
from lxml import etree
import requests
url = "https://quotes.toscrape.com"
html = requests.get(url).text
tree = etree.HTML(html)
quotes = tree.xpath('//div[@class="quote"]')
for q in quotes:
text = q.xpath('.//span[@class="text"]/text()')[0]
author = q.xpath('.//small/text()')[0]
print(f"{text} —— {author}")优势：定位精准、速度极快、写法直观！
场景 2：解析本地 HTML 文件，提取表格数据
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8">
<title>伊朗 VS 以色列 </title>
</head>
<body>
<h1>伊朗 VS 以色列 对比表</h1>
<table id="data-table" border="1">
<tr>
<th>对比项目</th>
<th>伊朗</th>
<th>以色列</th>
</tr>
<tr>
<td>领土面积</td>
<td>164.5万平方公里</td>
<td>2.2万平方公里</td>
</tr>
<tr>
<td>人口</td>
<td>8855万</td>
<td>977万</td>
</tr>
<tr>
<td>现役军人</td>
<td>51.8万</td>
<td>16.9万</td>
</tr>
<tr>
<td>预备役</td>
<td>55万</td>
<td>46.5万</td>
</tr>
<tr>
<td>军费支出</td>
<td>300亿</td>
<td>465亿</td>
</tr>
</table>
</body>
</html>#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
rows = tree.xpath("//table[@id='data-table']//tr")
for row in rows[1:]:
cols = row.xpath(".//td/text()")
print(cols)场景 3：数据清洗+结构提取
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8">
<title>伊朗 VS 以色列 </title>
</head>
<body>
<div><p>国际原子能机构发出<b>紧急报道!</b><p>伊朗拥有409公斤高浓度浓缩铀神秘失去定位，</p>财联社报道<p>伊朗发生里氏4.3级地震。
</div>
</body>
</html>#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
texts = tree.xpath("//p//text()")
print(texts)
clean_text = "".join(texts).strip()
print(clean_text)lxml + requests 实战小爬虫
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
import requests
from lxml import etree
url = "https://www.python.org/"
resp = requests.get(url)
tree = etree.HTML(resp.text)
titles = tree.xpath("//a/text()")
links = tree.xpath("//a/@href")
for t, l in zip(titles[:10], links[:10]):
print(t.strip(), "=>", l)常用 XPath 表达式（速查表）
表达式 | 含义 |
//div | 所有 div 标签 |
//div[@class="box"] | class=box 的 div |
//a/@href | 提取 a 的 href 属性值 |
//ul/li[1] | ul 的第一个 li |
//p[contains(text(), "abc")] | 包含 abc 的 p 标签文本 |
//div//span | div 内任意层级的 span |
性能对比（lxml vs BeautifulSoup）
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
import time
from bs4 import BeautifulSoup
from lxml import etree
html = "<ul>" + "<li>数据</li>" * 1000 + "</ul>"
start = time.time()
soup = BeautifulSoup(html, "lxml")
print("bs4耗时：", time.time() - start)
start = time.time()
tree = etree.HTML(html)
print("lxml耗时：", time.time() - start)
实测：lxml 平均快 5-10 倍，特别适合大量结构化提取任务！
总结一句话
如果你要处理网页或 HTML 数据，lxml 是你最值得信赖的“精准刀”！
- 解析快
- 语法清晰
- 适合爬虫和清洗
- 企业实战广泛使用
下期预告
《每天一个 Python 库：scrapy，打造自己的高性能爬虫框架！》
点赞关注不迷路，不错过每一期实战技巧！
后续还有更多自动化测试经验分享～评论区欢迎唠嗑交流！
点头像，发现更多精彩内容！
相关推荐
- Python入门学习记录之一:变量_python怎么用变量
-
写这个，主要是对自己学习python知识的一个总结，也是加深自己的印象。变量（英文：variable），也叫标识符。在python中，变量的命名规则有以下三点：>变量名只能包含字母、数字和下划线...
- python变量命名规则——来自小白的总结
-
python是一个动态编译类编程语言，所以程序在运行前不需要如C语言的先行编译动作，因此也只有在程序运行过程中才能发现程序的问题。基于此，python的变量就有一定的命名规范。python作为当前热门...
- Python入门学习教程:第 2 章 变量与数据类型
-
2.1什么是变量？在编程中，变量就像一个存放数据的容器，它可以存储各种信息，并且这些信息可以被读取和修改。想象一下，变量就如同我们生活中的盒子，你可以把东西放进去，也可以随时拿出来看看，甚至可以换成...
- 绘制学术论文中的“三线表”具体指导
-
在科研过程中，大家用到最多的可能就是“三线表”。“三线表”，一般主要由三条横线构成，当然在变量名栏里也可以拆分单元格，出现更多的线。更重要的是，“三线表”也是一种数据记录规范，以“三线表”形式记录的数...
- Python基础语法知识--变量和数据类型
-
学习Python中的变量和数据类型至关重要，因为它们构成了Python编程的基石。以下是帮助您了解Python中的变量和数据类型的分步指南：1.变量：变量在Python中用于存储数据值。它们充...
- 一文搞懂 Python 中的所有标点符号
-
反引号`无任何作用。传说Python3中它被移除是因为和单引号字符'太相似。波浪号~（按位取反符号）~被称为取反或补码运算符。它放在我们想要取反的对象前面。如果放在一个整数n...
- Python变量类型和运算符_python中变量的含义
-
别再被小名词坑哭了：Python新手常犯的那些隐蔽错误，我用同事的真实bug拆给你看我记得有一次和同事张姐一起追查一个看似随机崩溃的脚本，最后发现罪魁祸首竟然是她把变量命名成了list。说实话...
- 从零开始:深入剖析 Spring Boot3 中配置文件的加载顺序
-
在当今的互联网软件开发领域，SpringBoot无疑是最为热门和广泛应用的框架之一。它以其强大的功能、便捷的开发体验，极大地提升了开发效率，成为众多开发者构建Web应用程序的首选。而在Spr...
- Python中下划线 ‘_’ 的用法，你知道几种
-
Python中下划线()是一个有特殊含义和用途的符号，它可以用来表示以下几种情况：1在解释器中，下划线(_)表示上一个表达式的值，可以用来进行快速计算或测试。例如：>>>2+...
- 解锁Shell编程:变量_shell $变量
-
引言：开启Shell编程大门Shell作为用户与Linux内核之间的桥梁，为我们提供了强大的命令行交互方式。它不仅能执行简单的文件操作、进程管理，还能通过编写脚本实现复杂的自动化任务。无论是...
- 一文学会Python的变量命名规则!_python的变量命名有哪些要求
-
目录1.变量的命名原则3.内置函数尽量不要做变量4.删除变量和垃圾回收机制5.结语1.变量的命名原则①由英文字母、_(下划线)、或中文开头②变量名称只能由英文字母、数字、下画线或中文字所组成。③英文字...
- 更可靠的Rust-语法篇-区分语句/表达式，略览if/loop/while/for
-
src/main.rs://函数定义fnadd(a:i32,b:i32)->i32{a+b//末尾表达式}fnmain(){leta:i3...
- C++第五课:变量的命名规则_c++中变量的命名规则
-
变量的命名不是想怎么起就怎么起的，而是有一套固定的规则的。具体规则：1.名字要合法：变量名必须是由字母、数字或下划线组成。例如：a，a1，a_1。2.开头不能是数字。例如：可以a1，但不能起1a。3....
- Rust编程-核心篇-不安全编程_rust安全性
-
Unsafe的必要性Rust的所有权系统和类型系统为我们提供了强大的安全保障，但在某些情况下，我们需要突破这些限制来：与C代码交互实现底层系统编程优化性能关键代码实现某些编译器无法验证的安全操作Rus...
- 探秘 Python 内存管理:背后的神奇机制
-
在编程的世界里，内存管理就如同幕后的精密操控者，确保程序的高效运行。Python作为一种广泛使用的编程语言，其内存管理机制既巧妙又复杂，为开发者们提供了便利的同时，也展现了强大的底层控制能力。一、P...
- 一周热门
- 最近发表
- 标签列表
-
- HTML 教程 (33)
- HTML 简介 (35)
- HTML 实例/测验 (32)
- HTML 测验 (32)
- JavaScript 和 HTML DOM 参考手册 (32)
- HTML 拓展阅读 (30)
- HTML文本框样式 (31)
- HTML滚动条样式 (34)
- HTML5 浏览器支持 (33)
- HTML5 新元素 (33)
- HTML5 WebSocket (30)
- HTML5 代码规范 (32)
- HTML5 标签 (717)
- HTML5 标签 (已废弃) (75)
- HTML5电子书 (32)
- HTML5开发工具 (34)
- HTML5小游戏源码 (34)
- HTML5模板下载 (30)
- HTTP 状态消息 (33)
- HTTP 方法：GET 对比 POST (33)
- 键盘快捷键 (35)
- 标签 (226)
- opacity 属性 (32)
- transition 属性 (33)
- 1-1. 变量声明 (31)