Python爬虫数据抓取后自动去重与清洗逻辑

处理爬虫数据时，数据去重与清洗往往是最让人头疼的环节。看似简单的操作背后，其实隐藏着不少细节问题。例如，set() 去重会丢失原始顺序，清洗时需要先对字符串进行标准化并处理 HTML 实体，而字段级去重通常比全文哈希更可靠——通过关键字段组合生成指纹，才能保证去重质量。

为什么直接使用 set() 去重会丢失顺序？

很多开发者习惯用 list(set(data)) 快速去重，虽然省事，但 Python 的 set 天生无序。原始抓取顺序——比如按时间、热度或分页排列——会彻底被打乱。如果后续业务逻辑要求“第一条是最新数据”，这就等于埋下一个隐患。

更稳妥的做法是改用 dict.fromkeys()，它能在 Python 3.7+ 中保持插入顺序：

cleaned = list(dict.fromkeys(raw_list))

注意，这个方法只适用于元素可哈希的情况（如 str、int、tuple）。如果数据中包含 dict 或 list 这类嵌套结构，会直接报 TypeError。此时需要先将数据转为 JSON 字符串再去重，但要注意浮点精度、键顺序等细节，否则容易出错。

清洗 HTML 标签和空白字符，这些坑你踩过吗？

很多人用 re.sub(r']+>', '', text) 简单粗暴地删除标签，结果遇到