D4Vinci / Scrapling

∴ 是什么

Scrapling 是一个 Python 网页抓取框架，将 HTTP 请求、隐身浏览器、解析和并发爬取整合在一个库中。它支持抓取静态页面、渲染 JavaScript、与网站交互，并提取 API 调用中的数据。还提供爬虫构建能力，包括可复用的会话、代理轮换、自动重试、暂停/恢复以及内置数据导出。可通过 Python、终端或 MCP 服务器和 Agent Skill 供 AI 代理使用。

∴ 解决什么问题

• ›需要同时处理静态页面和 JavaScript 渲染的网站
• ›需要从网站背后的 API 调用中提取数据
• ›需要构建可扩展的爬虫，支持代理轮换和自动重试
• ›需要以 Markdown 等格式收集整个网站内容

∴ 怎么上手

1. 01使用 Fetcher 抓取单页：from scrapling.fetchers import Fetcher; page = Fetcher.get('https://quotes.toscrape.com/')
2. 02使用 CSS 选择器提取数据：quotes = page.css('.quote .text::text').getall()
3. 03定义 Spider 类：from scrapling.spiders import Spider, Response; class QuotesSpider(Spider): ...
4. 04启动爬虫并导出结果：result = QuotesSpider().start(); result.items.to_json("quotes.json")

∴ 适合谁

适合需要从网站提取数据的 Python 开发者、数据采集工程师，以及希望让 AI 代理浏览和提取数据的用户。

∴ 要点

• ›支持 CSS、XPath、文本和正则搜索，以及自适应元素跟踪和相似元素匹配
• ›提供并发爬虫、代理轮换、重试、AutoThrottle、暂停/恢复和流式处理
• ›内置 JSON、JSONL、CSV、XML 导出
• ›提供 MCP 服务器和 Agent Skill，供 AI 代理使用
• ›提供 CLI 命令和交互式 shell
• ›许可证为 BSD-3-Clause

∴ 在榜记录

GitHub Trending 今日榜的每日存档，日期按北京时间。2026-11-02 首次上榜，累计在榜 1 天，最高第 3 名。