scraperaiscraperai/scraperai
把网页抓取拆成可复用的技能模块,让 Agent 按页面类型自动选择抓取策略并输出结构化数据。核心功能要点包括:1.【Catalog 列表页抓取】:识别列表页中重复出现的同类元素,批量抽取每条记录的字段,一次拿到整页条目;…
还没有人评分
我要评分
Stars486
Forks67
Watchers486
Open Issues4
Install一键安装
待确认这个仓库是否遵循 Agent Skills 规范(即是否含 SKILL.md)尚未核查完成。在结论出来之前,可以先克隆下来自行取用:
git clone https://github.com/scraperai/scraperai.git
Overview功能介绍
核心功能
把网页抓取拆成可复用的技能模块,让 Agent 按页面类型自动选择抓取策略并输出结构化数据。核心功能要点包括:1.【Catalog 列表页抓取】:识别列表页中重复出现的同类元素,批量抽取每条记录的字段,一次拿到整页条目;2.【Details 详情页解析】:针对单条记录的详情页定位并抽取指定字段,补齐列表页缺失的信息;3.【Captcha 验证码处理】:在遇到验证码拦截的页面时触发对应处理流程,避免抓取任务中断;4.【xpath 定位】:用 XPath 表达式精确指定要抓取的元素位置,适配结构不固定的页面;5.【scroll 滚动加载】:对无限滚动页面自动执行滚动并持续采集新加载的内容;6.【urls 链接发现】:从页面中批量提取并整理目标 URL,为后续抓取提供入口清单。
适用场景
需要从列表页批量收集条目、从详情页补齐字段、在登录或验证码页面继续采集、对滚动加载页面做完整抓取、以及先发现链接再批量抓取的网页数据采集任务。
适用职业
数据分析师 / 数据工程师、AI / 算法工程师、后端开发工程师、测试 / QA 工程师。
Topics主题标签
Rating用户评分
还没有人给这个技能评分。它是全站第一次被评价 —— 你的这一票就是最初的平均分。
Repository仓库信息
| 技能 ID | 1879 |
|---|---|
| 数据来源 | GitHub |
| 仓库全名 | scraperai/scraperai |
| 所属分类 | AI 与智能体技能 / 数据采集与网页解析 |
| 主要语言 | HTML |
| 开源协议 | GNU General Public License v3.0 |
| 默认分支 | main |
| GitHub 仓库 ID | 710781843 |
| 节点 ID | R_kgDOKl2rkw |
| 榜单排名 | #1294 (来源榜单内名次) |
| 全站热度排名 | #1471 (按 Stars 实时计算,共 5833 条) |
GrowthStar / Fork 增长
每天一次快照,记录 Star 与 Fork 的变化过程
- 当前486
- 上一记录点 · 09-27 484
- 较上一记录点 +2
- 共 2 个记录点 跨度 14 天
- 当前67
- 上一记录点 · 09-27 67
- 较上一记录点 ±0
- 共 2 个记录点 跨度 14 天
Timeline时间线
仓库创建2023-10-27 12:31:462023-10-27
资料最后更新2026-10-26 12:11:5821 天前
最近一次代码推送2025-09-18 19:02:562025-09-18
Commit更新记录
版本【latest】由提交人 iakov-kaiumov 提交,主要更新类型为:问题缺陷修复与稳定性提升。提交说明:Merge pull request #6 from AnnaLisachenko/main。解决了已知运行时异常与边界错误,提升系统稳定性。