SkillPedia Skills Encyclopedia
中文 EN
今日更新 2026-11-17 UTC

今天还没有新提交

查看更新动态

scraperaiscraperai/scraperai

把网页抓取拆成可复用的技能模块,让 Agent 按页面类型自动选择抓取策略并输出结构化数据。核心功能要点包括:1.【Catalog 列表页抓取】:识别列表页中重复出现的同类元素,批量抽取每条记录的字段,一次拿到整页条目;…

还没有人评分 我要评分
Stars486
Forks67
Watchers486
Open Issues4

Install一键安装

待确认

这个仓库是否遵循 Agent Skills 规范(即是否含 SKILL.md)尚未核查完成。在结论出来之前,可以先克隆下来自行取用:

git clone https://github.com/scraperai/scraperai.git

Overview功能介绍

核心功能

把网页抓取拆成可复用的技能模块,让 Agent 按页面类型自动选择抓取策略并输出结构化数据。核心功能要点包括:1.【Catalog 列表页抓取】:识别列表页中重复出现的同类元素,批量抽取每条记录的字段,一次拿到整页条目;2.【Details 详情页解析】:针对单条记录的详情页定位并抽取指定字段,补齐列表页缺失的信息;3.【Captcha 验证码处理】:在遇到验证码拦截的页面时触发对应处理流程,避免抓取任务中断;4.【xpath 定位】:用 XPath 表达式精确指定要抓取的元素位置,适配结构不固定的页面;5.【scroll 滚动加载】:对无限滚动页面自动执行滚动并持续采集新加载的内容;6.【urls 链接发现】:从页面中批量提取并整理目标 URL,为后续抓取提供入口清单。

适用场景

需要从列表页批量收集条目、从详情页补齐字段、在登录或验证码页面继续采集、对滚动加载页面做完整抓取、以及先发现链接再批量抓取的网页数据采集任务。

适用职业

数据分析师 / 数据工程师、AI / 算法工程师、后端开发工程师、测试 / QA 工程师。

Topics主题标签

Rating用户评分

还没有人给这个技能评分。它是全站第一次被评价 —— 你的这一票就是最初的平均分。

给这个技能打分

填了才会进入下面的「按职业平均」。

每个 IP 只能投一票,投出后不能修改,请一次选准。不收集账号,也不用登录。

Repository仓库信息

技能 ID1879
数据来源GitHub
仓库全名scraperai/scraperai
所属分类AI 与智能体技能 / 数据采集与网页解析
主要语言HTML
开源协议GNU General Public License v3.0
默认分支main
GitHub 仓库 ID710781843
节点 IDR_kgDOKl2rkw
榜单排名#1294 (来源榜单内名次)
全站热度排名#1471 (按 Stars 实时计算,共 5833 条)

GrowthStar / Fork 增长

每天一次快照,记录 Star 与 Fork 的变化过程

02004006002026-09-272026-10-112026-09-27 · 4842026-10-11 · 486
  • 当前486
  • 上一记录点 · 09-27 484
  • 较上一记录点 +2
  • 共 2 个记录点 跨度 14 天
0204060802026-09-272026-10-112026-09-27 · 672026-10-11 · 67
  • 当前67
  • 上一记录点 · 09-27 67
  • 较上一记录点 ±0
  • 共 2 个记录点 跨度 14 天

Timeline时间线

仓库创建2023-10-27 12:31:462023-10-27
资料最后更新2026-10-26 12:11:5821 天前
最近一次代码推送2025-09-18 19:02:562025-09-18

Commit更新记录

版本【latest】由提交人 iakov-kaiumov 提交,主要更新类型为:问题缺陷修复与稳定性提升。提交说明:Merge pull request #6 from AnnaLisachenko/main。解决了已知运行时异常与边界错误,提升系统稳定性。

5d914ef vlatest iakov-kaiumov 2025-09-18

Next steps接下来看什么