@axetroy/crawler

Nodejs 的爬虫框架

一个快速，简单，易用的 nodejs 爬虫框架.

WARNING: 当前仍处于开发阶段，任何存在的特性都可能会更改或者移除

特性

• 访问频率限制
• 暂停和恢复爬取
• 连接上一次记录续爬
• 内置的 jQuery 选择器
• 内置的资源下载工具
• IP 代理设置
• 数据统计
• 自定义 HTTP 方法、请求体
• 错误重试

快速开始

npm install @axetroy/crawler

import { Crawler, Provider, Response } from "@axetroy/crawler";

class ScrapinghubProvider implements Provider {
  name = "scrapinghub";
  urls = ["https://blog.scrapinghub.com"];
  async parse($: Response) {
    const $nextPage = $("a.next-posts-link").eq(0);

    if ($nextPage) {
      $.follow($nextPage.prop("href"));
    }

    return $(".post-header>h2")
      .map((_, el) => $(el).text())
      .get();
  }
}

const spider = new Crawler(ScrapinghubProvider, {
  timeout: 1000 * 5,
  retry: 3
});

spider.on("data", (articles: string[]) => {
  for (const article of articles) {
    process.stdout.write(article + "\n");
  }
});

spider.on("error", (err, task) => {
  console.log(`request fail on ${task.url}: ${err.message}`);
});

spider.on("finish", () => {
  process.stdout.write("finish...\n");
});

spider.start();

API Reference

API Reference

Example

如何运行 demo ?

> npx ts-node examples/basic.ts

这里有相关的例子

• 基本的爬虫
• 多个目标地址爬虫
• 爬取资源图片

捐赠我

如果你觉得这个项目能帮助到你，可以考虑 支付宝扫码(或搜索 511118132)领红包 支持我

甚至可以请我喝一杯 ☕️

微信	支付宝	支付宝红包

License

The Anti 996 License