2026 Github上网络爬虫开源项目推荐

COLLECTION

网络爬虫

该页面收集了与爬虫相关的框架和应用程序。

📂爬虫框架

scrapy

Scrapy project@scrapy

Scrapy 是一个强大的 Python 网络爬虫框架，提供完整的工具集，用于高效、大规模地从网站提取结构化数据。

Python scraping crawling 框架爬虫

Python61.07 k

1 天前

colly

Colly@gocolly

#爬虫框架#一个快速优雅的Golang爬虫框架

Go scraper 框架爬虫 scraping

Go25.21 k

2 个月前

pyspider存档

Roy Binux@binux

#爬虫框架#python爬虫框架。简单易上手，自带在线编程和任务管理界面

Python 爬虫

Python17 k

2 年前

scrapy-redis

R Max Espinoza@rmax

#爬虫框架#基于Scrapy和Redis的分布式爬虫框架

scrapy 爬虫 distributed Redis

Python5.63 k

2 年前

torsniff存档

@fanpei91

#爬虫应用#一个种子嗅探器，它从 BitTorrent 网络获取人们下载音乐、电影、游戏、文档等等时所用的种子

dht bittorrent-protocol metadata bep0005 bep0009

Go4.02 k

5 年前🇨🇳

wechat-spider

0fenbei@bowenpay

#爬虫应用#微信公众号爬虫

Python3.31 k

5 年前🇨🇳

SinaSpider

幸明老匹夫@LiuXingMing

#爬虫应用#新浪微博爬虫（Scrapy、Redis）

Python3.28 k

8 年前🇨🇳

bilibili-user

Airing@airingursb

#爬虫应用#🍥 Bilibili 用户爬虫

哔哩哔哩 Python MySQL

Python3.09 k

5 年前🇨🇳

webporter

brianway@brianway

#爬虫应用#基于 webmagic 的 Java 爬虫应用

elasticsearch kibana zhihu

Java2.78 k

4 年前🇨🇳

DouBanSpider

@lanbing510

#爬虫应用#豆瓣读书的爬虫

Python2.78 k

6 年前🇨🇳

twint存档

TWINT Project@twintproject

#网络爬虫#An advanced Twitter scraping & OSINT tool written in Python that doesn't use Twitter's API, allowing you to scrape a user's followers, following, Tweets and more while evading most API limitations.

OSINT X (Twitter)Python scrape tweets

Python16.36 k

3 年前

导航

网络爬虫

📂爬虫框架

📂爬虫应用

该分类下的开源项目