crawl4ai unclecode
🚀🤖 Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper. Don't be shy, join here: https://discord.gg/jP8KfhDhyN
- 主要语言
- Python
- Stars
- 80,081
- Forks
- 8,301
标签
- 爬虫
- 网页抓取
- 库/SDK
- Python
- RAG
- CLI工具
- 本地部署
摘要
Crawl4AI 是一个开源、面向 LLM 友好的网页爬虫与抓取库，能将网页转换为干净、结构化的 Markdown 格式，供 RAG、AI Agent 及数据处理管道直接使用。它支持异步浏览器池、代理/会话/cookies 控制、智能深度爬取、缓存机制以及 LLM 结构化提取等功能，并提供 Python 库、CLI 与 Docker 等多种部署方式。适合用于构建知识库、训练数据采集、网页数据分析等场景。
README
# 🚀🤖 Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper. <div align="center"> <a href="https://trendshift.io/repositories/11716" target="_blank"><img src="https://trendshift.io/api/badge/repositories/11716" alt="unclecode%2Fcrawl4ai | Trendshift" style="width: 250px; height: 55px;" width="2…