crawl4ai unclecode

🚀🤖 Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper. Don't be shy, join here: https://discord.gg/jP8KfhDhyN

주요 언어
Python
Stars
80,081
Forks
8,301

태그

  • 크롤링
  • 웹 스크래핑
  • RAG
  • 라이브러리/SDK
  • CLI 도구
  • 파이썬
  • 자체 호스팅
  • LLM 통합

요약

Crawl4AI는 웹을 크롤링하여 RAG, AI 에이전트, 데이터 파이프라인에 바로 사용할 수 있는 깨끗한 LLM 친화적 Markdown으로 변환하는 오픈소스 웹 크롤러입니다. 비동기 브라우저 풀, 캐싱, 세션·프록시·쿠키 제어, 딥 크롤링, LLM 추출 등 고급 기능을 지원하며 CLI와 Docker로 어디서든 배포 가능합니다. 5만개 이상 스타를 보유한 대표적 크롤링 프로젝트로, 별도 API 키 없이 자체 호스팅해 비용 효율적으로 대규모 웹 데이터를 수집할 때 적합합니다.

README

# 🚀🤖 Crawl4AI: 오픈소스 LLM 친화적 웹 크롤러 및 스크레이퍼. <div align="center"> <a href="https://trendshift.io/repositories/11716" target="_blank"><img src="https://trendshift.io/api/badge/repositories/11716" alt="unclecode%2Fcrawl4ai | Trendshift" style="width: 250px; height: 55px;" width="250" height="55"/></a…

查看完整页面