crawl4ai unclecode

🚀🤖 Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper. Don't be shy, join here: https://discord.gg/jP8KfhDhyN

主要言語
Python
Stars
80,081
Forks
8,301

タグ

  • ライブラリ/SDK
  • スクレイピング
  • RAG
  • ローカル実行
  • 検索エンジン
  • オープンソース
  • ツール呼び出し
  • CLIツール

概要

Crawl4AIは、WebページをクリーンなMarkdownへ変換し、RAG・AIエージェント・データパイプライン向けのLLM対応データを提供するオープンソースのクローラーです。非同期ブラウザプール、キャッシュ、セッション管理、プロキシ、LLM抽出、深層クロールなどの機能を備え、Pythonライブラリ、CLI、Dockerの3形態で利用可能。RLやエージェントのデータ収集から一般Webスクレイピングまで幅広い用途で使えます。

README

# 🚀🤖 Crawl4AI: オープンソースのLLMフレンドリーなWebクローラー＆スクレイパー <div align="center"> <a href="https://trendshift.io/repositories/11716" target="_blank"><img src="https://trendshift.io/api/badge/repositories/11716" alt="unclecode%2Fcrawl4ai | Trendshift" style="width: 250px; height: 55px;" width="250" height="55…

查看完整页面