抓取任何网站并将其转换为 Markdown
Firecrawl是一个API服务，接受一个URL，对其进行爬取，并为每个页面生成干净的markdown。它会爬取所有可访问的子页面，并为您提供每个页面的干净markdown，无需站点地图。
安装Python SDK
pip install firecrawl-py
抓取网站
from firecrawl import FirecrawlAppapp = FirecrawlApp(api_key="YOUR_API_KEY")crawl_result = app.crawl_url('mendable.ai', {'crawlerOptions': {'excludes': ['blog/*']}})# Get the markdown
for result in crawl_result: print(result['markdown'])
抓取 URL
要抓取单个 URL，请使用scrape_url方法。它将 URL 作为参数，并将抓取的数据作为字典返回。
url = 'https://example.com'
scraped_data = app.scrape_url(url)
🌐Github地址：
https://github.com/mendableai/firecrawl
🌐在线体验：
https://www.firecrawl.dev/
)
