Datový zdroj Firecrawl
Firecrawl použijte pro veřejný nebo výslovně schválený web, pokud obsah nemá nativní konektor. Dokáže načíst jednu stránku nebo omezenou část webu; nesmí obcházet autentizaci ani pravidla pro obsah.
Příprava Connection
Vytvořte Firecrawl connection s API klíčem a API URL, obvykle https://api.firecrawl.dev. Schvalte cílovou doménu a ověřte, že smíte obsah načíst a znovu používat.
Nastavení zdroje
| Pole | Co zadat |
|---|---|
| Name | Doména a účel, např. Public product docs — Current |
| Description | Vlastník, schválená doména/cesta, výjimky a datum revize |
| Connection ID | Uložené Firecrawl connection |
| Sync frequency | On Demand, Daily, Weekly nebo Monthly |
| Scrape type | Scrape pro jednu stránku; Crawl pro omezenou sekci |
| Scrape URL | Úplná platná počáteční https:// URL |
| Limit | Celé číslo nejméně 1; výchozí hodnota aplikace je 10000 |
| Include paths regex | Volitelná povolená cesta, např. ^/docs |
| Exclude paths regex | Volitelná zakázaná cesta, např. ^/docs/archive |
Horní část formuláře Firecrawl vybírá uložené Connection, plán, režim a počáteční URL.
Začněte malým limitem, výsledek zkontrolujte a teprve potom rozsah zvyšujte. Vysoký výchozí limit je strop, nikoli doporučená počáteční hodnota.
Scrape type: Crawl
Scrape URL: https://example.com/docs
Limit: 50
Include paths regex: ^/docs
Exclude paths regex: ^/docs/(archive|preview)
Scrape použijte pro jednu stabilní stránku či přesnou URL. Crawl je pro dokumentační strom s konzistentními cestami. Vylučte login, logout, search, calendar, preview, archive, account a varianty s query parametry.
Scrape je pro jednu URL, Crawl pro omezenou část webu.
U režimu Crawl omezte objem a cesty ještě před změnou Retriever nebo Processing.
Necrawlujte aplikace vyžadující přihlášení, osobní dashboardy, zákaznické portály, staging s neveřejnými daty ani weby, které nesmíte kopírovat. Technická dostupnost URL není souhlas s ingestion.
Po zpracování zkontrolujte reprezentativní stránky, očekávané výjimky, duplicitní titulky, navigační obsah a staré verze. Široký vstupní rozsah nelze spolehlivě opravit promptem agenta. Společné volby popisuje Zpracování, synchronizace a řešení potíží.