firecrawl/firecrawl
Firecrawl merupakan mesin ekstraksi data web sumber terbuka dan API konteks yang dirancang khusus untuk agen kecerdasan buatan dan aplikasi model bahasa besar. Layanan ini memungkinkan pengembang melakukan penelusuran web, perayapan situs secara menyeluruh, serta ekstraksi konten halaman web yang dinamis atau sarat JavaScript menjadi format Markdown bersih, HTML, tangkapan layar, maupun data terstruktur JSON. Firecrawl juga menyediakan kapabilitas interaksi halaman melalui tindakan otomatis seperti klik dan gulir, pemindaian peta situs URL secara instan, pemrosesan dokumen lokal berformat PDF atau DOCX, pengambilan data otonom melalui perintah agen, serta koneksi ke katalog penyedia data pihak ketiga Alexandria.
Sasaran pengguna mencakup perekayasa AI, pengembang otomatisasi, dan praktisi data yang membutuhkan data web waktu nyata. Kebutuhan sistem mencakup lingkungan runtime yang sesuai serta kunci API dari firecrawl.dev atau variabel FIRECRAWL_API_KEY, meskipun tingkatan gratis tanpa kunci tetap didukung dengan pembatasan laju berbasis IP untuk endpoint scrape, search, dan interact. Pemasangan SDK resmi dapat dilakukan menggunakan perintah pip install firecrawl untuk Python, npm install firecrawl untuk Node.js, atau go get github.com/firecrawl/firecrawl/apps/go-sdk untuk Go. Inisialisasi agen dapat dieksekusi melalui perintah npx -y firecrawl-cli@latest init --all --browser. Repositori ini didistribusikan di bawah lisensi AGPL-3.0. Sebagai pembanding otomasi browser, lihat Browser Use; cakupan dan cara kerjanya berbeda.
Data per : 198099 stars · 10465 forks.