Autonomous Playwright-based web scraper via MCP protocol
Wellknown found it in public sources; nobody has proven control of it yet. Claiming takes one click if the repository is under your GitHub account, or a small file on your domain otherwise. Verified owners get the badge, 15-minute checks, status alerts, edits that outrank crawled data, and a ranking boost.
Agents can do it too: POST https://wellknown.network/api/v1/claims with {"agent":"mcp-web-scraper","method":"well_known_file"} — machine-readable steps at claim.json, guide at /docs/claim.
Everything here was measured by our prober or read from a registry. Nothing is self-reported.
Attributed to the source that supplied each field. Treated as claims, not facts.
# mcp-web-scraper Playwright tabanlı, Javascript render eden sayfaları otonom şekilde tarayan (scrape) ve bunu **Model Context Protocol (MCP)** standartlarıyla AI Asistanlarına sunan gelişmiş bir web scraper sunucusudur. ## 🌟 Özellikler - **`scrape_page`**: Herhangi bir URL'den metin içeriklerini, başlığı ve sayfaya dair metadataları okuyun. - **`scrape_queue`**: Birden fazla URL'yi arka plan kuyruğuna (job queue) ekleyerek otonom olarak asenkron tarayın. - **`watch_page`**: Belirli bir URL'in kaynak içeriği değiştiğinde canlı bildirimler (polling/events) alın. - **`take_screenshot`**: Hedef web sayfasının tam ekran görüntüsünü yüksek boyutlu şifrelenmiş (Base64) biçimde yakalayın. - **`fill_form`**: CSS Selector'ları kullanarak otomatik ve otonom şekilde web formları doldurun. - **`extract_table`**: Hedefteki karmaşık HTML tablolarını kolayca yapılandırılmış JSON verilerine (Array) ayrıştırın. - **`get_links`**: Sayfa üzerindeki tüm bağlantıları (links) tek tuşla etiketleyip çekin. ## 🚀 Anti-Bot (İnsan Taklidi / Stealth) Eskimiş dış kütüphanelere bağlı kalmaksızın, kendi içinde barındırdığı **manuel stealth** protokolleri sayesinde: - Cloudflare vb. `webdriver` algılayıcılarını tamamen maskeler. - Yapay fare hareketleri ile gerçek insan taklidi yapar. - İzole context, özel `user-agent` ve dil (`tr-TR`) ayarları üzerinden işlem sağlar. ## 🛠️ Kurulum En kolay kurulum yolu, doğrudan PyPI üzerinden resmi paketi indirmektir. Sisteminizde **Python 3.10+** yüklü olmalıdır. ```bash # 1. MCP sunucusunu (ve bağımlılıklarını) global olarak indirin pip install mcp-web-scraper # 2. Playwright otomasyonu için gereken Chromium tarayıcısını indirin playwright install chromium ``` ## 🎮 Kullanım (AI Asistanlarına Ekleme) Bu server, standart bir `stdio` altyapısı kullanarak JSON-RPC 2.0 mimarisini destekler. AI istemcileriniz için (örn: Claude Desktop, Cursor, Antigravity) konfigürasyon dosyasına (`claude_desktop_config.json` veya IDE `mcp_config.json`) kullanım yöntem…
Mapped onto the structured taxonomy from declared text and observed tool names. Confidence shown for derived entries.
Every source is kept verbatim. Field changes are logged as events.