English Français العربية

Website Crawler — Markdown Pages, Sitemaps & RAG Provenance

السجل الرسمي البحث والويب

Crawl sites to Markdown with sitemaps, globs and depth limits, obeying robots and crawl-delay

الموقع

التثبيت

أضف هذا إلى إعدادات MCP في عميلك (Claude Desktop: claude_desktop_config.json، وCursor: ‏.cursor/mcp.json، ويستخدم VS Code وغيره الصيغة نفسها «mcpServers»).

Remote (streamable-http)
Claude Code 
claude mcp add --transport http website-crawler-markdown-pages-sitemaps- 'https://mcp.apify.com/?tools=hermeskd/website-to-markdown' --header 'Authorization: <Optional: '\''Bearer <your Apify API token>'\''. MCP clients that support OAuth can sign in to Apify instead. Runs are billed to your Apify account at the pay-per-event prices on the Actor'\''s store page.>'
إعداد JSON (Claude Desktop وCursor وVS Code) 
{
    "mcpServers": {
        "website-crawler-markdown-pages-sitemaps-": {
            "type": "http",
            "url": "https://mcp.apify.com/?tools=hermeskd/website-to-markdown",
            "headers": {
                "Authorization": "<Optional: 'Bearer <your Apify API token>'. MCP clients that support OAuth can sign in to Apify instead. Runs are billed to your Apify account at the pay-per-event prices on the Actor's store page.>"
            }
        }
    }
}

الأسئلة الشائعة

ما هو Website Crawler — Markdown Pages, Sitemaps & RAG Provenance؟

Crawl sites to Markdown with sitemaps, globs and depth limits, obeying robots and crawl-delay

كيف أثبّت Website Crawler — Markdown Pages, Sitemaps & RAG Provenance؟

يعمل كخادم بعيد. في Claude Code: claude mcp add --transport http website-crawler-markdown-pages-sitemaps- 'https://mcp.apify.com/?tools=hermeskd/website-to-markdown' --header 'Authorization: <Optional: '\''Bearer <your Apify API token>'\''. MCP clients that support OAuth can sign in to Apify instead. Runs are billed to your Apify account at the pay-per-event prices on the Actor'\''s store page.>'. وفي العملاء الآخرين، الصق إعداد JSON من هذه الصفحة في إعدادات MCP الخاصة بهم.

هل يحتاج Website Crawler — Markdown Pages, Sitemaps & RAG Provenance إلى مفتاح API؟

نعم. يتطلب Authorization، وتضبطها في إعداداته.

من يصون Website Crawler — Markdown Pages, Sitemaps & RAG Provenance؟

ينشره kriton-dev. يدرجه AI.tn لكنه لا يصونه ولا يوصي به.

من سجل MCP الرسمي. الإدراج ليس توصية: راجع شيفرة الخادم وصلاحياته قبل منحه الوصول إلى بياناتك.