English Français العربية

Website Crawler — Markdown Pages, Sitemaps & RAG Provenance

Registre officiel Recherche et web

Crawl sites to Markdown with sitemaps, globs and depth limits, obeying robots and crawl-delay

Site web

Installation

Ajoutez ceci à la configuration MCP de votre client (Claude Desktop : claude_desktop_config.json ; Cursor : .cursor/mcp.json ; VS Code et les autres utilisent la même forme « mcpServers »).

Remote (streamable-http)
Claude Code 
claude mcp add --transport http website-crawler-markdown-pages-sitemaps- 'https://mcp.apify.com/?tools=hermeskd/website-to-markdown' --header 'Authorization: <Optional: '\''Bearer <your Apify API token>'\''. MCP clients that support OAuth can sign in to Apify instead. Runs are billed to your Apify account at the pay-per-event prices on the Actor'\''s store page.>'
Configuration JSON (Claude Desktop, Cursor, VS Code) 
{
    "mcpServers": {
        "website-crawler-markdown-pages-sitemaps-": {
            "type": "http",
            "url": "https://mcp.apify.com/?tools=hermeskd/website-to-markdown",
            "headers": {
                "Authorization": "<Optional: 'Bearer <your Apify API token>'. MCP clients that support OAuth can sign in to Apify instead. Runs are billed to your Apify account at the pay-per-event prices on the Actor's store page.>"
            }
        }
    }
}

Questions fréquentes

Qu'est-ce que Website Crawler — Markdown Pages, Sitemaps & RAG Provenance ?

Crawl sites to Markdown with sitemaps, globs and depth limits, obeying robots and crawl-delay

Comment installer Website Crawler — Markdown Pages, Sitemaps & RAG Provenance ?

Il fonctionne comme serveur distant. Dans Claude Code : claude mcp add --transport http website-crawler-markdown-pages-sitemaps- 'https://mcp.apify.com/?tools=hermeskd/website-to-markdown' --header 'Authorization: <Optional: '\''Bearer <your Apify API token>'\''. MCP clients that support OAuth can sign in to Apify instead. Runs are billed to your Apify account at the pay-per-event prices on the Actor'\''s store page.>'. Pour les autres clients, collez la configuration JSON de cette page dans leurs réglages MCP.

Faut-il une clé API pour Website Crawler — Markdown Pages, Sitemaps & RAG Provenance ?

Oui. Il attend Authorization, à renseigner dans sa configuration.

Qui maintient Website Crawler — Markdown Pages, Sitemaps & RAG Provenance ?

Il est publié par kriton-dev. AI.tn le référence sans le maintenir ni le recommander.

Issu du registre MCP officiel. Être listé n'est pas une recommandation : vérifiez le code et les permissions d'un serveur avant de lui donner accès à vos données.