English Français العربية

TheCrawler

Registre officiel Recherche et web

Universal web scraper with LLM-ready markdown, RAG chunking, PDF/DOCX support.

Code source

Installation

Ajoutez ceci à la configuration MCP de votre client (Claude Desktop : claude_desktop_config.json ; Cursor : .cursor/mcp.json ; VS Code et les autres utilisent la même forme « mcpServers »).

NPM package thecrawler
Claude Code 
claude mcp add thecrawler -- npx -y thecrawler@0.5.8
Configuration JSON (Claude Desktop, Cursor, VS Code) 
{
    "mcpServers": {
        "thecrawler": {
            "command": "npx",
            "args": [
                "-y",
                "thecrawler@0.5.8"
            ]
        }
    }
}

Questions fréquentes

Qu'est-ce que TheCrawler ?

Universal web scraper with LLM-ready markdown, RAG chunking, PDF/DOCX support.

Comment installer TheCrawler ?

Il s'exécute sur votre machine. Dans Claude Code : claude mcp add thecrawler -- npx -y thecrawler@0.5.8. Pour les autres clients, collez la configuration JSON de cette page dans leurs réglages MCP.

Faut-il une clé API pour TheCrawler ?

Son entrée au registre n'indique aucune clé ni secret obligatoire. Certaines fonctions peuvent tout de même demander un compte auprès du service auquel il se connecte.

TheCrawler est-il open source ?

Son code est public sur GitHub, mais le dépôt ne déclare pas de licence standard.

Qui maintient TheCrawler ?

Il est publié par manchittlab. AI.tn le référence sans le maintenir ni le recommander.

Issu du registre MCP officiel. Être listé n'est pas une recommandation : vérifiez le code et les permissions d'un serveur avant de lui donner accès à vos données.