English Français العربية

AI Crawler Checker — Robots.txt Policy for Six Bots

السجل الرسمي البحث والويب

Check declared robots.txt permissions for six AI crawlers at URL paths

الموقع

التثبيت

أضف هذا إلى إعدادات MCP في عميلك (Claude Desktop: claude_desktop_config.json، وCursor: ‏.cursor/mcp.json، ويستخدم VS Code وغيره الصيغة نفسها «mcpServers»).

Remote (streamable-http)
Claude Code 
claude mcp add --transport http ai-crawler-checker-robots-txt-policy-for 'https://mcp.apify.com/?tools=hermeskd/ai-crawler-access-check' --header 'Authorization: <Optional: '\''Bearer <your Apify API token>'\''. MCP clients that support OAuth can sign in to Apify instead. Runs are billed to your Apify account at the pay-per-event prices on the Actor'\''s store page.>'
إعداد JSON (Claude Desktop وCursor وVS Code) 
{
    "mcpServers": {
        "ai-crawler-checker-robots-txt-policy-for": {
            "type": "http",
            "url": "https://mcp.apify.com/?tools=hermeskd/ai-crawler-access-check",
            "headers": {
                "Authorization": "<Optional: 'Bearer <your Apify API token>'. MCP clients that support OAuth can sign in to Apify instead. Runs are billed to your Apify account at the pay-per-event prices on the Actor's store page.>"
            }
        }
    }
}

الأسئلة الشائعة

ما هو AI Crawler Checker — Robots.txt Policy for Six Bots؟

Check declared robots.txt permissions for six AI crawlers at URL paths

كيف أثبّت AI Crawler Checker — Robots.txt Policy for Six Bots؟

يعمل كخادم بعيد. في Claude Code: claude mcp add --transport http ai-crawler-checker-robots-txt-policy-for 'https://mcp.apify.com/?tools=hermeskd/ai-crawler-access-check' --header 'Authorization: <Optional: '\''Bearer <your Apify API token>'\''. MCP clients that support OAuth can sign in to Apify instead. Runs are billed to your Apify account at the pay-per-event prices on the Actor'\''s store page.>'. وفي العملاء الآخرين، الصق إعداد JSON من هذه الصفحة في إعدادات MCP الخاصة بهم.

هل يحتاج AI Crawler Checker — Robots.txt Policy for Six Bots إلى مفتاح API؟

نعم. يتطلب Authorization، وتضبطها في إعداداته.

من يصون AI Crawler Checker — Robots.txt Policy for Six Bots؟

ينشره kriton-dev. يدرجه AI.tn لكنه لا يصونه ولا يوصي به.

من سجل MCP الرسمي. الإدراج ليس توصية: راجع شيفرة الخادم وصلاحياته قبل منحه الوصول إلى بياناتك.