English Français العربية

Robots.txt & AI Crawler Checker

السجل الرسمي البحث والويب

robots.txt tester (RFC 9309), AI crawler access (GPTBot, ClaudeBot...) and sitemap check.

الموقع

التثبيت

أضف هذا إلى إعدادات MCP في عميلك (Claude Desktop: claude_desktop_config.json، وCursor: ‏.cursor/mcp.json، ويستخدم VS Code وغيره الصيغة نفسها «mcpServers»).

Remote (streamable-http)
Claude Code 
claude mcp add --transport http robots-txt-ai-crawler-checker 'https://robots-check.quietworklabs.workers.dev/mcp'
إعداد JSON (Claude Desktop وCursor وVS Code) 
{
    "mcpServers": {
        "robots-txt-ai-crawler-checker": {
            "type": "http",
            "url": "https://robots-check.quietworklabs.workers.dev/mcp"
        }
    }
}

الأسئلة الشائعة

ما هو Robots.txt & AI Crawler Checker؟

robots.txt tester (RFC 9309), AI crawler access (GPTBot, ClaudeBot...) and sitemap check.

كيف أثبّت Robots.txt & AI Crawler Checker؟

يعمل كخادم بعيد. في Claude Code: claude mcp add --transport http robots-txt-ai-crawler-checker 'https://robots-check.quietworklabs.workers.dev/mcp'. وفي العملاء الآخرين، الصق إعداد JSON من هذه الصفحة في إعدادات MCP الخاصة بهم.

هل يحتاج Robots.txt & AI Crawler Checker إلى مفتاح API؟

لا يذكر إدراجه في السجل أي مفتاح أو سر إلزامي. قد تتطلب بعض الميزات حسابًا لدى الخدمة التي يتصل بها.

من يصون Robots.txt & AI Crawler Checker؟

ينشره dev.workers.quietworklabs.robots-check. يدرجه AI.tn لكنه لا يصونه ولا يوصي به.

من سجل MCP الرسمي. الإدراج ليس توصية: راجع شيفرة الخادم وصلاحياته قبل منحه الوصول إلى بياناتك.