English Français العربية

io.github.bch1212/modelwatch

السجل الرسمي الذكاء الاصطناعي والوكلاء

Continuous behavioral drift monitoring for LLM apps — catches silent provider model updates.

الشيفرة المصدرية الموقع التوثيق

التثبيت

أضف هذا إلى إعدادات MCP في عميلك (Claude Desktop: claude_desktop_config.json، وCursor: ‏.cursor/mcp.json، ويستخدم VS Code وغيره الصيغة نفسها «mcpServers»).

NPM package modelwatch-mcp
Claude Code 
claude mcp add modelwatch -e 'MODELWATCH_API_KEY=<your modelwatch_api_key>' -e 'MODELWATCH_API_BASE=https://api.modelwatch.app' -- npx -y modelwatch-mcp@0.1.3
إعداد JSON (Claude Desktop وCursor وVS Code) 
{
    "mcpServers": {
        "modelwatch": {
            "command": "npx",
            "args": [
                "-y",
                "modelwatch-mcp@0.1.3"
            ],
            "env": {
                "MODELWATCH_API_KEY": "<your modelwatch_api_key>",
                "MODELWATCH_API_BASE": "https://api.modelwatch.app"
            }
        }
    }
}

متغيرات البيئة

  • MODELWATCH_API_KEY إلزامي سري API key from https://modelwatch.app (free tier: 5 specs, 500 runs/mo).
  • MODELWATCH_API_BASE Override the API base URL for self-hosted deployments.

التوثيق

مأخوذ من ملف README للمشروع على GitHub ويُحدَّث أسبوعيًا. تفتح الروابط على GitHub.

ModelWatch

Continuous behavioral drift monitoring for LLM-powered applications. Define a spec (input and expected behavior), ModelWatch replays it on a schedule against your model endpoint, and alerts when the output drifts from the baseline.

Customers bring their own OpenAI or Anthropic key. Auth is a workspace key minted at POST /api/auth/signup (Authorization: Bearer mw_...).

  • API: https://api.modelwatch.app
  • App: https://modelwatch.app
  • HTTP reference: frontend/docs.html
pip install -r requirements.txt
pytest tests/ -q

Tool monitoring

ModelWatch also watches the tools an agent calls. A decorator in your process records latency, success, and a fingerprint of the response shape. The API compares that fingerprint with the dominant shape from the last 24 hours and alerts on schema drift. Response values are not uploaded.

pip install -e sdk
export MODELWATCH_API_KEY=mw_...
from modelwatch import monitor

@monitor(tool_name="search_web", agent_id="researcher")
async def search_web(query: str) -> dict:
    ...

Calls go to https://api.modelwatch.app/api/tools/ingest. Read recent calls at GET /api/tools and schema changes at GET /api/tools/schema-drift. The same mw_ key and the same email/Slack settings are used. Full SDK notes, including the TypeScript wrapper, are in sdk/README.md.

Quotas for tool calls are separate from spec runs: Free 5,000/month, Pro 100,000, Team 1,000,000, Enterprise unlimited.

This feature replaces a standalone ToolPulse deployment for the same buyer. Point clients at ModelWatch (MODELWATCH_API_KEY, https://api.modelwatch.app). The decorator does not call api.toolpulse.io.

الأسئلة الشائعة

ما هو io.github.bch1212/modelwatch؟

Continuous behavioral drift monitoring for LLM apps — catches silent provider model updates.

كيف أثبّت io.github.bch1212/modelwatch؟

يعمل على جهازك. في Claude Code: claude mcp add modelwatch -e 'MODELWATCH_API_KEY=<your modelwatch_api_key>' -e 'MODELWATCH_API_BASE=https://api.modelwatch.app' -- npx -y modelwatch-mcp@0.1.3. وفي العملاء الآخرين، الصق إعداد JSON من هذه الصفحة في إعدادات MCP الخاصة بهم.

هل يحتاج io.github.bch1212/modelwatch إلى مفتاح API؟

نعم. يتطلب MODELWATCH_API_KEY، وتضبطها في إعداداته.

هل io.github.bch1212/modelwatch مفتوح المصدر؟

شيفرته علنية على GitHub، لكن المستودع لا يعلن ترخيصًا قياسيًا.

من يصون io.github.bch1212/modelwatch؟

ينشره bch1212. يدرجه AI.tn لكنه لا يصونه ولا يوصي به.

من سجل MCP الرسمي. الإدراج ليس توصية: راجع شيفرة الخادم وصلاحياته قبل منحه الوصول إلى بياناتك.