Which AI Model?

Route a messageNachricht zuordnen

Check the scopeZuständigkeit prüfen

Draft a structured replyAntwort entwerfen

Answer from the guideIm Leitfaden nachschlagen

Macro-F1 balances performance across component groups. The interval describes uncertainty. Coverage is the share of complaints the model classified; unclear answers count as wrong.Makro-F1 gewichtet die Leistung über die Bauteilgruppen. Das Intervall beschreibt die Unsicherheit. Abdeckung ist der Anteil zugeordneter Beschwerden; unklare Antworten zählen als falsch.

NHTSA ODI complaints. U.S. government work, public domain.NHTSA-ODI-Beschwerden. Werk der US-Regierung, gemeinfrei.

def route_message(
    message: str,
    *,
    transport: httpx.BaseTransport | None = None,
    base_url: str | None = None,
    model: str | None = None,
    api_key: str | None = None,
    timeout_s: float = 30.0,
) -> LegacyResult:
    """Send one raw chat-completions request and return the unparsed reply."""
    started = time.perf_counter()
    key = api_key if api_key is not None else env("ROUTER_KEY")
    if not key:
        return LegacyResult("", [], elapsed_ms(started), "ROUTER_KEY is not set")
    url = (base_url or env("ROUTER_BASE_URL", "http://localhost:8080/v1") or "").rstrip("/")
    body = {
        "model": model or env("ROUTER_MODEL", "router-small"),
        "messages": [{"role": "user", "content": _PROMPT.format(message=message)}],
        "temperature": 0,
    }
    headers = {"Authorization": f"Bearer {key}", "Content-Type": "application/json"}
    try:
        with httpx.Client(transport=transport, timeout=timeout_s, follow_redirects=False) as client:
            response = client.post(f"{url}/chat/completions", headers=headers, json=body)
            if response.status_code >= 400:
                return LegacyResult(
                    "", [], elapsed_ms(started), f"API request failed (HTTP {response.status_code})"
                )
            data: Any = response.json()
    except (httpx.HTTPError, ValueError) as exc:
        return LegacyResult("", [], elapsed_ms(started), error_text(exc, key))
    try:
        content = data["choices"][0]["message"]["content"] or ""
        if not isinstance(content, str):
            raise TypeError("assistant content is not a string")
    except (KeyError, IndexError, TypeError) as exc:
        return LegacyResult("", [], elapsed_ms(started), error_text(exc))
    return LegacyResult(content, [], elapsed_ms(started), None)

def route_message(
    message: str,
    model: BaseChatModel,
    *,
    call: TraceCall | None = None,
) -> RouteOut | None:
    """One structured call; ``None`` means the answer did not match ``RouteOut``."""
    answer = ask(
        model,
        RouteOut,
        prompt_messages(SYSTEM_PROMPT, message),
        task=TASK,
        tool=TOOL,
        prompt_version=PROMPT_VERSION,
        call=call,
    )
    return answer.parsed if answer.schema_valid else None

The foundation adds validation and traceability; fewer lines of code is not the claim.Die Basis ergänzt Validierung und Nachvollziehbarkeit; weniger Codezeilen sind nicht das Ziel.

When the same model changesWenn sich dasselbe Modell ändert

A fresh GPT 6 Luna scope run changed the temperature from the provider default to zero. The comparison was refused until that setting change was explicitly accepted, then passed with a warning.Ein neuer Zuständigkeitslauf mit GPT 6 Luna änderte die Temperatur vom Anbieterstandard auf null. Der Vergleich wurde verweigert, bis die Änderung ausdrücklich bestätigt wurde. Danach bestand er mit einer Warnung.

REFUSED → PASS · 71.0% → 71.1%.

wam recheck run \
  --models config/models.lock.toml \
  --tasks T-SCOPE \
  --against results/runs/live \
  --candidate gpt-6-luna \
  --run-id recheck-gpt-6-luna

The assistant looks up and cites passages from this project’s guide. These are original English recordings, not live answers. Retrieval success does not establish answer correctness.Der Assistent sucht und zitiert Abschnitte im Projektleitfaden. Dies sind englische Originalaufzeichnungen, keine Live-Antworten. Erfolgreiche Suche belegt nicht die Richtigkeit der Antwort.

• Route a support messageNachricht zuordnen English ·Englisch · 616 itemsAufgaben
• Check whether a message is in scopeZuständigkeit prüfen English ·Englisch · 300 itemsAufgaben
• Draft a structured replyAntwort entwerfen English ·Englisch · 150 itemsAufgaben
• Answer from the guideIm Leitfaden nachschlagen English ·Englisch · 40 itemsAufgaben
• Sort electrical complaints and flag safetyFahrzeugbeschwerden zuordnen English ·Englisch · 600 itemsAufgaben

Each value in the page data names its source file.Jeder Wert in den Seitendaten nennt seine Quelldatei. Download page data (JSON)Seitendaten herunterladen (JSON)

• results/runs/live/manifest.json
• results/runs/live/cells.json
• results/runs/live/calls.jsonl
• results/runs/live/budget.json
• results/recommendations.json
• results/baseline/metrics.json
• results/inventory/before.json
• results/inventory/after.json
• results/gate_demo.json
• results/gate_refused_demo.json
• results/runs/live-v1.1/manifest.json
• results/runs/live-v1.1/cells.json
• results/baseline/defect.json
• results/gate_demo_defect.json
• results/runs/recheck-demo/recheck.json
• results/runs/recheck-demo-accepted/recheck.json
• results/cards/T-ROUTE.json
• results/cards/T-SCOPE.json
• results/cards/T-REPLY.json
• results/cards/T-DOCS.json
• results/cards/defect.json