Bewertung von KI-Ergebnissen

Verifikations- und Language-Technology-Pipelines liefern ein Urteil und eine Erklärung, aber ein Konfidenzwert allein sagt nichts darüber aus, ob diese Erklärung für einen Menschen tatsächlich nachvollziehbar ist. Die Bewertung von KI-Ergebnissen lässt genau das von einem Crowd-Panel beurteilen — wie klar, gut belegt und handlungsleitend ein gegebenes KI-Ergebnis ist — und protokolliert jede Bewertung als dauerhaftes Feedback-Signal für diese KI-Komponente.

Eine Bewertung anfordern

Bewertungen werden für einen abgeschlossenen Lauf angefordert, identifiziert durch einen Quelltyp und eine ID:

curl -X POST https://api.crowdee.ai/v2/projects/{projectId}/ai-output-evaluations \
  -H "X-API-Key: crw_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "sourceType": "verification_pipeline_run",
    "sourceId": "run_01j9x...",
    "minResponses": 3
  }'

Die Antwort ist ein Bewertungs-Batch:

{
  "id": "batch_01j9x...",
  "sourceType": "verification_pipeline_run",
  "sourceId": "run_01j9x...",
  "status": "dispatched",
  "minResponses": 3,
  "aggregateTransparencyScore": null
}

Im Hintergrund erzeugt die Anforderung einer Bewertung automatisch eine Crowd-Aufgabe, die die Pipeline, das Urteil und die Erklärung des Laufs anzeigt, und verteilt sie an minResponses Crowd-Arbeitende — Sie müssen keine eigene Aufgabenvorlage erstellen.

Die Ausgabe Ihrer eigenen KI bewerten

sourceType: "external_submission" erlaubt es Ihnen, eine Bewertung für ein KI-Ergebnis anzufordern, das außerhalb von Crowdee entstanden ist — Ihr eigenes Modell, eine Drittanbieter-API, alles mit einem Urteil und einer Erklärung. Da es keinen bestehenden internen Lauf gibt, auf den verwiesen werden kann, nutzen Sie stattdessen den dedizierten Endpunkt, der die Ausgabe direkt entgegennimmt:

curl -X POST https://api.crowdee.ai/v2/projects/{projectId}/ai-output-evaluations/external \
  -H "X-API-Key: crw_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "modelName": "Acme Fraud Detector v3",
    "verdict": "vermutlich betrügerisch",
    "explanation": "Das Transaktionsmuster entspricht bekanntem Card-Testing-Verhalten: 14 Mikro-Belastungen innerhalb von 6 Minuten an nicht verbundene Händler.",
    "confidence": 87,
    "evidenceUrls": ["https://internal.acme.example/case/8841"],
    "minResponses": 3
  }'

Im Hintergrund werden die übermittelten Felder als ein Input-Data-Set mit einer Variante gespeichert (eine Liste pro Feld) statt in einer eigenen Tabelle — Input-Data. sourceId im resultierenden Batch verweist auf die ID dieses Input-Data-Sets, dieselbe Kennung, die Sie auch von der regulären Input-Data-API zurückerhalten würden. Alles Nachgelagerte — GET /v2/ai-output-evaluations, .../results und das Feedback-Protokoll — funktioniert unabhängig vom Quelltyp identisch.

Kosten

Jede Crowd-Antwort kostet 15 Credits, unabhängig von der Quell-Pipeline. Die Gesamtkosten betragen minResponses × 15 Credits und werden bei der Verteilung des Batches im Voraus blockiert:

Was Prüfende bewerten

Jede prüfende Person bewertet das KI-Ergebnis anhand von vier Dimensionen, jeweils 1–5:

Prüfende können das Ergebnis zudem für ein Retraining oder eine Prompt-Überarbeitung markieren und Freitext-Anmerkungen hinterlassen.

Batch-Status und Bewertung

Sobald ausreichend Antworten eingehen, berechnet Crowdee einen Transparenzwert (0–100) pro Antwort — Klarheit, ausreichende Evidenz und Handlungsleitung tragen positiv bei, das Bias-Risiko negativ — und mittelt über alle Antworten zum aggregateTransparencyScore des Batches.

GET https://api.crowdee.ai/v2/ai-output-evaluations/{batchId}
X-API-Key: crw_YOUR_API_KEY

{
  "id": "batch_01j9x...",
  "status": "completed",
  "minResponses": 3,
  "responseCount": 3,
  "aggregateTransparencyScore": "78.00"
}

Rufen Sie jede einzelne Bewertung und etwaiges Freitext-Feedback ab:

GET https://api.crowdee.ai/v2/ai-output-evaluations/{batchId}/results
X-API-Key: crw_YOUR_API_KEY

Der Feedback-Kreislauf

Jede eingereichte Bewertung wird zusätzlich in ein anhängendes (append-only) Feedback-Protokoll geschrieben, geordnet nach der bewerteten KI-Pipeline. Dies ist die Aufzeichnung hinter der langfristigen Verbesserung einer KI-Komponente — Crowdee trainiert oder passt Prompts nicht automatisch anhand dessen an; es handelt sich um ein dauerhaftes Signal, das Ihr Team (oder unseres) manuell nutzen kann.

curl -X PATCH https://api.crowdee.ai/v2/ai-output-evaluations/feedback/{feedbackLogId} \
  -H "X-API-Key: crw_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"appliedNotes": "Reworded verdict-synthesis prompt to cite specific evidence."}'

Das Markieren eines Feedback-Eintrags als angewendet protokolliert, wer ihn wann angewendet hat, sowie etwaige Anmerkungen — ein einfacher Audit-Trail für Prompt- oder Pipeline-Änderungen, die als Reaktion auf Crowd-Feedback vorgenommen wurden.