Kontinuierliches KI-Monitoring

Die Bewertung von KI-Ergebnissen bewertet einen einzelnen Lauf auf Anfrage. Kontinuierliches Monitoring ist die dauerhaft aktive Variante derselben Idee: Sie definieren einmalig einen Zeitplan, und Crowdee stichprobenartig einen aktuellen Lauf aus, verteilt dafür eine Crowd-Bewertung und verfolgt, wie sich der resultierende Transparenzwert im Zeitverlauf entwickelt — und markiert einen Lauf, wenn er spürbar vom eigenen gleitenden Durchschnitt des Zeitplans abweicht.

Einen Zeitplan erstellen

curl -X POST https://api.crowdee.ai/v2/monitoring-schedules \
  -H "X-API-Key: crw_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "sourceType": "verification_pipeline_run",
    "cadence": "daily",
    "sampleCount": 1
  }'

Was bei jedem Durchlauf passiert

Entsprechend seiner konfigurierten Taktung führt ein Zeitplan Folgendes aus:

1. Er sucht im Geltungsbereich (organisations- oder projektweit, passend zu sourceType) nach abgeschlossenen Läufen aus dem vorherigen Zeitraum, die dieser Zeitplan noch nicht ausgewertet hat.
2. Findet er keinen, wird ein monitoring_runs-Eintrag mit sampledCount: 0 und status: "completed" gespeichert — ein leerer Zeitraum ist kein Fehler.
3. Andernfalls wird für den ausgewählten Lauf ein Bewertungs-Batch verteilt, genau wie es POST /v2/projects/{projectId}/ai-output-evaluations tun würde, inklusive Blockierung von Credits aus Ihrem Organisationsguthaben.
4. Sobald das Crowd-Panel das Quorum erreicht, wird der Gesamttransparenzwert des Batches in den Monitoring-Lauf zurückgeschrieben, zusammen mit einem driftFlag, das ihn mit dem gleitenden Durchschnitt vorheriger abgeschlossener Läufe des Zeitplans vergleicht.

GET https://api.crowdee.ai/v2/monitoring-schedules/{scheduleId}/runs
X-API-Key: crw_YOUR_API_KEY

[
  {
    "id": "mrun_01j9x...",
    "periodStart": "2026-07-02T00:00:00.000Z",
    "periodEnd": "2026-07-03T00:00:00.000Z",
    "sampledCount": 1,
    "batchId": "batch_01j9x...",
    "aggregateScore": "62.00",
    "driftFlag": true,
    "status": "completed"
  }
]

Kosten

Ein Durchlauf, der nichts zur Stichprobe findet, ist kostenlos. Ein Durchlauf, der einen Bewertungs-Batch verteilt, kostet genauso viel wie eine manuelle KI-Ergebnisbewertung — standardmäßig 45 Credits (15 Credits pro Crowd-Antwort × 3 Antworten) —, die bei der Verteilung von Ihrem Organisationsguthaben blockiert werden. Es gibt keine separate, monitoring-spezifische Gebühr.

Drift-Erkennung

driftFlag wird gesetzt, wenn der Gesamttransparenzwert eines Laufs mehr als einen festen Schwellenwert vom eigenen gleitenden Durchschnitt vorheriger abgeschlossener Läufe des Zeitplans abweicht. Beim ersten ausgewerteten Lauf eines Zeitplans gibt es noch keine Vergleichsbasis, daher ist driftFlag so lange false, bis mindestens ein vorheriger Lauf abgeschlossen wurde — die Drift-Erkennung ist naturgemäß ein relatives, sich selbst kalibrierendes Signal pro Zeitplan, kein absoluter Qualitätsmaßstab.

Nutzen Sie PATCH, um einen Zeitplan zu pausieren (isActive: false), ohne seinen Verlauf zu verlieren, seine Taktung anzupassen oder zu ändern, was er auswertet:

curl -X PATCH https://api.crowdee.ai/v2/monitoring-schedules/{scheduleId} \
  -H "X-API-Key: crw_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"cadence": "hourly"}'

Das Löschen eines Zeitplans (DELETE /v2/monitoring-schedules/{scheduleId}) beendet zukünftige Durchläufe; vergangene Monitoring-Läufe und ihre Bewertungs-Batches bleiben davon unberührt.