Crowdsourcing-Übersicht

Wie das Crowdsourcing-System von Crowdee funktioniert — sowohl als automatisierte Crowd-Stages in Verifizierungs-Pipelines als auch als direkt veröffentlichte Crowd-Jobs.

Das Crowdsourcing-System von Crowdee verteilt strukturierte Prüfaufgaben an einen geprüften globalen Pool aus Crowd-Workern und Fachexperten. Menschliches Urteilsvermögen wird sowohl an definierten Punkten im Verifizierungsprozess als auch direkt über plattformverwaltete Crowd-Job-Kampagnen einbezogen.

Crowdsourcing-Modi

Crowdee unterstützt zwei unterschiedliche Crowdsourcing-Modi, die unabhängig voneinander oder in Kombination genutzt werden können.

Pipeline-Crowd-Stages — automatisierte Crowd-Überprüfung, die in Tier-2- und Tier-3-Verifizierungs-Pipelines eingebettet ist. Wenn eine Pipeline eine Crowd-Stage erreicht, verteilt Crowdee Aufgaben automatisch an geeignete Worker, aggregiert die Antworten, wendet Konsens-Schwellenwerte und IRA-Scoring an und setzt die Pipeline mit dem Crowd-Urteil fort. Diese Aufgaben werden nicht direkt erstellt oder verwaltet — sie werden vollständig durch die Pipeline-Konfiguration gesteuert.

Direkte Crowd-Jobs — plattformverwaltete Kampagnen, bei denen Sie ein Survey-Template definieren, optional einen Eingabedatensatz anhängen, um Aufgabenvarianten zu erstellen, Vergütungen pro Aufgabe und Gültigkeitszeiträume festlegen und den Job im Worker-Pool veröffentlichen. Worker beanspruchen Aufgaben-Slots eigenständig; Sie überprüfen und akzeptieren oder lehnen jede Antwort ab und exportieren die Ergebnisse oder wandeln sie in Datensätze und Eingabedaten für weitere Pipeline-Runs um. Direkte Crowd-Jobs sind unabhängig von Verifizierungs-Pipelines und das richtige Werkzeug für Datenerhebung, Annotation, Qualifikationstests und iterative Labelling-Workflows.

Rolle der Crowd bei der Verifizierung

Crowd-Stages dienen als Qualitätstore innerhalb einer Pipeline. Die KI läuft zuerst und liefert strukturierte Erkenntnisse sowie ein vorläufiges Urteil. Crowd-Worker prüfen anschließend die KI-Erkenntnisse und wenden ihr eigenes unabhängiges Urteilsvermögen auf denselben Inhalt an. Dieses hybride Modell reduziert sowohl Falsch-Positive als auch Falsch-Negative im Vergleich zu rein KI-basierten oder rein menschlichen Ansätzen, da jede Methode die Schwächen der anderen ausgleicht.

KI-Stages sind schnell und konsistent, können jedoch kulturelle Nuancen übersehen, Kontext falsch einschätzen oder bei ungewöhnlichen Kompressionsartefakten versagen. Menschliche Worker erkennen, was das Modell übersieht. Umgekehrt unterliegen Crowd-Stages der individuellen Variation einzelner Worker, weshalb Konsens-Schwellenwerte und Inter-Rater-Agreement-Scoring angewendet werden, bevor eine Crowd-Stage abgeschlossen werden kann. Das Ergebnis ist ein Urteil, das die komplementären Stärken beider Ansätze vereint.

Pipeline-Tiers, die Crowd-Stages enthalten:

Tier 2 (KI + Crowd): verify-image-deep, verify-video-full, verify-audio-deepfake, verify-news-article, verify-social-post
Tier 3 (Kontext-gesteuert oder Multi-Datei, mit optionaler Crowd): verify-url-credibility, verify-identity-claim, verify-multimedia-cross-modal

Tier-1-Pipelines sind reine KI-Pipelines und beinhalten keine Crowd-Stages.

Crowdsourcing-Architektur

Crowd-Jobs

Crowdsourcing-Jobs direkt erstellen, veröffentlichen und verwalten — Aufgaben definieren, Vergütungen festlegen und den gesamten Job-Lebenszyklus steuern.

Antworten

Gesammelte Worker-Antworten überprüfen, akzeptieren, ablehnen und exportieren oder in Datensätze und Eingabedaten für weitere Pipeline-Runs umwandeln.

Task-Templates

Wie Crowd-Aufgaben mithilfe von SurveyJS strukturiert werden — der Fragebogen, den jeder Worker während einer Crowd-Stage sieht.

Eingabedaten

Datensätze, Listen und Gruppen, die die Generierung von Aufgabenvarianten für die Massen- oder parametrisierte Crowd-Prüfung steuern.

Worker

Das Crowdee-Crowd-Panel, Worker-Spezialisierungs-Tags und wie das Task-Routing Aufgaben den geeigneten Workern zuweist.

Qualitätskontrolle

Konsens-Schwellenwerte, Inter-Rater-Agreement-Scoring und Antwortvalidierung — wie Crowdee die Zuverlässigkeit von Crowd-Urteilen sicherstellt.

Lebenszyklus einer Crowd-Stage

Eine Crowd-Stage beginnt, wenn eine laufende Pipeline eine Stage vom Typ crowd oder expert erreicht. Der Gesamtstatus des Runs wechselt von running zu awaiting_crowd, und die Pipeline pausiert, bis die Crowd-Stage abgeschlossen ist.

Aufgabenvorbereitung — Wenn die Pipeline eine Crowd-Stage erreicht, wird eine Aufgabe zusammengestellt, die das konfigurierte SurveyJS-Template der Crowd-Stage, die Anreicherungsmetadaten der Datei und den jeweils geltenden Verifizierungskontext verwendet. Die Aufgabe wird als strukturierter Fragebogen für die Verteilung vorbereitet.

Worker-Matching und Verteilung — Die Aufgabe wird an geeignete Worker verteilt, deren Tags der workerTags-Anforderung der Crowd-Stage entsprechen. Worker werden automatisch durch das Matching-System von Crowdee auf Basis von Tags, Sprache und aktueller Verfügbarkeit ausgewählt. Eine manuelle Auswahl einzelner Worker ist nicht möglich.

Worker-Antworten — Worker füllen den strukturierten Fragebogen unabhängig voneinander aus. Jede Antwort wird gegen das SurveyJS-Template-Schema validiert. Unvollständige oder ungültige Antworten werden abgelehnt und der Worker wird zur erneuten Einreichung aufgefordert.

Aggregation und Konsenzprüfung — Sobald die Mindestanzahl an Antworten (minResponses) gesammelt wurde, prüft Crowdee, ob der consensusThreshold erreicht wird. Wenn der erforderliche Prozentsatz der Worker der Mehrheitsantwort zustimmt, verzeichnet die Crowd-Stage ein Urteil und die Pipeline wird fortgesetzt.

Zusätzliche Rekrutierung (falls erforderlich) — Falls minResponses gesammelt wurden, der consensusThreshold jedoch nicht erreicht wurde, werden zusätzliche Worker rekrutiert. Wenn nach der maximalen Anzahl an Versuchen kein Konsens erzielt werden kann, wird das Stage-Urteil als inconclusive verzeichnet.

Pipeline-Fortsetzung — Das Ergebnis der Crowd-Stage — Urteil, Konfidenz und Inter-Rater-Agreement-Score — wird in den Stage-Datensatz geschrieben und der nächsten Stage zur Verfügung gestellt. Bei Pipelines, auf deren Crowd-Stage eine KI-Synthese-Stage folgt, erhält die KI die Crowd-Erkenntnisse als Teil ihres Kontexts.

Crowdsourcing aktivieren

Das Modul crowdsourcing muss für Ihre Organisation aktiviert sein, bevor Crowd-Stages ausgeführt werden können. Wenn Crowdsourcing nicht aktiviert ist, schlagen Pipelines, die Crowd-Stages enthalten, an der Crowd-Stage mit einem Konfigurationsfehler fehl, anstatt Aufgaben an Worker weiterzuleiten.

Um Crowdsourcing zu aktivieren, wenden Sie sich an hello@crowdee.ai. Kunden mit Enterprise- und Managed-Plan können Crowdsourcing im Rahmen ihres Onboardings aktivieren. Die Nutzung wird pro Crowd-Stage-Ausführung abgerechnet, wobei die Preisgestaltung zwischen allgemeiner Crowd und Experten-Tiers unterschieden wird.

Crowdsourcing ist standardmäßig in den Managed- und Enterprise-Plänen enthalten. Wenn Sie einen Self-Service-Plan nutzen und Tier-2- oder Tier-3-Pipelines ausführen möchten, nehmen Sie Kontakt auf, um den Zugang zu besprechen.