Crossmodale Multimedia-Konsistenz

KI-gestützte Mehrfachdateianalyse und crowd-basierte Kreuzreferenzierung zur Überprüfung der Konsistenz zwischen verwandten Bild-, Video- und Audiodateien.

Die Pipeline zur crossmodalen Multimedia-Konsistenz akzeptiert 2 bis 10 Mediendateien gemischter Typen (Bilder, Videos und Audio) und prüft, ob diese gegenseitig konsistent sind — d. h. ob sie plausiblerweise aus demselben realen Ereignis stammen könnten. Sie ist für Ermittlungsteams konzipiert, die mehrere vermeintliche Beweismittel gesammelt haben und feststellen möchten, ob diese als Gesamtheit authentisch und kohärent sind.

Im Gegensatz zu Einzeldatei-Pipelines, die einzelne Medienstücke isoliert bewerten, behandelt diese Pipeline den gesamten Dateisatz als Analyseeinheit. Zunächst wird jede Datei unabhängig verarbeitet, anschließend werden die Ergebnisse kreuzreferenziert, um Inkonsistenzen in Bezug auf Zeit, Ort, Beleuchtung, akustische Umgebung und Metadaten zu erkennen. Eine Crowdsourcing-Stufe mit fünf Mitarbeitenden bietet eine menschliche Ebene der Kreuzreferenzierung, bevor das abschließende Urteil synthetisiert wird.

Pipeline-Details

Eigenschaft	Wert
Pipeline-ID	`verify-multimedia-cross-modal`
Stufe	3
Geschätzte Dauer	~90 Min.
Kosten	4.500 Credits pro Run
Crowd-Stufen	Ja (5 Mitarbeitende, 60 % Konsens)
Erforderliche Dateien	Ja — 2–10 Mediendateien (gemischte Typen: Bild, Video, Audio)

Erforderliche Eingaben

Dateien

Zwischen 2 und 10 Mediendateien. Gemischte Dateitypen sind zulässig — Bilder, Videos und Audiodateien können alle in derselben Ausführung enthalten sein. Alle Dateien müssen zum selben Projekt gehören und vor der Erstellung der Ausführung den Status enrichmentStatus: "completed" aufweisen. Weitere Informationen finden Sie unter Dateien & Anreicherung.

Kontextschlüssel

Schlüssel	Erforderlich	Beschreibung
`claimed_event`	Optional	Ereignis oder Nachrichtengeschichte, die die Dateien angeblich dokumentieren.
`claimed_date`	Optional	Behauptetes Datum des Ereignisses.
`claimed_location`	Optional	Behaupteter Ort des Ereignisses.

Stufen

Einzelanalyse (KI)

Jede Datei im Satz wird einzeln auf Integrität und kontextuelle Signale analysiert — dabei werden Zeitstempel, GPS-Koordinaten, Gerätemetadaten, akustische Umgebungsmerkmale, Lichtverhältnisse und alle anderen für den jeweiligen Dateityp verfügbaren Signale extrahiert. Diese Stufe erstellt ein dateibezogenes Profil, das in die Konsistenzprüfung einfließt.

Konsistenzprüfung (KI)

Kreuzreferenziert alle dateibezogenen Profile, um zu beurteilen, ob die Dateien gegenseitig konsistent sind. Die KI prüft, ob Zeitstempel übereinstimmen, ob die Standorte geografisch plausibel zueinander sind, ob Beleuchtung und Schattenrichtungen über Bilder und Videoframes hinweg kohärent sind, und ob akustische Umgebungssignale zu den gezeigten visuellen Umgebungen passen. Alle crossmodalen Abweichungen werden mit einer Erklärung markiert.

Crowd-Kreuzreferenzierung (Crowd)

Fünf Mitarbeitende mit dem Tag general überprüfen unabhängig voneinander den vollständigen Dateisatz zusammen mit den KI-Konsistenzbefunden. Die Mitarbeitenden beurteilen, ob die Dateien als Gesamtheit kohärent wirken, und markieren alles, was die KI möglicherweise übersehen hat. Für die Durchführung eines endgültigen Urteils ist ein Mindestkonsens von 60 % (3 von 5 Mitarbeitenden) erforderlich.

Einheitliches Urteil (KI-Synthese)

Fasst die Einzeldateianalysen, die Ergebnisse der Konsistenzprüfung und die Ergebnisse der Crowd-Kreuzreferenzierung zu einem einzigen crossmodalen Urteil für den gesamten Dateisatz zusammen. Das Urteil gibt an, ob die Dateien untereinander und mit dem behaupteten Ereigniskontext konsistent sind — nicht ob eine einzelne Datei für sich genommen authentisch ist.

Ausführung starten

curl -X POST https://api.crowdee.ai/v2/projects/{projectId}/verification-runs \
  -H "X-API-Key: crw_YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "pipeline_id": "verify-multimedia-cross-modal",
    "file_ids": ["{imageFileId}", "{videoFileId}", "{audioFileId}"],
    "context": {
      "claimed_event": "Protest at Brandenburg Gate",
      "claimed_date": "2024-09-22",
      "claimed_location": "Berlin, Germany"
    }
  }'

Beispielantwort

{
  "id": "run_01j9x...",
  "status": "completed",
  "verdict": "inconclusive",
  "confidence": 61,
  "pipeline_id": "verify-multimedia-cross-modal",
  "scorecard": {
    "image_integrity": "pass",
    "video_integrity": "pass",
    "audio_timestamp_consistency": "fail",
    "location_coherence": "pass",
    "crowd_consensus": "pass"
  },
  "explanation": "Image and video files are mutually consistent with the claimed event, date, and location. However, the audio file's embedded timestamp is inconsistent with the video — the audio was recorded approximately 4 hours earlier than the video metadata indicates. This discrepancy prevents a confident authentic verdict."
}

Übergeben Sie alle Datei-IDs im Array file_ids — zwischen 2 und 10 Dateien. Alle Dateien müssen zum selben Projekt gehören und den Status enrichmentStatus: "completed" aufweisen.

Das Urteil spiegelt die Konsistenz innerhalb des Dateisatzes wider, nicht die Authentizität einzelner Dateien. Für die Authentifizierung einzelner Dateien führen Sie zunächst individuelle Pipelines aus und verwenden Sie diese Pipeline anschließend zur Überprüfung der crossmodalen Kohärenz.