Datensätze

Versionierte Sammlungen von Mediendateien zum Trainieren und Testen von Verifizierungs-Pipelines.

Datensätze sind verwaltete Sammlungen von Mediendateien, die unabhängig von Projekten existieren. Im Gegensatz zu Projektdateien, die einem einzelnen Forschungsworkflow zugeordnet sind, sind Datensätze wiederverwendbar: Sie können ein Korpus von Audiodateien einmalig hochladen und verschiedene Bereinigungs- und Anreicherungs-Pipelines anwenden, ohne die zugrunde liegenden Dateien zu duplizieren.

Jeder Datensatz ist versioniert. Das System verfolgt, wie Dateien durch Bereinigung und Anreicherung verändert werden, sodass Sie stets einen klaren Prüfpfad vom Roheingang bis zur verarbeiteten Ausgabe haben.

Modalitäten

Jeder Datensatz hat eine einzelne Modalität, die den Inhaltstyp beschreibt.

Modalität	Inhaltstypen
`image`	JPEG, PNG, WebP, TIFF, GIF
`audio`	MP3, WAV, FLAC, OGG, M4A
`video`	MP4, MOV, WebM, AVI
`text`	TXT, MD, HTML
`document`	PDF
`multimodal`	Gemischte Typen innerhalb eines Datensatzes

Die Modalität bestimmt, welche Bereinigungs-Pipelines verfügbar sind und welche Anreicherungs-Worker beim Anreichern hochgeladener Dateien eingesetzt werden.

Versionierung

Jeder Datensatz beginnt mit einer Version: der Roh-Version. Diese Version ist unveränderlich — einmal hochgeladene Dateien können nicht ersetzt, sondern nur hinzugefügt oder entfernt werden. Alle weiteren Verarbeitungen erstellen neue abgeleitete Versionen.

roh  ──→  bereinigt  ──→  bereinigt_und_angereichert
 └─────────────────────────→ (Anreicherung ab roh)

Versionszustände

Zustand	Bedeutung
`raw`	Initiale Version; Dateien direkt vom Benutzer hochgeladen
`cleaning`	Ein Bereinigungspipeline-Job läuft
`cleaned`	Bereinigung erfolgreich abgeschlossen
`enriching`	Datei-spezifische Anreicherungs-Jobs laufen
`cleaned_and_enriched`	Anreicherung einer bereinigten Version abgeschlossen
`failed`	Verarbeitung fehlgeschlagen; siehe `error`-Feld der Version

Anreicherung kann von einer raw- oder cleaned-Version aus gestartet werden. Das Starten der Anreicherung erstellt immer eine neue abgeleitete Version, sodass die Quell-Version nie verändert wird.

Bereinigungs-Pipelines

Eine Bereinigungs-Pipeline ist ein Hintergrundjob, der jede Datei in einer Version verarbeitet und eine neue abgeleitete Version mit den bereinigten Ausgaben erstellt. Der Pipeline-Slug identifiziert die anzuwendende Transformation.

Verfügbare Bereinigungs-Pipelines:

Slug	Modalität	Beschreibung
`clean-audio-silence`	`audio`	Schneidet führende und abschließende Stille (Schwelle −50 dBFS, Mindestdauer 0,3 s) mit ffmpeg

Die vollständige Liste ist unter GET /v2/datasets/catalog/cleaning-pipelines abrufbar. Jede Pipeline deklariert die unterstützten Modalitäten, damit API und UI kompatible Optionen automatisch filtern können.

Dateien, die die Bereinigungs-Pipeline nicht verändern muss, werden unverändert mit der neuen Version verknüpft. Nur Dateien, bei denen tatsächlich Stille erkannt wurde, werden ersetzt.

Dateiherkunft

Wenn eine Bereinigungs-Pipeline eine veränderte Datei erstellt, wird die sourceFileId — die ID der ursprünglichen Rohdatei — gespeichert. Dieser Link wird in dataset_version_files abgelegt und in Versionsdetail-Antworten zurückgegeben.

{
  "id": "dvf_abc123",
  "fileId": "file_cleaned_xyz",
  "sourceFileId": "file_raw_abc"
}

Verwenden Sie sourceFileId, um jede verarbeitete Datei bis zu ihrem Ursprung zurückzuverfolgen. Das Feld ist null für Dateien, die nicht verändert wurden.

Datensätze mit Verifizierungs-Pipelines verwenden

Sobald eine Datensatzversion angereichert wurde, tragen ihre Dateien dieselben technischen Metadaten wie reguläre Projektdateien und können für Verifizierungsläufe eingereicht werden. Exportieren Sie vorzeichnete Download-URLs für eine Version über GET .../versions/{versionId}/export und laden Sie die Dateien dann bei Bedarf in ein Projekt hoch.

Weitere Informationen zu den je Medientyp extrahierten Anreicherungsfeldern finden Sie unter Dateien & Anreicherung.