Kompromisslose Qualitätskontrolle
für verlässliche Trainingsdaten

Mindy Support ist sich darüber im Klaren, dass ein direkter Zusammenhang zwischen der Qualität von Trainingsdaten und der Leistung eines KI/ML Modells besteht.

Sollten Sie an der Qualität eines Ihnen vorliegenden Datensatzes zweifeln, der nicht von uns annotiert wurde, können wir eine Qualitätsanalyse Ihrer Trainingsdaten vornehmen.

KONTAKT AUFNEHMEN

Wie Mindy Support die Qualität von Trainingsdaten sicherstellt

Um Ihnen einen ersten Eindruck zu vermitteln, wie wir im Rahmen durchgeführter Projekte bei der Qualitätskontrolle vorgehen, um höchste Qualität der annotierten Trainingsdaten zu gewährleisten, haben wir eine Schrit für Schritt Kurzübersicht erstellt:

  • Vor Projektbeginn
  • Bei Projektbeginn
  • Während des Projektverlaufs
  • Zusätzliche Maßnahmen zur Verbesserung der Qualität
  • Reporting und Kalibrierung

    Vor Projektbeginn

  • Wir weisen jedem Projekt einen für dieses Projekt verantwortlichen Projektmanager und Manager für Qualitätssicherung zu. Vor Projektstart analysieren sie die Dokumentation und Anweisungen des Kunden und halten Rücksprache zu allen Faktoren, die Qualitätsparameter beeinflussen könnten.

    • Bei Projektbeginn

  • Zusammen mit dem Projektmanager sorgt der Manager für Qualitätssicherung, dass dem Annotation Team alle notwendigen Informationen über das Projekt und Anweisungen zur Annotation zur Verfügung gestellt werden. Nach einer Schulung werden die Data Annotatoren auf Projektwissen und Verständnis der Anweisungen getestet. Erst dann wird mit der Annotation begonnen.

    • Während des Projektverlaufs

  • Unser inhouse QA-Team nimmt täglich Zufallsstichproben der durchgeführten Annotationen und prüft diese auf Korrektheit. Je nach Anforderungen an Genauigkeit (95-99 %) beträgt der Umfang der Stichprobe 10-100%. Das QA-Team steht den Data Annotatoren auch bei Ihrer täglichen Arbeit für Rückfragen bei Problemen oder Unklarheiten zur Verfügung.

    • Zusätzliche Maßnahmen zur Verbesserung der Qualität

  • Es wird ein semi-automatisiertes System eingesetzt, um die Data Annotatoren in einem Team nach Leistung zu kategorisieren: Underperformer, Average-Performer, Top-Performer. Jede Kategorie erhält einen eigenen Aktionsplan, der visuelles Monitoring, virtuelles Monitoring, Coaching und Fehler Tracking umfasst.

    • Reporting und Kalibrierung

  • Es werden Kalibrierungssitzungen mit allen Stakeholdern der Qualitätskontrolle durchgeführt, bei denen die Besprechungen und Analysen bis in die kleinsten Details reichen können. Wöchentliche Berichte mit gängigen Qualitätsindikatoren und Ursachen bei auftretenden Qualitätsproblemen sorgen für Transparenz. Es werden auch immer Handlungsempfehlungen ausgesprochen, wie Qualitätsprobleme angegangen werden können.

    Vor Projektbeginn

  • Wir weisen jedem Projekt einen für dieses Projekt verantwortlichen Projektmanager und Manager für Qualitätssicherung zu. Vor Projektstart analysieren sie die Dokumentation und Anweisungen des Kunden und halten Rücksprache zu allen Faktoren, die Qualitätsparameter beeinflussen könnten.

    • Bei Projektbeginn

  • Zusammen mit dem Projektmanager sorgt der Manager für Qualitätssicherung, dass dem Annotation Team alle notwendigen Informationen über das Projekt und Anweisungen zur Annotation zur Verfügung gestellt werden. Nach einer Schulung werden die Data Annotatoren auf Projektwissen und Verständnis der Anweisungen getestet. Erst dann wird mit der Annotation begonnen.

    • Während des Projektverlaufs

  • Unser inhouse QA-Team nimmt täglich Zufallsstichproben der durchgeführten Annotationen und prüft diese auf Korrektheit. Je nach Anforderungen an Genauigkeit (95-99 %) beträgt der Umfang der Stichprobe 10-100%. Das QA-Team steht den Data Annotatoren auch bei Ihrer täglichen Arbeit für Rückfragen bei Problemen oder Unklarheiten zur Verfügung.

    • Zusätzliche Maßnahmen zur Verbesserung der Qualität

  • Es wird ein semi-automatisiertes System eingesetzt, um die Data Annotatoren in einem Team nach Leistung zu kategorisieren: Underperformer, Average-Performer, Top-Performer. Jede Kategorie erhält einen eigenen Aktionsplan, der visuelles Monitoring, virtuelles Monitoring, Coaching und Fehler Tracking umfasst.

    • Reporting und Kalibrierung

  • Es werden Kalibrierungssitzungen mit allen Stakeholdern der Qualitätskontrolle durchgeführt, bei denen die Besprechungen und Analysen bis in die kleinsten Details reichen können. Wöchentliche Berichte mit gängigen Qualitätsindikatoren und Ursachen bei auftretenden Qualitätsproblemen sorgen für Transparenz. Es werden auch immer Handlungsempfehlungen ausgesprochen, wie Qualitätsprobleme angegangen werden können.

Dienstleistungen für Qualitätsmanagement

Qualitätsvalidierung

  • Prüfung von Annotationen / Prä-Labels gegen erforderliche Metriken (Geometrische Genauigkeit, Label-Konformität usw.);
  • Korrekturen durch unsere Data Annotatoren (Validierung, Re-Annotation und Neu-Annotation), um das erforderliche Niveau an Genauigkeit zu erreichen;
  • Qualitätskontrolle im Rahmen der Validierung.

Wann wird dies benötigt?

  • Für die Validierung bereits annotierter Daten;
  • Qualitätsverbesserung von Trainingsdaten auf über 95%;
  • Korrektur fehlerhaft annotierter Daten;
  • Bei der Arbeit mit Prä-Annotation.

Qualitätskontrolle für Data Annotation

  • Prüfung von Annotationen / Prä-Labels gegen erforderliche Metriken (Geometrische Genauigkeit, Label-Konformität usw.);
  • Erfassung von Qualitätsindikatoren und Erstellung von Berichten über die erreichte Qualität (Genauigkeit, Präzision, Recall-Wert, F1 Score, usw.);
  • Rework Management (Nacharbeit): Feedback des QA-Teams an das Data Annotation Team und Korrektur identifizierter Fehler;
  • Unterstützung bei Korrekturmaßnahmen und der Umsetzung der Projektrichtlinien.

Wann wird dies benötigt?

  • Zur Gewährleistung eines angestrebten Qualitätsniveaus;
  • Zur Abstimmung zwischen verschiedenen Annotation Teams bei der Implementierung von Richtlinien;
  • Bei fehlenden Qualitätsindikatoren und lückenhafter Dokumentation für Qualitätsmanagement.

Qualitätsvalidierung

  • Prüfung von Annotationen / Prä-Labels gegen erforderliche Metriken (Geometrische Genauigkeit, Label-Konformität usw.);
  • Korrekturen durch unsere Data Annotatoren (Validierung, Re-Annotation und Neu-Annotation), um das erforderliche Niveau an Genauigkeit zu erreichen;
  • Qualitätskontrolle im Rahmen der Validierung.

Wann wird dies benötigt?

  • Für die Validierung bereits annotierter Daten;
  • Qualitätsverbesserung von Trainingsdaten auf über 95%;
  • Korrektur fehlerhaft annotierter Daten;
  • Bei der Arbeit mit Prä-Annotation.

Qualitätskontrolle für Data Annotation

  • Prüfung von Annotationen / Prä-Labels gegen erforderliche Metriken (Geometrische Genauigkeit, Label-Konformität usw.);
  • Erfassung von Qualitätsindikatoren und Erstellung von Berichten über die erreichte Qualität (Genauigkeit, Präzision, Recall-Wert, F1 Score, usw.);
  • Rework Management (Nacharbeit): Feedback des QA-Teams an das Data Annotation Team und Korrektur identifizierter Fehler;
  • Unterstützung bei Korrekturmaßnahmen und der Umsetzung der Projektrichtlinien.

Wann wird dies benötigt?

  • Zur Gewährleistung eines angestrebten Qualitätsniveaus;
  • Zur Abstimmung zwischen verschiedenen Annotation Teams bei der Implementierung von Richtlinien;
  • Bei fehlenden Qualitätsindikatoren und lückenhafter Dokumentation für Qualitätsmanagement.

Sie haben oder benötigen Trainingsdaten und möchten über Qualitätskontrolle oder Validierung sprechen?

KONTAKT AUFNEHMEN

Methoden zur Berechnung der Qualität von Annotationen

Die Qualität von Annotationen bezieht sich auf den Anteil korrekt annotierter Daten (Fotos, Bilder, Videos) an allen annotierten Daten oder den Anteil korrekter Annotationen an allen Annotationen. Mindy Support hat Erfahrung mit allen in der Data Annotation Branche gängigen Qualitätsindikatoren, über die wir Sie gerne informieren:

Qualität von Bildannotationen

Eine Methode, die Qualität von Bildannotationen zu messen, die normalerweise bei Bild-Tagging Projekten eingesetzt wird, ist der Anteil korrekt annotierter Bilder (x). Zur Berechnung wird die Anzahl an Bilder/Frames mit mindestens einem Annotationsfehler (z1) von der Gesamtzahl der Bilder/Frames (z) abgezogen und durch die Gesamtzahl der Bilder/Frames (z) geteilt. Formel zur Berechnung: x=(z-z1)/z.

Anteil korrekter Annotationen

Die gebräuchlichste Methode, die Qualität von Annotationen zu messen, ist der Anteil korrekter Annotationen an allen Annotationen (x). Zur Berechnung wird die Anzahl an fehlerhaften Annotationen (y1) von der Gesamtzahl aller Annotationen (y) abgezogen und durch die Gesamtzahl aller Annotationen (y) geteilt. Formel zur Berechnung: x=(y-y1)/y.

Scoring System zur Qualitätsmessung (5-Punkte Skala, 10-Punkte Skala, usw.)

Scoring Systeme werden zur Qualitätsmessung von Annotationen sehr selten verwendet, meistens dann, wenn das Zählen von Annotationen und Annotationsfehlern zu zeitaufwendig wäre. Zur Berechnung benötigen Sie die Anzahl der Annotationen mit Score (a), den maximal möglichen Score (m) und die Summe aller Scores (ma). Die Formel für die Berechnung ist dann: x=ma/(m*a).

Fallbeispiele für Qualitätskontrolle

Bei diesem Projekt sollte Mindy Support prüfen, wie gut ein anderer Anbieter Ampeln in Bildern mit Tags annotiert hatte. Die schiere Anzahl an fehlerhaften Annotationen war bereits eine Herausforderung. Im Rahmen der Validierung wurden 3-4 mal mehr falsche Annotationen identifiziert als zuvor. Um die Anforderungen an die Genauigkeit zu erfüllen, musste unser Annotation-Team sich sehr auf die Erkennung und Korrektur vieler Fehler fokussieren.

  • 2D Begrenzungsrahmen und Tagging mit Attributen
  • Steigerung der Genauigkeit von <80% auf >95%
  • 3-4 mehr identifizierte Fehler als der Dienstleister, der die Annotation durchführte

Wir mussten die Qualität von einem anderen Anbieter annotierter Daten überprüfen. Bei den Daten ging es darum, 2D-Begrenzungsrahmen um Text in Bildern zu platzieren, mit Labels zu versehen und den Text zu transkribieren. Die Bilder waren aus Geschäften, Zeitschriften, Büchern, Straßen und weiteren Orten. Jeglicher Text in den Bildern musste annotiert sein. Wir arbeiteten mit dem Tool des Kunden und übernahmen dabei ausschließlich Qualitätskontrolle ohne zusätzliche Vor-/Nachbearbeitung der Metadaten. Wir konnten die Anforderungen an Qualität vollständig erfüllen und arbeiteten als vollwertiger Teil seines Quality Assurance Teams.

  • OCR europäischer Sprachen, Text
  • 2D-Begrenzungsrahmen, Tagging mit Attributen und Transkription
  • 100% aller Kundenanforderungen wurden erfüllt

Bei diesem Projekt ging es darum, anstatt des internen Teams für Qualitätssicherung einen Teil der Qualität extern zu prüfen. Die Qualitätsprüfung umfasste Tags von Audioaufzeichnungen und Teile der Audioaufzeichnungen selbst). Zusätzlich erstellten wir Qualitätsmetriken, überwachten deren Verlauf und gaben dem internen Team Feedback zur Qualität und zu Annotationsfehlern. Einer unserer Mitarbeiter für Qualitätssicherung prüfte 10% der Arbeit eines jeden Annotators und reichte gefundene Fehler zur Korrektur ein. Er stellte auch sicher, dass alle Annotatoren die Richtlinien auf dieselbe Art und Weise verstanden. Der Kunde war sowohl mit der Geschwindigkeit, als auch der Qualität unserer Arbeit zufrieden. Im Anschluss an unsere Qualitätskontrolle hielt das interne Team für Qualitätskontrolle eine Genauigkeit von 99% aufrecht.

  • Audio Annotation
  • Steigerung der Genauigkeit auf 99%
  • Beibehaltung der Genauigkeit von 99%

Bei diesem Projekt kontrollierten und korrigierten wir Pre-Annotations. Der Kunde erstellte einen Workflow mit zweistufigem Genehmigungsprozess, wobei beim letzten Schritt eine Genauigkeit von >99% erreicht werden sollte. Die Qualität musste in allen Kategorien (Geometrie, Korrektheit der erkannten Objekte, Korrektheit der Attribute) den Anforderungen des Kunden entsprechen. Der Kunde war beeindruckt, wie schnell wir das Projektvolumen skalieren konnten und wie viel Output wir ohne Qualitätseinbußen generieren konnten.

  • Video Annotation von Straßenverkehr
  • Audio Tagging
  • Genauigkeit von >99%

Der Kunde bat um unsere Unterstützung bei der Identifizierung von Annotationsfehlern anderer Dienstleister. Fehlerhafte Annotationen wurden zur Korrektur zurückgegeben. Nach einer Prozessanalyse entwickelte Mindy Support hierfür eine Aktualisierungsstrategie. Im Rahmen derer prüfte unsere Qualitätskontrolle die Genauigkeit von Geometrie, Beschriftungen und Attribute, sammelte fehlerhafte Annotationen und stellte sicher, dass der entsprechende Dienstleister sie beheben konnte. Die Verantwortung, dass die letztendliche Qualität den Anforderungen des Kunden entsprach, lag bei unserer Abteilung für Qualitätskontrolle. Dabei arbeiteten wir im Tool des Kunden, in dem wir Annotationsfehler für die anderen Dienstleister sichtbar markieren konnten.

  • 3D Punktwolden, Lidar
  • 3D Begrenzungsboxen und Tagging mit Attributen
  • Die erzielte Qualität erfüllte 100% der Kundenanforderungen

Arbeiten Sie mit führenden Spezialisten an Ihrem KI/ ML-Projekt

    Ich stimme der Datenschutzrichtlinie zu

    Unser kleinster Projektumfang liegt bei 735 produktiven Arbeitsstunden pro Monat. Das entspricht 5 Data Annotatoren, die jeden Monat an einem Projekt arbeiten.