PRÄZISE NAVIGATION AUTONOMER FAHRZEUGE DURCH QUALITÄTSKONTROLLE

Validierung von Annotationen, Qualitätskontrolle

Der Kunde ist an der Entwicklung von Software für selbstfahrende Autos beteiligt. Der Kern dieses Projektes war es, Software zu entwickeln, die verschiedene Lichtzeichenanlagen und Ampelphasen erkennen kann. Dies hilft selbstfahrenden Autos bei der Navigation durch den Verkehr. Ein Data Annotation Dienstleister wurde bereits damit beauftragt, Lichtzeichenanlagen und andere Bilder zu annotieren. Um sich sicher sein zu können, dass korrekt annotiert wurde, war der Kunde auf der Suche nach einem Unternehmen, das die Qualität der Annotationen prüfen und Qualitätsdefizite beheben konnte. Seitens Qualitätssicherung ging es darum, fehlerhafte Annotationen zu identifizieren und zu korrigieren. Seitens Validierung ging es darum, die Anzahl an Fehlern für jeden Indikator (z.B. geometrische Genauigkeit oder Korrektheit der Beschriftung) zu erfassen und zu analysieren.

Der Kunde arbeitete bereits seit vielen Jahren mit Mindy Support zusammen und kannte unsere Abteilung für Qualitätssicherung und deren bewährte Prozesse und Verfahren, sodass er wusste, dass wir in der Lage sein würden, die benötigte Art der Qualitätskontrolle und Validierung durchzuführen. In diesem Fall war es auch wichtig, dass die Qualität nach Korrektur ohne weitere Nacharbeiten stimmen musste, da ansonsten der geplante Projektverlauf ins Stocken geraten würde. Das Vertrauen, dies leisten zu können, war ein weiterer Grund, warum sich der Kunde in diesem Fall für Mindy Support entschied.

Mindy Support stellte ein Team aus erfahrenen Mitarbeitern unserer Abteilung für Qualitätssicherung zusammen. Diese arbeiteten innerhalb des Data Annotation Tools unseres Kunden auf eine Art und Weise, dass keine Metadaten vor- oder nachbearbeitet werden mussten. Es stellte sich schnell heraus, dass die Genauigkeit der Annotationen niedrig war, sodass wir das QA-Team erweitern mussten, um die strengen Fristen des Kunden einhalten zu können.

Zusätzlich zum Faktor Zeitdruck machten zusätzliche Qualitätsprobleme uns zu schaffen. Die Annotationen enthielten eine alarmierende Anzahl fehlerhafter Annotationen (3-4 Mal mehr als wir normalerweise bei internen Annotationen haben), sodass sehr präzise und konzentriert bei der Fehlererkennung und -behebung vorgegangen werden musste. Parallel zur Fehlererkennung und -behebung mussten Statistiken erstellt werden (Anzahl an Fehler eines jeden Indikators wie geometrische Genauigkeit oder Korrektheit der Beschriftung). Der Aufwand war natürlich bei der hohen Anzahl an Fehlern ebenfalls höher.

Der Kunde war mit unserem Arbeitstempo und den gelieferten Ergebnissen zufrieden. Innerhalb des Zeitplans schafften wir es, die Genauigkeit durchgeführter Annotationen von weniger als 80% auf über 95% zu steigern. Wir halfen dem Kunden auch, Berichte über die Qualität für einen anderen Anbieter vorzubereiten. Im Anschluss setzte der Kunde für alle Projekte, bei denen es um die Annotation von Lichtzeichenanlagen ging, ausschließlich auf Mindy Support. Die Folgeprojekte umfassten die Annotation zwei- und dreidimensionaler Daten.