VERBESSERUNG DER FAHRERSICHERHEIT DURCH GERÄUSCHERKENNUNG

Art der Annotation: Audio Annotation

Unser Kunde entwickelte ein neues KI-Tool, das verschiedene Geräusche innerhalb und außerhalb eines Fahrzeugs erkennen und den Fahrer auf potenzielle Gefahren aufmerksam machen sollte. Es wurde ein Trainingsdatensatz bestehend aus Audio- und Videoaufnahmen verschiedener Schallereignisse vorbereitet. Alle hörbaren Schallereignisse mussten identifiziert und lokalisiert werden. Zu diesen gehörten beispielsweise gesprochene Sprache der Insassen, Geräusche im Inneren des Fahrzeugs, Geräusche außerhalb des Fahrzeugs, Gerätetöne oder Haustiere. Alle Annotationen mussten sehr genau durchgeführt werden.

Der Kunde war auf der Suche nach einem Data Annotation Dienstleister, der in der Lage war, Schallereignisse zu identifizieren und mit einer Zielgenauigkeit von wenigen Millisekunden akkurat zu annotieren. Es mussten Gewalt, Aggression und weitere Emotionen erkannt werden. Da viele verschiedene Geräusche aus vielen verschiedenen Quellen stammten und sich überschneiden konnten, war dies nicht so einfach, wie es den Anschein hat. Manche Schallereignisse mussten sowohl in Videos, als auch in Audioaufnahmen erkannt werden, wobei letzteres für die KI als Quelle der Wahrheit diente. Zur Durchführung eines so komplexen Annotationsprojekts waren Detailversessenheit und Präzision erforderlich. Einzelne fehlende Schallereignisse konnten die Qualität des Endproduktes beeinträchtigen.

Da der Kunde aus Deutschland stammt, war Deutsch die in den Video- und Audioaufnahmen gesprochene Sprache. Der Kern des Projektes sollte binnen drei Monaten fertiggestellt sein, sodass die Zusammenstellung eines Data Annotation Teams, dessen Schulung in den Annotationsrichtlinien und verwendeten Data Annotation Tools und vielleicht notwendige Anpassungsprozesse in dieses Zeitfenster erfolgen mussten.

Es wurde eine Ausschreibung mit sehr strengen Anforderungen an den Zuschlag getätigt. Der Data Annotation Dienstleister musste umfangreiche Kompetenzen in Audio Annotation vorweisen und in der Lage sein, eine Genauigkeit von über 98% erreichen zu können. Da eine manuelle Annotation sehr zeitaufwändig gewesen wäre, forderte der Kunde im Rahmen der Ausschreibung auf Ideen einzureichen, wie der Zeitaufwand für die Annotation optimiert werden könnte.

Aufgrund folgender Kriterien erhielt Mindy Support den Zuschlag für das Annotationsprojekt:

• Qualität der im Rahmen eines Pilotprojektes durchgeführten Annotationen
• Geschätzter Zeitrahmen für die Fertigstellung des Projekts
• Gründlicher Schulungsplan für beteiligte Data Annotatoren
• Komerzielles Angebot

Der Kern des Data Annotation Projektes sollte unbedingt binnen drei Monaten abgeschlossen sein. Uns war bewusst, dass wir keine Zeit verlieren durften. Dank ausreichender Personalressourcen und unserer Erfahrung in der Umsetzung von kleinen und großen Projekten unterschiedlicher Komplexität konnten wir rasch ein Data Annotation Team aus 45 Personen zusammenstellen. Im Anschluss begannen wir mit der Umsetzung des geplanten Schulungsprogramms. Dies war notwendig, um im Team ein einheitliches Verständnis aller Kategorien von Schallereignissen und Attributen wie Aggression, Wut, positive Reaktion usw. zu bekommen, die von hoch bis niedrig reichen konnten. Die Qualität des Trainings wat für die Konsistenz der Attribute entscheidend.

Da wir bereits in der Vergangenheit viele Audio Annotationen durchgeführt hatten, dauerte es nicht lange, bis wir ein Verständnis davon hatten, wie der Kunde die Annotationen haben wollte. So kamen wir schnell auf die vom Kunden gewünschte Genauigkeit. Unsere Erfahrung ermöglichte es uns auch, Verbesserungsvorschläge zu machen, wie der Prozess beschleunigt werden konnte. Ursprünglich hatte der Kunde verlangt, dass eine Open-Source Plattform für Data Annotation verwendet werden sollte. Nach einer Prüfung stellten wir fest, dass diese nicht wirklich passend für die gewünschte Audio Annotation war. Unser Vorschlag, ein anderes Data Annotation Tool für dieses Projekt zu verwenden, hatte zur Folge, dass die Geschwindigkeit der Annotationen um 30% höher war, als es sonst der Fall gewesen wäre.

Unter Verwendung des von uns vorgeschlagenen Data Annotation Tools generierten wir eine kundenindividuelle Ausgabe, die der Kunde in der präferierten Open-Source Plattform für Data Annotation für interne Prüfungen nutzen konnte. Auch unsererseits fand eine mehrmalige Qualitätskontrolle statt, um sicherzustellen, dass die vom Kunden geforderte Genauigkeit bei den Annotationen erreicht wurde. Letztendlich wurde der Kern des Projekts innerhalb des geplanten Zeitrahmens und mit der gewünschten Qualität fertiggestellt. Der Kunde war mit den Ergebnissen so zufrieden, dass er das Projekt sechs Monate später mit aktualisierten Annotationsrichtlinien weiter ausbauten. Insgesamt haben wir mehr als 2 Jahre an diesem Projekt gearbeitet, mit stets bestem Feedback von unserem Kunden.

• Annotationsteam aus 45 Data Annotatoren
• Beschleunigung des Annotationsprozesses um 30%
• Der Kern des Projekts wurde innerhalb einer strengen dreimonatigen Frist durchgeführt
• Weitere erfolgreiche Teilprojekte innerhalb der nächsten 2 Jahre