NEUE EINBLICKE IN HOCKEYSPIELE DURCH EVENT ANNOTATION

Video Annotation

Die erweiterten Analysefunktionen, die sich die sich kontinuierlich mit dem Sport weiterentwickeln, werden unter anderem von Amateur und Profi Eishockey Mannschaften genutzt. Bei jedem Spiel werden tausende mit Videoaufnahmen verknüpfte Datenpunkte gesammelt, die als Grundlage für bahnbrechende Statistiken und Erkenntnisse dienen.

Bei Eishockeyspielen stellt das Unternehmen eine Vielzahl an Statistiken bereit, beispielsweise die Zeit, die Spieler auf dem Eis verbringen, die Anzahl an Zweikämpfen, Puckbesitz, Anzahl an Strafschüssen und viele weitere. Im Laufe der Zeit wurde ein Teil der Erhebung mittels KI automatisiert. Die dabei vom KI-System gemachten Annotationen waren allerdings nicht immer korrekt oder genau genug. Um die Qualität zu verbessern und die Algorithmen weiter zu trainieren, war es notwendig, einige Daten manuell zu annotieren.

Der Kunde war auf der Suche nach einem Data Annotation Team, das in der Lage war, Ereignisse während Hockeyspielen einordnen zu können, die innerhalb begrenzter Zeiträume passieren. Entscheidend war die Geschwindigkeit der Annotation. Es durften maximal drei Stunden zwischen dem Spiel und den durchgeführten Annotationen liegen. Ansonsten drohte ein Qualitätsverlust.

Letztendlich entschied sich der Kunde aufgrund unserer Erfahrung in der Annotation von Ereignissen in Videoaufnahmen für Mindy Support. Der Kunde hatte auch bereits in der Vergangenheit gute Erfahrungen in einem anderen Projekt gemacht. Mindy Support war in der Lage, innerhalb kurzer Zeit ein Data Annotation Team mit den benötigten Kompetenzen aufzustellen.

Uns war klar, dass eine Schulung des zusammengestellten Data Labeling Teams notwendig war, um sich in das Data Annotation Tool des Kunden einzuarbeiten und um einen Überblick über die darin vorhandene große Anzahl an Ereignissen und Optionen zu erlangen. Wir organisierten diese als Grundvoraussetzung, um alle Aufgaben innerhalb eines eng getakteten Zeitfensters bewältigen zu können.

Da eine große Anzahl möglicher Labels und Ereignisse im Spiel waren und das Projekt von seiner Struktur her mehrere unterschiedliche Phasen umfasste, begannen wir mit einer sechswöchigen Schulung. Diese umfasste sowohl Theorie als auch Praxis, um sicherzustellen, dass nicht nur die Annotationsrichtlinien verstanden wurden, sondern auch im Data Annotation Tool angewendet werden konnten. Dies war vor allem im Hinblick auf die geforderte Ausführungsgeschwindigkeit und Produktivität wichtig. Diese zu erreichen erwies sich tatsächlich als einer der anspruchsvollsten Aspekte des Projekts.

Der Kunde stellte uns sein Data Annotation Tool zur Verfügung. Nach einer Demo arbeiteten wir uns selbst in das Tool ein. Die Projektleitung stellte sicher, dass alle Data Annotatoren über das erforderliche Wissen um das Projekt und die Annotationsrichtlinien bekamen und einen Überblick auch über wichtige Details bekamen. Zunächst bestand das Team bei Projektbeginn aus 15 Data Annotatoren. Nachdem wir unter Beweis stellen konnten, die gewünschten Ergebnisse unter Einhaltung aller Qualitätsstandards und Fristen liefern zu können, beschloss der Kunde, das Team von 15 auf 50 Annotatoren zu vergrößern. Wir arbeiten seit etwa einem Jahr fortlaufend an dem Projekt. Das 50-köpfige Team arbeitet fleißig an der Annotation der Ereignisse der Eishockeysaison 2022–2023.

• Entwicklung und Organisation einer effektiven 6-wöchigen Schulung für das Projektteam.
• Alle Hockeyspiele wurden innerhalb eines strengen Zeitrahmens und ohne Abstriche bei der Qualität annotiert.
• Annotationsteam aus 15 Data Annotatoren, das aufgrund hervorragender Ergebnisse auf 50 Annotatoren erweitert wurde.