Mehr als nur ein Kicker: PROCON IT macht Digitalisierung spielerisch greifbar

Um den digitalen Wandel verständlicher zu machen, haucht PROCON IT, ein Tochterunternehmen von CONET, einem handelsüblichen Kickertisch digitales Leben ein und transformiert ihn so zu einem “Smart Kicker”. Während des üblichen Tischfußballspiels werden Daten in Echtzeit analysiert und visuell veranschaulicht.

Immer mehr Unternehmen erkennen für ihr Geschäftsmodell das Potenzial, das in der Nutzung von Daten steckt. Um Daten schnell analysieren zu können und außerdem die Praxiserfahrung der eigenen Consultants zu steigern, setzt die CONET-Tochter PROCON IT neben klassischen Qualifizierungsmaßnahmen auch auf interne Projekte, die von Mitarbeitern eigenständig konzipiert und realisiert werden. So wurde auch das Projekt „Digitaler Kicker“ ins Leben gerufen.

Abbildung 1: Digitalisierter Tischkicker

Das interne Projekt soll dabei insbesondere dem Zweck dienen, dass Mitarbeiter praktische Erfahrungen sammeln und lernen, eigenständig und auch im Team Aufgabenstellungen zu entwickeln und diese in einem agilen Kontext zu lösen.

Die Umsetzung

Mitwirkende des Projekts statteten einen handelsüblichen Kickertisch zunächst mit zwei Lichtschranken und einer Highspeed-Kamera aus. Um nachher den Puls der Spieler ermitteln zu können, wurden außerdem zwei Bluetooth-Fitnesstracker besorgt, die von den Spielern angelegt werden können. Vorhandene Sensoren können eine Vielzahl an Daten generieren und somit, mittels KI-Technologien, eine umfassende Echtzeit-Spielanalyse ermöglichen. Durch die zusätzliche Ausstattung konnte der ursprüngliche Kickertisch zu einem „Smart Kicker“ transformiert werden.

Datensammlung

Um vorhandene Daten zu sammeln, werden diese auf einem Cluster lokal verarbeitet. Für die Konfiguration wurde dabei ein Ambari-Cluster aufgesetzt. Die von der Kamera aufgenommenen Daten werden verarbeitet und in Kafka-Topics geschrieben. Im nächsten Schritt kommt Apache Spark zum Einsatz, das Daten aus den zugehörigen Kafka Topics verwendet. Außerdem werden auch weitere Services wie HIVE, Zookeeper, HDFS und YARN eingesetzt. Für die Extraktion von Kameraframes wird C++ genutzt.

Alle gesammelten Daten werden in Echtzeit im Frontend Framework Angular visualisiert (siehe Abbildung 1 und 2).

Abbildung 2: Angular Dashboard

Die Objekterkennung: Das Herzstück des Projekts

Ein klar definiertes Ziel des Projekts „Digitaler Kicker“ war eine Echtzeit-Bestimmung der Ball- und Spielerpositionen. Im Bereich der Objekterkennung existieren bereits viele Modelle, die eine hohe Genauigkeit bei der Identifizierung von Objekten erzielen. Da die aufgenommenen Bilder allerdings auch klassifiziert und die Ergebnisse in Echtzeit visualisiert werden sollten, erwiesen sich viele Modelle in der Verarbeitung einzelner Bilder als zu langsam. Die Wahl fiel letztendlich auf das YOLOv3 Modell, das eine Echtzeitanalyse der Daten mit bis zu 30fs (frames per second) ermöglicht. YOLOv3 betrachtet jedes Eingabebild nur einmal und trägt deshalb auch den Namen You Only Look Once.

Zur Trainingsvorbereitung wurde zunächst das nötige Bildmaterial aufgenommen, verarbeitet und mit Hilfe der Anwendung YOLO Mark klassifiziert. Die Klassifizierung erfolgt durch manuelles Zeichnen von Kästchen um das entsprechende Objekt. Es wird zwischen drei verschiedenen Klassen unterschieden: Während eine Klasse durch den Spielball gekennzeichnet ist, stehen die beiden anderen Klassen jeweils für die Spielfiguren der beiden Teams, die gegeneinander antreten. Getreu dem Corporate Design von PROCON IT wurden die Spielerfarben orange und schwarz gewählt. Nachdem bereits 2000 Bilder klassifiziert wurden, begann das Training unter Verwendung von Darknet, einem Open Source Neutral Network Framework.

Herausforderungen meistern

Neben der Erkennungsgenauigkeit, die das entwickelte Modell erzielt, sollen außerdem auch weitere Funktionen wie eine komplexe Spielanalyse ermöglicht werden. Allerdings ist hierfür eine gute Datenqualität erforderlich. Diese wies bei einer genaueren Analyse jedoch einige Schwachstellen auf. Die Erkennung wurde insbesondere durch den Kontrast zwischen dem dunkelgrünen Spielfeld und den schwarzen Spielfiguren erschwert und lag in dunkleren Ecken- und Torwartpositionen im Durschnitt bei lediglich 60 % (siehe Abbildung 3).

Abbildung 3: Echtzeit-Klassifizierung

Um eine bessere Datenqualität zu gewährleisten, war ein Setting erforderlich, das unempfindlich auf verschiedene Lichtverhältnisse reagiert. Das Team entschied sich letztendlich dafür, die zuvor schwarzen durch gelbe Spieler auszutauschen, da sich diese Farbe besser von dem dunklen Spielfeld unterscheidet. Außerdem wurde der zuvor rote Spielball durch einen neongrünen ersetzt. Damit es nicht zu einer fehlerhaften Klassifikation wegen der orangenen und gelben Spieler kommt, sollten nicht mehr zwei verschiedene Teams betrachtet werden, sondern lediglich die Klassen Spieler und Ball. Die Teamzugehörigkeit kann allerdings auf Wunsch auch im Nachgang anhand der erkannten Position ermittelt werden.

Dadurch, dass die neuen Bilder mit dem vorherigen Gewicht „pre-klassifiziert“ wurden, konnte das erneut notwendige Klassifizieren beschleunigt werden. So konnte das gelbe Team bereits automatisch sehr zuverlässig erkannt werden (siehe Abbildung 4).

Abbildung 4: Pre-Klassifizierte Bilder mit altem Gewicht in YOLO Mark

Nachdem bereits mehrere hundert Bilder klassifiziert wurden, begann das Team ein neues Netz zu trainieren. Alle folgenden Trainingsbilder können mit diesem Netz pre-klassifiziert werden. Fast alle Spieler konnten nun erkannt und das Klassifizieren somit beschleunigt werden (siehe Abbildung 4).

Abbildung 5: Pre-Klassifizierte Bilder mit neuem Gewicht in YOLO Mark

Zunächst konnte auch der Spielball nicht zuverlässig erkannt werden. Dadurch, dass in der Regel alle Spieler erfasst werden und durch Generierung weiterer Trainingsbilder, konnte bald auch der Ball erkannt werden. Außerdem wurde auch mit Bildern trainiert, die Hände über dem Spielfeld beinhalten, da Finger zunächst als Spielfiguren erkannt wurden.

Bei dem Projekt kamen zur Datenvermehrung auch Techniken aus dem Bereich der Data Augmentation zum Einsatz, um noch mehr klassifizierte Bilder automatisch generieren zu können. Mit Erfolg: Das neue und verbesserte Modell erkennt Ball und Spieler auch bei schlechten Lichtverhältnissen sehr gut und liefert die Grundlage, um tiefere Analysen wie beispielsweise Ballkontakte und Predictions zu erstellen.

War dieser Artikel hilfreich für Sie? Oder haben Sie Fragen? Schreiben Sie uns einfach einen Kommentar oder rufen Sie uns gerne an.

Über den Autor

Andreas Berghammer

Bereichsleiter Big Data bei PROCON IT GmbH

Andreas Berghammer ist seit 4 Jahren in der PROCON IT tätig und Leiter des Big Data Bereichs, den er mit aufgebaut hat.

This author does not have any more posts.