Unser Kunde möchte mithilfe von Augmented-Reality-Brillen Personen automatisch erkennen. Falls eine zuvor hinterlegte Person von der Brille bzw. deren Kamera erkannt wird, soll dies dem Benutzer in Echtzeit im Augmented-Reality-Kontext angezeigt werden. Eine besondere Herausforderung liegt darin, dass die AR-Brillen nur über vergleichsweise geringe Rechenleistung und Speicherplatz verfügen. Zudem möchte unser Kunde die hinterlegten Personen zentral verwalten können. Der Kunde legt großen Wert auf eine hohe Erkennungsleistung.
Bei der methodischen Umsetzung der Gesichtserkennung setzen wir auf eine mehrstufige Vorverarbeitung der Bilder, um unterschiedliche Größen, Entfernungen und Lichtverhältnisse eliminieren zu können. Als Algorithmus verwenden wir eine Kombination aus etablierten Verfahren. Die ideale Kombination bzw. die hierfür ausschlaggebende Erkennungsleistung ermitteln wir auf Basis mehrerer frei zugänglicher Datensätze sowie auf Basis eines Datensatzes, der hausintern mit der AR-Brille gesammelt wird. Für die technische Umsetzung verwenden wir ein Backend auf Basis von Spring Boot, das die Kernfunktionalitäten des Open CV Frameworks kapselt und per REST bereitstellt. Das Backend speichert und verwaltet die Profile von bekannten Personen. Die Kamera der AR-Brille sendet, sobald diese Gesichter erkennt, die entsprechenden Bilder per REST an das Backend. Dort wird überprüft, ob das Gesicht der entsprechenden Person bekannt ist. Falls die Person bereits im Backend hinterlegt wurde, so wird dies an die AR-Brille gemeldet und in den AR-Kontext eingeblendet. Auf der AR-Brille wird hierzu eine spezielle Anwendung auf Basis von Android installiert, die Gesichter in den Kamera-Bildern erkennen kann und diese per REST an das Backend sendet.
Das neue System aus Android Applikation, AR-Brille und Backend erlaubt es nun dem Träger der AR-Brille, dass ihm zuverlässig und in Echtzeit bekannte Personen angezeigt werden. Die Benutzer können zentral über das Backend verwaltet werden. Da das Backend seine Schnittstellen über REST anbietet, können auch beliebige weitere Systeme Bilder für Abgleiche senden.
