easyARguide – Augmented Reality für den Mittelstand
Das Ziel des Augmented Reality (AR) Projekt „easyARguide“ ist die Digitalisierung und Konservierung von Lernprozessen mittels AR-Technologie. Entwickelt wird easyARguide von den Mittelstand-Digital Zentren Darmstadt, Hamburg und Rheinland.
Der Fokus des Projektes ist primär die Erschließung von AR für kleine und mittelständische Unternehmen (KMU), insbesondere Handwerksbetrieben. Die Software ermöglicht es dem Fachpersonal virtuelle Lerninhalte selbstständig und ohne Programmierkenntnisse zu Erstellen. Lernende (wie beispielsweise Auszubildende) können die virtuellen Anleitungen danach selbstgesteuert nutzen und durchführen. Dabei ist easyARguide wiederholbar und besitzt ein lernpsychologisch fundiertes Konzept, das für ein effizientes Lernen sorgt.
Ausgangslage
Der demografische Wandel führt in Handwerksbetrieben und produzierenden Unternehmen zunehmend zum Verlust ausgebildeter Fachkräfte und deren implizitem Fachwissen. Es stehen einerseits zu wenige interessierte Auszubildende zur Verfügung, um die vorhandenen Stellen zu besetzen, andererseits verlassen zunehmend langjährige Mitarbeiter:innen im Rentenalter und damit auch deren implizites Wissen die Unternehmen. Besonders problematisch ist das vor dem Hintergrund, dass in vielen Fällen in handwerklichen Betrieben keine effektive Speicherung von Wissen vorgenommen wird, sondern nur eine direkte Weitergabe von Ausbilder:in zu Auszubildender Person besteht. Mit dem Ausscheiden erfahrener Mitarbeiter:innen aus dem Berufsfeld, geht deshalb oftmals ein großer Teil des Wissens dieser Person, welches sich über Jahre in der beruflichen Praxis angeeignet wurde, verloren.
Deshalb zielt „easyARguide“ unter anderem darauf ab, diesem Verlust von Fachwissen durch Bewahrung und Sicherung des Wissens entgegenzuwirken. Lehrende können mit der, im Rahmen des Projektes entwickelten Anwendung komplett ohne Programmierkenntnisse domänenunabhängig Lerninhalte mit einem AR Head-Mounted-Display (HMD) umsetzen und ihren Lernenden über die Plattformen HMD oder Tablet verfügbar machen.
Vorherige Untersuchungen zur Anwendung von AR in der Ausbildung zeigen, dass der Einsatz von AR in weiten Teilen der Aus- und Weiterbildungsprozesse eine Reduzierung von Anlernzeiten und Prozessfehlern bewirken kann. Zudem wurde ein Anstieg der Lerneffizienz sowohl während als auch nach dem Training beobachtet. Dennoch ist der Kostenaufwand für die spezialisierte Entwicklung, Einrichtung und Implementierung von konventionellen AR-Technologien in den Aus- und Weiterbildungsprozess eine der größten Herausforderungen. Deshalb wurde bei der Entwicklung der Anwendung das Ziel verfolgt einen unmittelbaren Einbezug des Fachpersonals in die Erstellung von vielfältigen AR-Trainingsszenarien zu ermöglichen. Dadurch kann für KMU finanzieller Aufwand reduziert und ein niederschwelliger Zugang für die Integration von AR in Lehr-Lernprozesse gefördert werden.
Wichtig ist: easyARguide kann Ausbilder:innen nicht ersetzen, sondern soll sie in ihrer täglichen Arbeit unterstützen und entlasten. Da Lernende Teile der Inhalte zeitlich flexibel bearbeiten können, bleibt in den direkten Lernphasen mit den Lehrenden mehr Raum für individuelle Betreuung und gezielte Rückfragen. Somit wird eine intensivere Lernbegegnungen geschaffen.
Was macht AR als Medium sinnvoll für den Einsatz beim Lernen?
Digitale Anleitungen oder Markierungen können direkt über dem realen Arbeitsumfeld eingeblendet werden und ersparen den Blickwechsel.
Inhalte erscheinen automatisch passend zur Blickrichtung und Position.
3D-Objekte, Animationen oder Hinweise ergänzen reale Arbeitsschritte direkt im Raum
Navigation durch Lerninhalte ohne Berührung ist ideal für Arbeiten mit Werkzeugen.
Wissen wird dort vermittelt, wo es angewendet wird ohne Medienwechsel.
Virtuelle Hände oder animierte Schritte zeigen Bewegungsabläufe direkt am Einsatzort.
Herausforderungen
Design-Herausforderungen
Eine entscheidende Problemstellung war die Gestaltung eines benutzerfreundlichen Interfaces, das sich flexibel an unterschiedliche Anwendungsszenarien anpassen lässt und gleichzeitig ein schnelles Erlernen der Software ermöglicht. Hierfür wurde ein modularer Baukasten entwickelt, der es ermöglicht, Arbeitsschritte visuell und interaktiv zu erstellen. Dabei wurde darauf geachtet, dass die Anzahl an Informationen Anwender:innen möglichst nicht überlastet und ebenso die Funktion der Software nicht einschränkt wird. Gleichzeitig sollte die Software optisch ansprechend wirken, damit die Akzeptanz für Anwendende erhöht wird.
Die Anwendung wurde in mehreren Testläufen direkt in Handwerksbetrieben erprobt. Das Feedback aus diesen realen Arbeitsumgebungen war entscheidend, um eine möglichst hohe Akzeptanz zu erzielen – insbesondere bei Nutzenden, die bislang wenig Berührungspunkte mit digitalen Technologien haben. Dabei zeigte sich unter anderem, dass die Bedienung per Handgesten an unterschiedliche Altersgruppen angepasst werden musste. Einfache, eindeutig erkennbare Bewegungen wurden gegenüber komplexeren Gesten bevorzugt und so im Projekt umgesetzt.
Technische Herausforderungen
Die technische Umsetzung brachte eine Vielzahl an Anforderungen mit sich. Zu Beginn musste eine geeignete Entwicklungsumgebung für AR-Anwendungen geschaffen werden, die den unterschiedlichen Zielplattformen gerecht wird – darunter Microsoft HoloLens, Meta Quest 3, Magic Leap sowie mobile Android-Geräte. Jede dieser Plattformen bringt individuelle Einschränkungen mit sich, insbesondere hinsichtlich Sensorik und Rechenleistung. Die Entwicklung erfolgte primär auf der HoloLens 2, bevor eine Portierung auf die weiteren Plattformen, mit jeweils spezifischen Funktionseinschränkungen, erfolgte.
Ein zentraler technischer Aspekt war die Kalibrierung eines festen Orientierungspunktes im Raum. Ziel war es, virtuelle Inhalte – etwa Werkzeuge oder Anleitungen – stabil und präzise im physischen Raum zu verankern. Hierfür wurde ein lizenzfreies Marker-Tracking-System eingebunden, das auf frei gestaltbaren QR-Codes basiert. Die Suche nach einer geeigneten Lösung gestaltete sich zeitaufwändig, da viele verfügbare Systeme entweder inkompatibel mit dem bestehenden Technologiestack waren – insbesondere im Hinblick auf Softwareversionen – oder eine restriktive Lizenzierung hatten. Zunächst wurde entgegen der Vision eines optisch scanbaren Markers eine manuell ausrichtbare Markierung umgesetzt. Diese Lösung benötigte nur einen Bruchteil der benötigten Entwicklungskapazität eines Marker-Trackings und funktioniert plattformunabhängig sehr gut. Im Verlauf des Projekts konnten neue Möglichkeiten identifiziert werden, die eine zuverlässige und plattformunabhängige Platzierung von 3D-Elementen im Raum ermöglichten.
Ein weiterer Schwerpunkt lag in der Integration verschiedener Medienformate als visuelle Elemente innerhalb des Baukastensystems. Die Anwendung unterstützt neben Text und Bildern auch Audio- und Videoinhalte sowie Animationen – sowohl von virtuellen Objekten als auch von aufnehmbaren Handbewegungen (diese werden als holografische Repräsentation aufgenommen).
Um die Nutzung effizient zu gestalten und auf das Feedback der Testnutzenden einzugehen, wurden zudem Funktionen wie das Duplizieren von Medienelementen von Arbeitsschritten in einen anderen hinein und eine „Rückgängig“-Funktion implementiert.
Im Rahmen der Entwicklung wurden verschiedene Modelle von Tracking- und Haptik-Handschuhen getestet, um deren Eignung für den Einsatz in AR-gestützten Wartungs- und Montageprozessen zu evaluieren. Die Auswahl umfasste mehrere kabellose Varianten unterschiedlicher Hersteller. Ergänzend dazu fand ein Workshop mit anderen AR-Forschungsprojekten statt, bei dem ein direkter Vergleich der Handschuhe im Hinblick auf Praxistauglichkeit, Präzision und Integration mit bestehenden AR-Systemen durchgeführt wurde.
Im Testverlauf zeigte sich, dass die Handschuhe in puncto Trackingqualität durchaus überzeugen konnten: Die Hand- und Fingerbewegungen wurden präzise und stabil erfasst, was in virtuellen Interaktionen ein sehr natürliches Bediengefühl ermöglichte. Auch das Potenzial für komplexe Anwendungsfälle wurde positiv bewertet.
Den Vorteilen standen jedoch mehrere gewichtige Nachteile gegenüber. In der Praxis erwiesen sich viele Modelle als unhandlich im Umgang mit realen Werkzeugen – die verbauten Sensoren und Module störten bei der Nutzung oder führten zu ungenauer Erfassung. Auch zeigte sich eine hohe Empfindlichkeit gegenüber industriellen Bedingungen wie Staub, Schmutz oder öligen Oberflächen, was ihre Alltagstauglichkeit in typischen Montageumgebungen stark einschränkt. Zusätzlich verursachten die Systeme einen erheblichen Aufwand bei Kalibrierung und Wartung, was insbesondere im laufenden Betrieb als störend empfunden wurde. Weitere Kritikpunkte betrafen die fehlende Kompatibilität mit Standalone-AR-Brillen, also eigenständigen Datenbrillen mit integrierter Technik, die ohne zusätzliches Gerät funktionieren. Da viele Handschuhsysteme einen PC als Überbrückung für die Übertragung der sensorischen Daten benötigen, sowie den hohen Zeitaufwand für das An- und Ausziehen, der teils bis zu fünf Minuten pro Hand betragen konnte, überwiegten die Nachte der Nutzung. Auch Sicherheitsaspekte wie potenzielles Hängenbleiben an Geräten spielten eine Rolle.
Vor dem Hintergrund dieser Erfahrungen wurde deutlich, dass sich der ursprünglich angestrebte Mehrwert der Handschuhe zunehmend relativiert hat. Die aktuellen AR-Brillen verfügen mittlerweile über sehr zuverlässiges integriertes Handtracking, das in vielen Fällen eine ausreichend präzise und gleichzeitig deutlich unkompliziertere Lösung bietet. Dadurch entfällt die Notwendigkeit externer Tracking-Handschuhe, insbesondere für Anwendungsfälle wie das easyARguide-Projekt, bei dem Effizienz, Sicherheit und Alltagstauglichkeit im Vordergrund stehen.
Insgesamt kam das Projektteam daher zu dem Schluss, dass sich der Einsatz von Tracking- oder Haptik-Handschuhen im Kontext von easyARguide nicht als sinnvoll erwiesen hat. Die Nachteile überwiegen gegenüber dem begrenzten Nutzen, sodass künftig auf die native Handerkennung der AR-Geräte gesetzt wird.
Vorgehen
Zu Beginn der Entwicklung von easyARguide wurde ein Lehr-Lern-Konzept entwickelt, das gezielt auf die Potenziale von Augmented Reality zugeschnitten ist. Ziel war es, nicht nur Inhalte digital darzustellen, sondern die didaktischen Möglichkeiten der Technologie voll auszuschöpfen.
Das Lehr-Lern-Konzept von easyARguide basiert in seiner ersten Iterationsstufe auf der Vier-Stufen-Lernmethode. Diese ist in Abbildung 1 im mittleren Bereich als „Lernenden-Ebene“ dargestellt. Ergänzt wird das Modell durch zwei zusätzliche Ebenen: die Projektebene (unten) und die Lehrenden-Ebene (oben).
Die Projektebene bildet den Ausgangspunkt von easyARguide. Sie stellt sicher, dass alle Phasen des Lernprozesses durch die technische Umsetzung sinnvoll unterstützt und abgedeckt werden. Die Lehrenden-Ebene wurde eingeführt, um ein kontinuierliches Feedback der Lernenden zu ermöglichen. Dadurch kann der Lehrende die Inhalte flexibel anpassen und bei Bedarf verbessern – visualisiert durch den Pfeil in Abbildung 1.
Abbildung 1: Vier stufen Lernprozess
Das Konzept ist als erster Entwurf zu verstehen und wurde praxisnah parallel zu Entwicklungsprozess des Prototyps erprobt. Ziel war eine benutzerorientierte Weiterentwicklung durch kontinuierliche Evaluation und Integration von Feedback. Der entwickelte Prototyp vermittelt die wesentlichen Ausbildungsinhalte mit AR-Elementen und greift dabei auf das zuvor definierte Konzept zurück.
Für die Erprobung konnte mit der ElbHandWerk GmbH, einem Unternehmen aus dem Bereich Sanitär- und Heizungsbau im Hamburger Umland, ein praxisnaher Partner gewonnen werden. Der Prototyp wurde dort in wiederholten Testungen eingesetzt. Durch den Austausch mit den Mitarbeitenden vor Ort wurde regelmäßig Feedback eingeholt, das direkt in die Weiterentwicklung eingeflossen ist. Durch diesen iterativen Prozess – bestehend aus Entwicklung, Testung und Optimierung – konnte sowohl die technische Umsetzung als auch das Lehr-Lern-Konzept gezielt auf die Anforderungen kleiner und mittelständischer Betriebe abgestimmt werden. Ziel war, einen praxistauglichen Prototyp zu entwickeln, der für viele Zielgruppen geeignet ist. Der Prototyp ist im Anschluss an das Projekt im Rahmen der Initiative Mittelstand-Digital kostenneutral zur Verfügung gestellt worden.
Um das System möglichst effizient und praxisorientiert nutzbar zu machen, wurde zudem eine optionale adaptive Logik entwickelt. Sie ermöglicht es, Guides so zu erstellen, dass deren Komplexität und Informationsdichte an den Kenntnisstand der Lernenden angepasst werden kann. Die Guides gliedern sich mithilfe eines Regelsystems in drei Kompetenzstufen auf – mit detaillierteren Anleitungen für Einsteiger und reduzierter Informationsdichte für Fortgeschrittene. Lernende und Lernelemente werden dabei Kompetenzgruppen zugewiesen, wodurch eine gezielte didaktische Ansprache ermöglicht wird.
Das adaptive Lernmodell soll einerseits den individuellen Lernfortschritt bestmöglich unterstützen, aber gleichzeitig auch flexibel genug sein, um Lehrenden Freiraum bei der Gestaltung ihrer Anleitungen zu lassen. Die aktuell umgesetzte Einteilung in drei Kompetenzstufen stellt einen ersten praxistauglichen Kompromiss zwischen diesen Anforderungen dar. In der Trainingserstellung verändern sich durch die Anwendung von adaptivem Lernen nur minimal die Vorgaben an die Arbeitsschritte, sodass sich ein Mehrwert im Lerneffekt ergibt, ohne dass ein relevanter Mehraufwand in der Erstellung entsteht. Eine detaillierte Beschreibung des Modells ist in einem begleitenden Fachartikel dokumentiert. Eine tiefergehende Untersuchung des Systems ist im Anschluss an das Projekt geplant, da im Bereich adaptiver Lernsysteme innerhalb der AR-Anwendungspraxis bisher nur wenige fundierte Erkenntnisse vorliegen.
Entwicklungsschritte im Überblick
Die Basis bildete eine Anforderungsanalyse, in der zentrale Funktionen für den Prototyp definiert wurden. Es folgte eine agile Entwicklung in wöchentlichen Sprints, wobei zunächst ein Minimalprototyp entstand. Dieser beinhaltete unter anderem:
- Die Erstellung und Bearbeitung von Arbeitsschritten eines Guides.
- Eine kleine Auswahl an 3D-Objekten, die im Raum platziert und animiert werden konnten.
- Die Nutzung von Textfeldern zur Informationsvermittlung.
- Die Möglichkeit, AR-Guides zu speichern und zu laden.
- Die Integration eines lizenzfreien Marker-Trackings für stabile 3D-Platzierung im Raum.
- Sowie die Trennung der Anwendung in zwei Modi:
- Einen Baukastenmodus für Ausbilder:innen zur Erstellung von Lerninhalten.
- Und einen Lernmodus, in dem die Bearbeitung deaktiviert ist.
Parallel zu den Tests im Handwerksbetrieb wurde der Funktionsumfang kontinuierlich erweitert. Basierend auf dem konkreten Bedarf der Nutzer:innen wurden unter anderem folgende Funktionen ergänzt:
- Einfügen, Löschen und Duplizieren von Arbeitsschritten an beliebigen Stellen.
- Intuitivere Anpassung der Gestensteuerung für unterschiedliche Alters- bzw. Nutzergruppen.
- Integration von Funktionen zum Rückgängigmachen und Wiederherstellen von Aktionen.
- Einbindung von Foto-, Video- und Audioinhalten im virtuellen Raum.
- Sowie die Erstellung eines interaktiven Tutorial-Guides für neue Nutzer:innen.
- Die Umsetzung von Handtracking zur Aufnahme und Darstellung animierter Handbewegungen.
Im Rahmen dieses Arbeitspakets wurde auch das Potenzial haptischer Handschuhe getestet.
Abschließend wurde das adaptive Lernsystem entwickelt. Gleichzeitig wurden letzte Optimierungen an der Benutzeroberfläche vorgenommen, um die Anwendung für Ausbilder:innen und Lernende gleichermaßen verständlich und effizient nutzbar zu machen. Die Auswertung des adaptiven Lernsystems sowie weitere wissenschaftliche Untersuchungen zur Wirksamkeit sind in Planung und werden zukünftig in einem Papier dargelegt.
Portierung und Weitertragen des Know-hows
Besonderes Augenmerk wurde hier auf die Reichweite gelegt, um die Einstiegshürde zu minimieren: Auch wenn nicht alle Funktionen plattformübergreifend verfügbar sind, wurde z. B. auf mobilen Geräten der Lernmodus bereitgestellt, um den Einstieg möglichst niedrigschwellig zu gestalten. Die vollständige Portierung der Benutzeroberfläche hätte andernfalls einen unverhältnismäßig hohen Aufwand bedeutet. Die angestrebten weiteren Plattformen, neben der HoloLens 2 waren die Meta Quest 2/3, Magic Leap und Android-basierte mobile Geräte.
Nach Abschluss des Projekts wurde der Quellcode auf GitHub veröffentlicht, um eine weitere Nutzung und Weiterentwicklung als Open-Source-Lösung zu ermöglichen.
DIVR XR Award
Mit Stolz darf auch gesagt werden, dass easyARguide für den renommierten DIVR XR Science Award 2024 nominiert war. Eine Auszeichnung, die herausragende Innovationen im Bereich Extended Reality (XR) würdigt. Unser Projekt zeigt eindrucksvoll, welches Potenzial hinter smarten und intuitiven AR-Lösungen digitaler Assistenzsysteme steckt. Mit unserer Anwendung hoffen wir auch kleine und mittlere Unternehmen ins Boot der Digitalisierung zu holen.
