Was hat Solcept zum Mixed Reality Training von Orthopäden beigetragen?
Die AO Foundation, eine medizinisch geführte, gemeinnützige Organisation mit Sitz in Davos, ist die weltweit führende Organisation für Ausbildung, Innovationen und Forschung im Bereich der chirurgischen Behandlung von Traumata und Erkrankungen des Bewegungsapparates. Eine ihrer Innovationen ist ein neuartiges Schulungskonzept namens DEHST (Digitally Enhanced, Hands-on Surgical Training). Dieses ist für das praktische Üben von grundlegenden psychomotorischen Fähigkeiten eines Operateurs konzipiert und beruht auf einem Mixed Reality Aufbau.
Ein wichtiger Bestandteil dieses Aufbaus ist die Software, welche die räumliche Position von realen Objekte (wie chirurgische Instrumente, Bohrmaschine, künstliche Knochenmodelle und das Modell eines Röntgenapparates) erfasst und daraus realistische Röntgenbilder generiert. Dadurch wird ein erweitertes Ausbildungsspektrum und eine neue Art von Benutzererfahrung ermöglicht. Zusätzlich werden personalisierte Leistungskennzahlen erhoben, die mittels Smartphone und QR-Codes in die Cloud übertragen werden und zur umfassenden Trainingsanalyse genutzt werden können.
Diese Software entstand am AO Research Institute Davos als MATLAB Prototyp, der im Rahmen der Produktentwicklung als C++/ C# native Applikation neu geschrieben und ausgebaut werden musste. Eine Kernkompetenz war dabei die Ray-Tracing Berechnung zur Simulation der Röntgenbilder.
Die Solcept Spezialisten für Bildverarbeitung und Windows haben schnell eine erste Version der Software erstellt, welche kontinuierlich mit neuen Trainingsszenarien erweitert werden kann. Dadurch bekommt AO Foundation eine modulare Softwarelösung, welche zusammen mit dem mechanischen Trainingsaufbau ein mobiles, kosteneffizientes und realistisches Training erlaubt, welches die Qualität der Ausbildung von Chirurgen verbessert.
Im Projekt wurden einerseits Windows 10/ 11 Technologien mit C# verwendet, wie Modern Windows Application, WinUI3, Microsoft Store, .NET, QR Codes, andererseits Technologien zur Bildverarbeitung mit C++ wie OpenCV für 2D, ITK für 3D. Neben den Kompetenzen in 2- und 3-dimensionaler Bildverabeitung wurde auch ToF (Time-of-Flight) Sensoren, IMU (Inertial Measurement Units) und hochauflösende Kameras eingesetzt. Und natürlich MATLAB für Simulationen und Tests.