Verarbeitung audiovisueller Daten

Telepräsenz: 3D Video– Rekonstruktion

Der visuelle Eindruck erweitert das Empfinden über die entfernte Umwelt beim Operator und bildet den ersten Schwerpunkt der Arbeiten zur Telepräsenz am LDV. Um diese virtuelle Wahrnehmung zu ermöglichen, erzeugen wir aus stereoskopisch aufgezeichneten Videodaten ein polygonales 3D Modell.
Diese Modellierung geschieht schrittweise. Zunächst werden die Bilder stereoskopisch aufgezeichnet. Diese Videodaten werden dann mittels Algorithmen transformiert, um die Daten zu kalibrieren und daraus die Position einzelner Punkte im 3D-Raum zu errechnen. Solche Prozesse sind äußerst rechenintensiv. Deshalb analysieren wir die Datenstrukturen und forschen nach Möglichkeiten, diesen Rechenaufwand zu reduzieren. Drei mathematische Methoden stehen dabei im Vordergrund: Multivariate Datenanalyse, Differenzialgeometrie und zeitvariate Systeme. Alle drei Methoden dienen letztlich dazu, zunächst die Datendimensionen zu reduzieren und danach durch Approximationen den Überhang an Rechenaufwand zu senken.

Telepräsenz: 3D Audio - Lokalisation

Im Gegensatz zur Stereovision, bei der der Teleoperator nur Objekte innerhalb seines beschränkten Sichtbereiches zuordnen kann, nimmt der Teleoperator beim akustischen Richtungshören Signale aus allen Richtungen auf. Um dieses akustische Umfeld richtig wahrzunehmen und gezielte Reaktionen auf diese akustischen Signale ableiten zu können, ist es wichtig, die Position der Schallquelle zu kennen.
Deshalb arbeiten wir am LDV daran, aus binauralen Audiodatenströmen durch geeignete Algorithmen die Informationen über die Lokalisation der Klangquellen zu ermitteln. Daraus wird ein dreidimensionales Hörerlebnis über Kopfhörer reproduziert und damit dem Operator ein realitätsnahes Abbild über das originale Schallmuster gegeben. Auf diese Weise nimmt der Operator den 3D-Klang exakt aus der Richtung war, aus der sie auch der Teleoperator erhalten hat.
Ein weiterer Aspekt dieser Arbeit liegt darin, virtuell das vorliegende Klangmuster zu beeinflussen. Dazu wird das Schallsignal mit einer kopfabhängigen Übertragungsfunktion (HRTF, head related transfer function) transformiert. Diese Funktion beschreibt, wie die 3D-Position einer Quelle in einen wahrnehmbaren Schalleindruck umgesetzt werden muss. Damit eröffnen sich neue Möglichkeiten für die akustische Steuerung in Anwendungen der Telepräsenz.

Durch die Optimierung dieser Prozesse wird eine bessere Interaktion von Operator und Teleoperator erreicht. Die Arbeiten finden besondere Anwendung im Bereich der Telepräsenz und die Ergebnisse tragen zum Sonderforschungsbereich 453 „Telepräsenz und Teleaktion“ bei, dessen Teilprojekte M3 und M4 am LDV angesiedelt sind.