The Computer Graphics Lab at TU Braunschweig researches new opportunities to re-render novel viewpoints from conventional video material. This includes both temporal interpolation (classical frame interpolation/frame rate conversion) as well as spatial interpolation (e.g. virtual tracking shots). Slowmotion and time-freeze effects known from movies such as „The Matrix“ can be realized on a much lower budget using the Virtual Video Camera technique. In a joint project with the Braunschweig University of Arts (HBK) a „free-viewpoint“ music video has been created. Two timelines have been combined in this video: Two DJs in the foreground and a graffiti timelapse in the background. The scene was captured with eleven HD camcorders. The Virtual Video Camera technique allows compositing the two timelines and creating virtual camera movements between the original eleven camera positions. The adjusted production pipeline as well as the production of stereoscopic content will be presented.
Christian Lipski; Marcus Magnor: Das Institut für Computergraphik (TU Braunschweig) forscht an Verfahren, um aus einer überschaubaren Anzahl von simultanen Videoaufnahmen neue Zwischenbilder am Rechner zu erzeugen. Dabei werden sowohl die Möglichkeit zur zeitlichen Interpolation (also klassische Frame Interpolation/Framerate Conversion) als auch räumlichen Interpolation (zum Beispiel virtuelle Kamerafahrten zwischen zwei Kameras) betrachtet. Die durch „The Matrix“ bekannt gewordenen Raum-Zeit-Spezialeffekte (bullettime, freeze-rotate-shots) können so mit deutlich geringerem Hardware-Aufwand realisiert und in der Postproduktion bearbeitet werden. Zusammen mit der Hochschule für Bildende Künste (HBK) Braunschweig entstand mit dieser neuartigen Technik ein „Free-Viewpoint“-Musikvideo. Hierbei wird die Vordergrundhandlung mit einer Timelapse-Aufnahme des Hintergrunds kombiniert. Die Szene wurde mit elf HD-Camcordern aufgezeichnet. Das entwickelte Verfahren ermöglicht es dabei, die beiden Zeitlinien beliebig zu kombinieren und dabei die virtuelle Kameraposition frei zwischen den aufgenommenen elf Positionen zu bewegen. Neben einer Übersicht über die angepasste Produktions-Pipeline wird die Erweiterung des Verfahrens für die Erzeugung von stereoskopischen 3D-Sequenzen erläutert.