Предлагаем вашему вниманию ознакомительную статью Александра Лаврова, ведущего преподавателя Realtime school, в которой речь идет о технологии match moving. Match moving: первое знакомство
Создание большинства современных визуальных эффектов было бы невозможно без совмещения движения и геометрии сцены виртуальной со сценой реальной. Технология, давшая возможность совмещать реальный и виртуальный миры получила название "match moving". Вот об этой замечательной технологии мы с Вами и поговорим.
Что такое Match moving?
Match moving ("camera tracking", "3d tracking", "3d tracing") – это процесс вычисления трехмерной траектории камеры и ее параметров, а также положений объектов в сцене (в том числе, и движущихся) на основе уже отснятых изображений. Match moving является разделом проективной геометрии. Проективная геометрия – это раздел геометрии, изучающий проективные свойства фигуры. Этот вид геометрии оформился как наука в 4 веке до нашей эры, и именно ее законы позволяют создавать сложные визуальные эффекты в наши дни.
Немного истории
Перед тем как углубиться в разбор возможностей этой технологии на современном этапе давайте сделаем небольшой исторический экскурс. Принято выделять три основных этапа в развитии технологий совмещения виртуального с реальным.
Этап 1. Руки, руки и еще раз руки. На этом этапе существовал только один способ совмещения – ручной. В данном случае, профессиональный match mover успевал делать трэкинг 50-60 кадров в день при этом трэкинг не отличался точностью.
Этап 2. Аппаратный. Motion Control Systems. Десять-двенадцать лет назад программного трэкинга камеры не существовало как такового. Первый пакет программного трэкинга камеры ras_track появился в 1996 году (в 1998 году разработчики получили Technical Achievement Award). До этого момента совмещение CG изображения с реальным миром происходило одним из следующих способов:
1. Motion Control Camera. Фактически речь идет об аппаратном трэкинге камеры. Motion Control системы обладают поразительными возможностями и высокой точностью, успешно сочетающейся с не менее высокой ценой.
2. Второй способ был порожден высокой ценой первого. В целях экономии, снималась статическая сцена, в которой речь шла лишь о совмещении перспективы CG с отснятым материалом.
3. При небольшом движении камеры был возможен, так называемый, "ручной трэкинг камеры".
Этап 3. Программно-аппаратный. Системы Motion Control по прежнему актуальны во многих ситуациях, но большая часть процесса совмещения перенесена на программную основу. Ввиду дешевизны и удобства программной реконструкции трехмерных данных этот способ получил большое число сторонников. Ниже приведен список основных продуктов на этом сегменте рынка.
Доступные коммерческие и бесплатные системы 3DEqualizer BouJou Match Mover PFTrack SynthEyes VoodooCameraTracker
Закрытые In-House системы MARS (Motion and Structure Recovery System) TRACK
Сегодня, все в большем и большем количестве фильмов и рекламных роликов применяются сложные визуальные эффекты, требующие использования технологии match moving. Развитие технологии пошло по двум путям. С одной стороны, это развитие сложных роботизированных motion control систем. С другой стороны, возросшие мощности компьютеров дали возможность достаточно быстро производить реконструкцию трехмерных данных, используя программные средства.
Изначально появился так называемый "survey-base tracking". Название обусловлено тем, что пользователь должен был знать трехмерное положение каких-то точек в пространстве (например, углы зданий). Затем указывалась их локализация в двухмерном пространстве изображения и проводился двухмерный трэкинг. И тогда программа строила трехмерную точечную модель на основе соотнесения двухмерных позиций точек на изображении и их трехмерных координат.
В процессе эволюции технологий, появился "survey-free tracking". Трэкинг при котором не требуется знание каких-то трехмерных координат в снимаемой сцене. Первым продуктом из "survey-free" систем считается 3D Equalizer (в 2001 году разработчики получили Scientific and Engineering Award). Для построения трехмерной точечной модели используется алгоритм "Structure From Motion". При использовании этого алгоритма сначала происходит двухмерный трэкинг структур изображения, а затем на основе двухмерных точек происходит реконструкция трехмерных данных. В последние годы, в профессиональные match moving пакеты были интегрированы алгоритмы автоматического трэкинга. На первом этапе происходит трэкинг большого количества двухмерных точек. Далеко не все точки отслежены корректно и программа производит фильтрацию некорректных точек. После этого происходит реконструкция трехмерных данных по оставшимся корректным точкам. Классическим представителем систем автоматического трэкинга является boujou (в 2002 году разработчики получили Primetime Emmy Engineering Award). На практике, при использовании автоматического трэкинга, не всегда удается получить удовлетворительное трехмерное решение. Поэтому идеальным вариантом является совместное использование автоматического и ручного трэкинга.
Сущность процесса
При реконструкции камеры и объектов используются формулы проективной геометрии. Законы проективной геометрии допускают как прямой ход лучей (съемка объектов на камеру), так и обратный (реконструкция данных объектов). При этом с многих плоскостей кадров секвенции происходит реконструкция точек в трехмерное пространство.
Краткий обзор возможностей 3D Equalizer
Виртуальные (CG) объекты, помещенные в реальную среду В создании архитектурной визуализации такие объекты используются для добавления частей зданий, отдельных строений или целых городов в реальное фото или видео изображение. Используя сходные методы, с помощью "CG-протезирования” или виртуального грима (make-up) можно добавлять актерам в отснятой сцене некоторые интересные особенности. Например, крылья…
Реальные объекты, помещенные в виртуальную (CG) среду Примером этого может служить движение живого актера по созданной на компьютере студии. В ТВ-студиях часто применяются "virtual sets” для решения подобных задач, требующих большого количества дорогих и сложных устройств. Однако сейчас эти задачи можно решить на пост продакшене, так как используя 3DE можно быстро воссоздать движение.
Применение 3D Equalizer
Стабилизация Вы, конечно, смотрели трилогию "Матрица", в которых активно применялась технология "bullet time" (или "slice of life"). В основе технологии лежит одновременная съемка одной сцены большим количеством фотокамер. Информация о движении и точечная модель, экспортированная из программы 3DE исключает любые произвольные сдвиги положения и ориентации группы камер, для того чтобы кадр получился безупречным.
Физические объекты, помещенные в реальную среду Изображения, сочетающие различные реальные элементы, выглядят неубедительно, если масштабы и перспективы всех элементов слишком сильно отличны друг от друга. Реальная окружающая среда снимается на камеру. Затем вся информация о движении воссоздается в 3DE и передается на программно-управляемую motion control camera, которая снимает другие объекты для интеграции в первичную реальную среду.
Matchmoving pipeline в среде 3DE
Match moving – это четкий этапный процесс, происходящий по конкретной схеме. Естественно, в сложных случаях схема может приобретать самые причудливые формы.
Группы точек камеры и объектов У различных групп движений (камера, движущийся объект или moCap объект) должны быть различные группы точек трэкинга для последующей успешной реконструкции.
2d трэкинг в 3D Equalizer Существует 3 типа 2d трэкинга в 3DE:
1. Pattern tracking Основной принцип трэкинга точки таков: пользователь определяет положение точки на экране в определенном кадре (например, кадре j). Программа пытается отыскать "search pattern", заданную в кадре j, сканируя "search area" вокруг предопределенной точки в кадре j+1. Reference pattern отображает трансформацию образца во время трэкинга (см. рисунок ). 2. Marker tracking Представим себе точку на поверхности. Эта точка будет маркером, если: точка одноцветна и симметрична относительно центра - поверхность одноцветная и ровная
3. Edge/corner tracking Этот тип трэкинга способен определять контрастные края объектов, а так же пересечение двух контрастных краев (углы на объектах).Если вам нужно притрэкаться к стыкам пола и стен, ребрам прямоугольной колонны, или стенке грузового фургона – то этот метод просто идеален.
Определение параметров камеры
Камера программы 3DE имеет 14 параметров. Пять из них относятся к линзовому искажению. Они позволяют очень точно настроить и реконструировать виртуальную камеру соответственно камере, на которую сцена была снята.
Условия успешной реконструкции данных Для успешной реконструкции трехмерных данных пользователь должен предоставить программе достаточное количество информации. Общие условия, необходимые для воссоздания движения камеры или объекта таковы:
1. Все детали ("features"), положение которых определяется с помощью точек, используемые для воссоздания камеры должны быть неподвижны по отношению друг к другу. 2. В каждом кадре, на экране должно быть как минимум 4 точки. 3. Всего должно быть не менее 6 точек. 4. Как минимум в двух кадрах эти 6 точек должны размещаться на экране, они называются корневыми кадрами ("rootframes").
Анализ полученных результатов
В отличие от большинства match moving систем с автоматическим трэкингом в 3DE вам предоставлены мощные средства для анализа полученных результатов. Кроме того, вы можете использовать автоматические алгоритмы выявления плохо отслеженных точек. Для анализа качества реконструкции применяется тест на отклонение проекции трехмерной точки на экран относительно соответствующей точки трэкинга. В результате теста вычисляется отклонение полученной трехмерной точки в каждом кадре. Для количественной оценки качества трэкинга применяется метод шести сигм, популярный критерий качества при бизнес прогнозировании. Идеальное качество – отклонение не выходящее за первую сигму. При сигме около 6 – качество наихудшее.
Масштаб и ориентация геометрии в сцене Для того, чтобы можно было манипулировать с реальными размерами при последующей работе в пакете трехмерной графики, обязательно необходимо совмещение масштабов сцены реальной и виртуальной. Кроме масштаба сцены, крайне желательно правильно ориентировать точки относительно земли (пола и т.д.).
Экспорт данных и скриптинг Последним этапом является экспорт реконструированных и подготовленных данных в пакет трехмерной графики или композитинга. Встроенный скриптовый язык программирования на основе TCL/TK позволяет Вам изменять интерфейс программы, автоматизировать рутинные операции и писать собственные экспортеры в любые пакеты.
Проблемы при match moving
На данном этапе развития существуют две основные программные проблемы:
1. Камера закрепленная на треножнике В результате трэкинга камеры с “position constraint”. Вы получаете набор точек сферически распределенных в пространстве относительно камеры, и такая точечная модель не отражает реальной геометрии сцены и глубины.
2. Точки лежат перпендикулярно оси камеры и перспектива мало изменяется на протяжении всей секвенции. Как уже говорилось ранее, для вычисления требуются несколько различных перспектив.
Решение проблем при match moving
В 3DE существует три основных способа борьбы с некачественной реконструкцией:
1. Reference framesreference frames – это кадры снятые в той же сцене, что и основная секвенция и служащие для уточнения положения точек в пространстве. Причем они могут быть сняты на любой фотоаппарат или быть кадром секвенции, снятой на другую камеру.
Вы осуществляете трекинг точек в основной секвенции. Затем расставляете их соответственно в reference frames и… вы получаете качественную реконструкцию. И все это возможно добавлению еще нескольких перспектив из reference frames.
2. Редактирование полученной траектории движения Предположим, что необходимое число точек отслежено, а параметры камеры верны. Тем не менее, остался один или несколько кадров, в которых положение и вращение камеры неверное, и Вы хотите исправить это вручную перед тем, как экспортировать информацию. Однако, этот метод нужно использовать только тогда, когда все остальное не помогло.
3. Применение пост-фильтра Суть постфильтрации состоит в следующем: во время процесса реконструкции гладкость траектории движения теряется. Задачей постфильтра является - восстановить эту информацию, не слишком искажая реконструированную траекторию движения. Для этого программа 3DE использует анализ и синтез Фурье ("Fourier analysis and synthesis"). Траектория движения камеры является наложением циклических движений разной частоты. Если траектория движения колеблется, значит есть много высокочастотных движений, которые оказывают неконтролируемое влияние на траекторию. Цель анализа Фурье – найти силу (амплитуду) каждой частоты.
Линзовое искажение, WarpDistort, grid shot
Часто при съемке получается изображение с линзовым искажением. Для того что бы избавиться от него или добавить его к просчитанной трехмерной сцене, в версию 3DE film включена программа WarpDistort. Она извлекает информацию о линзе из сцены, в которой вы уже реконструировали линзовое искажение камеры.
Также в самое ближайшее время на страницах нашего журнала мы расскажем о программном решении Massive Software, котороепредназначено для создания массовых сцен. Эта технология с недавних пор доступна и в России.
1. Pattern tracking 
Камера программы 3DE имеет 14 параметров. Пять из них относятся к линзовому искажению. Они позволяют очень точно настроить и реконструировать виртуальную камеру соответственно камере, на которую сцена была снята. 
