Дополненная реальность спешит на помощь. Отмена NAB 2022-2023 из-за пандемии COVID-19 вызвала шок в индустрии вещания. NAB Show, ежегодно проводимая в Лас-Вегасе, является крупнейшей вещательной выставкой с более чем 90 000 посетителей из более чем 160 стран. Большинство из 1600 экспонентов запускают новые продукты и технологии, а для многих крупных компаний требуется планирование на срок до шести месяцев. За очень короткий промежуток времени команде Panasonic Pro Video пришлось придумать альтернативы для передачи своего сообщения при удаленной работе из дома.
Аудио + Видео + ИТ. Наши редакторы являются экспертами в интеграции аудио, видео и информационных технологий. Получайте ежедневную аналитическую информацию, новости и профессиональные контакты. Подпишитесь на Pro AV сегодня
В дни, предшествовавшие отмене выставки NAB Show, команда Panasonic начала рассматривать варианты проведения альтернативного мероприятия, включая идею создания физического стенда, куда клиенты могли бы приходить онлайн. Команда Panasonic Pro Video также вела переговоры с Полом Лакомбом, генеральным директором DisruptAR, базирующейся в Новой Англии, который специализируется на создании виртуальных фильмов. Начав свою карьеру в General Motors после колледжа, Лакомб проработал в производственной отрасли 30 лет, начиная с Silicon Graphics в конце 80-х, прежде чем отправиться в одиночку, чтобы заняться виртуальным производством. DisruptAR ориентирован на снижение затрат на производство AR и VR для более широкого рынка.
- Стриминговая инфраструктура Esports Training Factory
- Citizen Cope открывает концертное пространство, защищенное от Covid
- Удаленное обучение: как заставить работать удаленный оркестр
- Лучшие PTZ-камеры для потоковой передачи в реальном времени
16 марта штат Нью-Джерси, где находится штаб-квартира Panasonic в США, был официально закрыт; 18 марта Лакомб запланировал первую демонстрацию для команды Panasonic. NAB Show 2022-2023 был отменен 20 марта ».
Нам пришлось очень быстро выбрать один из двух вариантов », - рассказывает технический директор Panasonic Гарри Патель. «Первый вариант требовал физического строительства будки, доставки продукта с соблюдением требований социального дистанцирования (менее 10 человек одновременно) и привлечения съемочной группы. Это было непрактично, и мы хотели сделать что-то более качественное, даже несмотря на то, что не могли выходить из дома. Итак, наконец, эта идея виртуального мероприятия обсуждалась и была одобрена к концу марта ».
Дополненная реальность и удаленное производство
Удаленное производство - не новая концепция. Режиссер Фрэнсис Форд Коппола, как известно, снял и смонтировал многие сцены из своего фильма 1982 года «Один из сердца» из трейлера рядом со съемочной площадкой. Но создание производства удаленно из дома во время глобальной пандемии - это совсем другое дело. Это стало возможным только при использовании новейших технологий камеры, игровых движков виртуальной реальности и облачных приложений.
Для Panasonic первой целью было создать четкое сообщение с устным и письменным общением, переведенным в более наглядный видеоформат. В NAB продавцы обычно общаются с покупателями на выставочной площадке, обсуждая решения проблем каждого человека. Менеджер группы по маркетингу Джим Викизер и PR-агентство Racepoint Global смогли сформулировать последовательное сообщение и вместе с отдельными менеджерами по продукту представили правильные тезисы для обсуждения.
Патель и Викизер также начали работать с Лакомбом удаленно из его домашней студии, чтобы создать видео-интервью между менеджерами по продуктам и ведущей студии Зои Лайз, которые должны были обсудить новые продукты и технологии. «У всех нас были сложные производственные среды, но делать это удаленно по этому графику было определенно шагом веры», - объясняет Лакомб. «В глубине души я знал, что это может сработать, но никогда раньше не делал этого».
Для удаленной записи каждый менеджер по продукту получил ноутбук, USB-микрофон Blue Yeti и профессиональную PTZ-камеру Panasonic AW-HE42 Full-HD. HE42 был подключен через Ethernet и виртуальный USB-драйвер PTZ, а видео передавалось на портативный компьютер с помощью OBS для записи и TeamViewer для удаленного управления.
Дополненная реальность и команды MS
Для общения, обмена файлами, просмотра демонстраций и мониторинга удаленных производственных съемок Panasonic использовала Microsoft Teams, платформу для общения и совместной работы. В одночасье такие платформы, как Teams, Zoom, Ring Central и многие другие, позволили людям и предприятиям безопасно общаться с внешним миром из своих домов.
Для просмотра того, что Лакомб снимал на съемочной площадке во время производства, Патель использовал общий ресурс Teams Screen, создав разделение на четыре части с помощью выхода переключателя AV-UHS500 в блок преобразователя из SDI в USB. Канал USB был представлен в Windows как канал камеры, которым они поделились через Teams.
Наблюдая за записью вступительного слова старшего вице-президента по профессиональным системам визуализации и визуализации Джона Бейсли, через Teams Патель и Викайзер смогли просмотреть гостиную Бейсли в прямом эфире и указать направление, было ли это ошибкой чтения строки, изменением фона или техническим проблема со звуком. С помощью Teams Патель также смог указать направление экрана, наблюдая как за зеленым экраном, так и за виртуальным набором. «Если бы Зои стояла прямо за дверью и вошла, мы действительно могли бы увидеть, был ли выстрел хорош», - объясняет Патель. «Я бы сказал Полу через Teams:« Возможно, будет лучше, если она перейдет немного правильно ». Что касается удаленного сотрудничества, я не думаю, что это было бы возможно без использования Teams».
«Было здорово делать это удаленно», - добавляет Викизер. «У нас был человек в Бостоне, Гарри и я были в наших домах в Нью-Джерси, и у нас был еще один человек на Западном побережье. Моя дочь однажды спустилась к нам в подвал и спросила, что я делаю. «Мы делаем удаленное производство», - сказал я ей. Она действительно не могла в это поверить.
Free-D и Unreal Engine
Чтобы включить реалистичные студийные декорации VR в прямую трансляцию, очень важен сбор точных данных о местоположении камеры. Перед тем, как представить свою первую демонстрацию для Panasonic, DisruptAR разработал драйвер Free-D, который позволил бы PTZ-камеру AW-UE150 4K Pro напрямую подключать к Unreal Engine, что дало ему возможность выводить информацию о панорамировании / наклоне / масштабировании / диафрагме. через IP (UDP) прямо с камеры в систему отслеживания Unreal в реальном времени без необходимости в дополнительных датчиках или кодировщиках.
«Free-D пришла из BBC еще в начале 90-х как протокол слежения для одной из их систем слежения за камерой», - объясняет Лакомб. «Он определяет шесть степеней свободы - панорамирование, наклон, поворот, X, Y, Z, а также поле обзора, масштабирование и фокусировку. Эти значения отправляются в механизм виртуального рендеринга и подключаются к виртуальной камере, поэтому ваш фон соответствующим образом реагирует в реальном времени со скоростью 60 кадров в секунду ».
По словам Лакомба, Unreal Engine использовался повсеместно во многих постановках - от Короля Льва до Мандалорца. «Это основная технология, которую сейчас использует большая часть Голливуда», - говорит Лакомб. «По большей части они используют его как прокси, но цель -« конечный пиксель », то есть то, что вы видите в реальном времени, и есть то, что отображается на экране».
«Unreal Engine - это игровой движок, который применялся на других рынках, включая архитектуру, CAD-визуализацию и, в данном случае, вещание и кино», - говорит Лакомб. «Мы используем его, чтобы достичь высочайшего уровня фотореализма, беря ресурсы из традиционных инструментов DCC, таких как Maya, 3D Studio Max, Blender, с использованием видеокарт NVIDIA со скоростью 60 кадров в секунду, давая зрителям точные характеристики объектива, такие как цветение, блики и расфокусировка. Качество, необходимое для достижения фотореализма и рендеринга со скоростью 60 кадров в секунду, - это, по сути, то, что делает Unreal Engine ».
Создание виртуального мира… в гараже
Студия Лакомба находится в его переоборудованном гараже, размеры которого составляют всего 20 х 24, а его команда состояла только из одного помощника. Для зеленого экрана он использовал фон Pro Cyc Portable. Из-за ограниченного пространства Лайз мог пройти всего несколько шагов, поэтому они были ограничены камерами, что делало AW-UE150 идеальным инструментом для работы. Для освещения своего зеленого экрана Лакомб использовал 14-дюймовые светодиодные панели. «Идея в том, что вы действительно хотите иметь один оттенок зеленого и избавиться от всех пятен, чтобы ваш кейер мог сохранить эти тени», - объясняет Лакомб. «Вы выбираете один зеленый, который хотите выключить, а более темный зеленый - это тени, наложенные в вашем виртуальном наборе».
Несмотря на то, что он работал в тесноте своего гаража, ему приходилось освещать свой талант целеустремленным светом большой студии. Чтобы осветить Лайза, Лакомб использовал две светодиодные панели как для ключа, так и для заливки. Он также использовал несколько прожекторов сверху, чтобы имитировать красноватый свет, исходящий из окон. «В основном мы пытаемся соответствовать этому направлению и этой цветовой температуре, не влияя на зеленый экран», - говорит Лакомб. «Это проблема, потому что вы пытаетесь выделить талант отдельно от зеленого экрана. Двери сарая на этих светодиодах давали нам больше места, но мы боролись, чтобы уйти от зелени и минимально отразиться от зелени на ее одежде и коже ».
На съемочной площадке Лакомб использовал две камеры UE150: камера 1 находилась слева, а камера 2 - справа. Когда Зоя поворачивалась к менеджеру по продукту на вертикальном мониторе, он переключался на вторую камеру на уровне глаз Лайза, чтобы смоделировать точку зрения менеджера по продукту. Совпадение линий взгляда - сложная задача, но Лакомб говорит, что можно немного обмануть, зная, где находится его исходная позиция. «Если у вас было две камеры, одна была под углом 90 градусов к другой на расстоянии восьми футов, а другая - в четырех футах, вы могли измерить рулеткой и поместить их в виртуальный мир в том же положении. Они будут придерживаться друг друга в соответствии с законами физики, так что они будут выглядеть так, как будто они находятся в этом точном положении. И тогда вы сможете немного обмануть в рамках этих правил ».
Производственный дизайн одним нажатием кнопки
Для дизайна виртуального набора Лакомб использовал модифицированный дизайн, над которым он работал с другим клиентом в прошлом году. Дизайн был выполнен в Maya и экспортирован в Unreal. Поскольку виртуальный сет происходит ночью, сначала они выглядели более мрачно, но затем решили сделать его немного ярче. Он добавил логотип Panasonic и убрал элементы, которые не были существенными для набора Panasonic. Он также добавил монитор, который выходит из пола, из-за которого выходит Лайз.
По словам Лакомба, при создании собственного виртуального набора доступно больше трехмерных ресурсов, поскольку онлайн-архитектурная визуализация действительно набирает обороты. Вы можете перейти в 3D-библиотеку, найти 3D-ресурсы или модели и построить их в зависимости от ваших требований к настройке. «Это действительно постоянный обмен мнениями с клиентом», - объясняет Лакомб. «Вы добавляете свои маркетинговые компоненты, брендинг, все цвета и материалы. Когда у вас есть актив, вы можете снимать стены с помощью кнопки, щелкать или перемещать объекты, настраивать мониторы в реальном времени. В «физическом мире» это потребует значительных затрат времени и денег. Когда вещь построена, ее легко настроить и вернуться к ней ».
Соблюдать безопасную дистанцию
Виртуальное производство развивалось на протяжении десятилетий благодаря опыту и совершенствованию. Хотя роли физического производства и виртуального производства по сути одинаковы, самая большая разница в том, что все работают в одном физическом пространстве. После того как будет отменено постановление о домохозяйстве, вопрос о том, станет ли настоящее удаленное производство нормой, все еще определяется.
«Есть причина, по которой кто-то смотрит на ключ, кто-то смотрит на сценарий, кто-то смотрит в ракурсы и гардероб», - говорит Лакомб. Все эти роли еще предстоит выполнить, и мы просто пытаемся придумать лучший способ сделать это удаленно. Пока что это работает на удивление хорошо, и мы все удивлены тем, как все это произошло так быстро и эволюционировало естественным путем. Хотя для этой постановки нам пришлось надеть больше головных уборов, чем хотелось бы, следующим логическим шагом будет дальнейшее распространение шляп, чтобы другие участвовали в доработке и улучшении процесса. Но впервые за все время я очень доволен результатами и с нетерпением жду следующего шага ».
Чтобы посмотреть виртуальное мероприятие Panasonic, Будущее видеопроизводства , щелкните здесь.
Для получения дополнительной информации о DisruptAR посетите www.disruptar.com.
