Пейзаж кодеков меняется, и к концу 2022-2023 года появятся шесть новых кодеков. В начале 2022-2023 года большинство производителей потокового видео кодировали исключительно кодеком H.264, который дебютировал в 2003 году. Некоторые более крупные издатели, такие как Netflix, Amazon, YouTube , и Facebook также развернули основанный на стандартах преемник H.264, кодек HEVC и / или кодек Google VP9. Несколько производителей экспериментировали с кодеком AV1 от Alliance for Open Media. Помимо этих четырех существующих кодеков, в 2022-2023 году MPEG запустит три новых кодека: универсальное кодирование видео (VVC), базовое кодирование видео (EVC) и кодирование видео с низким уровнем сложности (LCEVC).
Учитывая шесть новых кодеков, которые необходимо рассмотреть к концу 2022-2023 года, стоит проанализировать факторы, способствующие успешному внедрению кодеков. В этой статье я рассмотрю эти факторы, используя H.264 и HEVC, и создам структуру анализа, которую буду использовать в будущих статьях, чтобы помешать потенциальному успеху AV1 и трех новых кодеков MPEG.
Обратите внимание, что я буду писать в первую очередь с точки зрения издателя; не с точки зрения производителя плеера или кодировщика.
- Понимание потоковых решений с малой задержкой
- Лучшие камеры PTZ, устройства захвата и потоковой передачи
1. Какова сравнительная эффективность кодека?
Самая важная роль кодека - уменьшить размер потока, необходимого для доставки видео нашим зрителям. Во многих случаях эффективность измеряется по H.264. Вы видите это на Рисунке 1 из отчета МГУ о сравнении HEVC за 2015 год. В качестве пояснения, MSU всегда представляет свои данные с использованием x264, одного из нескольких кодеков H.264, со 100% качеством. Затем для каждого другого кодека он показывает процентное уменьшение или увеличение скорости передачи данных, необходимое для получения того же качества, что и x264.
Например, на диаграмме кодек x265 может обеспечивать такое же качество, как x264, при 74% битрейта или примерно 26% экономии. Кодек VP9 не так уж и сильно отстает - 77%, или около 23% экономии по сравнению с x264.
Эта экономия представляет собой одно из основных денежных преимуществ новых кодеков. Внедрение x265 еще в 2015 году снизило бы затраты на пропускную способность для доставки видео равного качества на плееры с поддержкой HEVC на 26%. VP9 сократил бы расходы на полосу пропускания на 23%.
Думайте об адаптации кодека как об анализе безубыточности. Есть два источника притока; экономия на доставке существующим клиентам, которую мы только что рассмотрели, и дополнительный доход для клиентов на новых рынках, о которых я расскажу в следующем разделе. Есть несколько затрат, связанных с реализацией кодеков. В обозримом будущем вы будете поставлять видео в формате H.264, поэтому затраты на кодирование и хранение для новых кодеков являются дополнительными. Вам также необходимо обновить проигрыватель и выполнить некоторые тесты и контроль качества.
Экономия полосы пропускания, очевидно, связана с количеством зрителей каждого видео. Вот простой пример. Предположим, что кодирование в схему кодирования HEVC стоит 20 долларов США, и что вы сэкономили 0,01 доллара США на расходах на пропускную способность на каждого зрителя. После того, как 2000 зрителей посмотрят видео, вы оплатите эту сумму. Если 2 миллиона зрителей посмотрят видео, вы сэкономите 20 000 долларов на пропускной способности. Вот почему крупным компаниям, таким как Netflix, YouTube, Amazon и Facebook, проще развертывать новые коды.
Независимо от размера, когда экономия или новые доходы, связанные с новым кодеком, превышают затраты на реализацию и другие расходы, развертывание нового кодека имеет финансовый смысл. Очевидно, что чем выше эффективность сжатия по сравнению с существующим решением, тем больше экономия полосы пропускания.
Помимо всего этого, подавляющее большинство развертываний новых кодеков не предназначено для экономии полосы пропускания или другой эффективности доставки. Только верхушка пирамиды таких издателей, как Netflix, Facebook и YouTube, развернула VP9, несмотря на то, что в настоящее время она примерно на 35-40% эффективнее, чем x264. Скорее, издатели обычно принимают новые кодеки, такие как HEVC, потому что он открывает рынки для новых клиентов.
Это приводит к следующему вопросу.
ИНФОРМАЦИОННЫЙ БЮЛЛЕТЕНЬАудио + Видео + ИТ. Наши редакторы являются экспертами в области интеграции аудио / видео и информационных технологий. Получайте ежедневную аналитическую информацию, новости и профессиональные контакты. Подпишитесь на Pro AV сегодня.
2. Какие новые рынки или платформы поддерживает кодек?
Когда Adobe добавила воспроизведение H.264 во Flash в 2007 году, H.264 был лишь примерно на 15% эффективнее кодека VP6, который был наиболее широко используемым кодеком Flash до H.264. Несмотря на эту мизерную экономию, почему большинство издателей быстро и полностью перешли на H.264? Потому что, хотя VP6 не воспроизводился на iPod, iPhone или других мобильных устройствах, H.264 воспроизводился. С H.264 как во Flash, так и с преобладающим кодеком на мобильных устройствах издатели могут отказаться от VP6 и выйти на два рынка с одним кодеком, что совершенно несложно.
Точно так же большинство издателей развернули HEVC для доставки видео 4K и / или высокого динамического диапазона (HDR) на смарт-телевизоры, телевизионные приставки и устройства OTT. Например, в своем отчете Global Media Format за 2022-2023 год, в котором сообщалось о производстве в 2022-2023 году, encoding.com сообщил, что «мы ожидаем очень существенного увеличения объема в 2022-2023 году за счет контента UHD HDR, поскольку оба стандарта HDR премиум-класса, Dolby Vision и HDR +, соответствуют видеоформат HEVC ». К сожалению, сайт encoding.com не обновил этот отчет по результатам за 2022-2023 год.
Точно так же, наконец, Apple начала поддерживать VP9 или AV1 на своих устройствах 4K AppleTV, чтобы их зрители могли смотреть видео 4K на YouTube. Это предвещает важность, которую Alliance for Open Media вендоров, таких как Facebook, Netflix, YouTube и Amazon, будет иметь в принятии AV1.
Суть в том, что если кодек не поддерживает выход на новые рынки, единственным преимуществом является экономия полосы пропускания. Как уже говорилось, по какой-либо причине, за исключением крупнейших издателей видео, немногие другие сочли эту экономию достаточной мотивацией для развертывания новых кодеков.
3. Как время кодирования?
Мы говорили об анализе безубыточности. Я задаю этот вопрос, потому что время кодирования напрямую влияет на стоимость кодирования, и чем выше стоимость, тем сложнее достичь безубыточности.
Например, AWS Elemental MediaConvert взимает 0,024 доллара за минуту за кодирование H.264, 0,048 доллара за минуту за кодирование HEVC и 0,864 доллара за минуту за кодирование AV1. К счастью, время кодирования AV1 за последние несколько месяцев значительно сократилось, и я уверен, что цены на Elemental сохранятся. Тем не менее, когда время кодирования такое же ледяное, как раньше у AV1, вам нужны миллионы просмотров, чтобы накопить экономию полосы пропускания, необходимую для достижения безубыточности.
4. Может ли это быть реализовано в программном обеспечении на соответствующих платформах?
Этот вопрос говорит о том, как быстро кодек может быть реализован на платформах, связанных с вашим сервисом. Еще в 2007 году, когда Adobe добавила H.264 во Flash, воспроизведение стало практически универсальным на всех компьютерах и мобильных устройствах. В отличие от HEVC, аппаратная поддержка мобильных устройств была необходима для экономичного воспроизведения, а для большинства интеллектуальных телевизоров, телевизионных приставок и устройств OTT требовалось специальное оборудование для декодирования HEVC.
Со временем все больше и больше устройств начали поддерживать HEVC, и теперь он почти повсеместно используется в продуктах текущего поколения, а VP9 лишь немного отстает. Но новые кодеки, которым для эффективного воспроизведения требуется оборудование, начинают с нуля.
Как показывает практика, появление первых потребительских устройств с аппаратной поддержкой занимает около двух лет. Например, спецификация AV1 была завершена в середине 2022-2023 года, а первые смарт-телевизоры с поддержкой AV1 были отправлены в середине 2022-2023 года. Очевидно, не имеет значения, насколько эффективен кодек при запуске; это становится актуальным только тогда, когда воспроизведение доступно на значительном количестве платформ, на которые вы доставляете.
Это приводит к следующему вопросу.
5. Поддерживает ли Alliance for Open Media кодек?
Хотя для поддержки оборудования требуется два года, при скромных требованиях к воспроизведению воспроизведение в браузере или мобильной операционной системе может занять несколько недель. Однако члены Alliance for Open Media - Microsoft, Google, Mozilla и Apple - контролируют большинство браузеров и операционных систем, а также поддерживаемые ими форматы. Вот почему через семь лет после запуска HEVC поддерживается только в 16,99% всех браузеров и мобильных операционных систем, отслеживаемых сайтом www.caniuse.com (рис. 2).
Сравнимое число для AV1, выпущенного пятью годами позже? 36,56%. А как насчет VP9, который был запущен примерно в то же время, что и HEVC? 94,52%.
Если значительное количество ваших зрителей смотрят в браузерах и на мобильных устройствах, поддержка платформы имеет огромное значение для экономики. Это особенно верно, потому что поддержка программного обеспечения может быть достигнута очень быстро.
На данный момент кажется маловероятным, что члены AOM будут поддерживать какой-либо кодек MPEG, будь то HEVC, VVC, EVC или LCEVC. Таким образом, если раньше кодеки, основанные на стандартах, такие как H.264 и MPEG-2, преобладали, то теперь кодеки MPEG находятся в явном невыгодном положении на традиционных компьютерных и мобильных рынках.
6. Является ли кодек стандартом MPEG?
Группа экспертов по кинематографии, или MPEG, создала и продвигала несколько аудио- и видеокодеков, которые помогли перейти с аналогового видео на цифровое. В какой-то момент стандарты MPEG, такие как MPEG-2 и H.264, имели гораздо более ясный путь к успеху, чем проприетарные кодеки, такие как VP9. Сегодня эта динамика изменилась, поэтому, хотя процесс стандартизации обеспечивает надежность определенных технологий, это не гарантия успеха?
Что изменилось? Почти все. Когда в 2003 году был запущен H.264, вещание было королем, и потоковое вещание было не хвостом собаки, а ногтем. Очевидно, что потоковая передача - это собака, а трансляция - хвост, и компании, которые контролируют развертывание кодеков в браузерах и мобильных ОС, а также контент-компании, такие как Netflix и YouTube, оказывают невероятное влияние на развертывание кодеков.
В ближайшее время я расскажу подробнее о MPEG-2 и H.264, где была четкая и согласованная политика лицензионных отчислений, которая вышла из окна с HEVC, который имеет три пула патентов. Два пула опубликовали ставки, и годовые ограничения увеличились с примерно 10 миллионов долларов для H.264 до более 60 миллионов долларов для HEVC. Другой пул не публикует свои ставки, и спустя более семи лет после выпуска HEVC все еще не заявил, будут ли они взимать роялти за контент.
Помня о двухлетнем цикле разработки для развертывания кодеков, многие производители оборудования решили развернуть H.264 и HEVC до того, как политика лицензионных отчислений стала ясной. После внедрения HEVC крупные компании, такие как Apple и Samsung, могут отложить внедрение технологии до тех пор, пока не станет яснее картина роялти, что может добавить еще 24 месяца к циклу внедрения.
Наконец, с точки зрения видеокодеков, MPEG сократил примерно десятилетний цикл между MPEG-2, H.264 и HEVC до семилетнего цикла для трех дополнительных видеокодеков, которые будут завершены в 2022-2023 году. Конечно, каждый из них будет завершен в 2022-2023 году. кодек предлагает различный набор функций, производительности и других характеристик, и маловероятно, что все они получат одинаковое коммерческое распространение.
7. Какова модель владения технологиями и их монетизации?
Большинство кодеков являются результатом сотрудничества нескольких сторон. При использовании некоторых кодеков это приводит к созданию одного или нескольких патентных пулов, позволяющих компаниям возмещать затраты на свои инвестиции в НИОКР. Напротив, VP9 был разработан исключительно Google, в то время как AV1 был разработан Alliance for Open Media компаний, которые все предоставили свои патенты AOM на безвозмездной основе.
Однако только потому, что компания или организация заявляют, что владеют всеми правами на технологию, еще не значит, что это так. Хотя Google утверждает, что VP9 является открытым исходным кодом, как и Alliance for Open Media для AV1, администратор патентного пула Sisvel запустила пулы патентов для VP9 и AV1, заявив, что эти кодеки используют изобретения, защищенные патентообладателями в своих пулах (обратите внимание, что автор консультируется с Sisvel относительно этих бассейнов).
Конечно, и H.264, и HEVC являются лицензионными как для кодировщиков, так и для декодеров, а также для некоторых типов контента, поэтому простое существование роялти не обрекает технологию. Скорее, потенциальных лицензиаров заботит сплоченность этой группы, ясность их условий лицензирования и то, как быстро они становятся доступными.
8. Какова структура роялти?
В 2017 году Джонатан Самуэльссон, генеральный директор компании-разработчика кодеков Divideon, создал график, показанный на рисунке 3, который стал иллюстрацией дисфункциональности, представленной владельцами патентов, связанных с HEVC. Вы видите три пула и несколько дополнительных компаний, некоторые из которых очень значительны, но не в каком-либо пуле. Обратите внимание, что это оригинальная графика, разработанная Самуэльссоном; С тех пор картина собственности несколько изменилась.
Очевидно, что если вы потенциальный лицензиар, вы бы предпочли единый пул, включающий всех известных разработчиков технологий, что на самом деле может случиться с EVC и LCEVC. Тем не менее, большинство основных стандартов имеют более одного пула; лицензиарам нужна своевременная и известная структура для всех основных участников. Примечательно, что, хотя стандарт VVC был завершен в июле 2022-2023 года, маловероятно, что условия лицензирования будут известны до середины 2022-2023 года. Если они будут выглядеть примерно так, как показано на рисунке 3, VVC может никогда не оторваться от земли.
9. Есть ли роялти за контент?
Если вы издатель потоковой передачи, ответы на вопросы 4–8 определяют, как быстро кодек может быть принят разработчиками оборудования и программного обеспечения, что определяет, как быстро вы можете начать использовать кодек для показа своим зрителям. Этот вопрос определяет, сколько будет стоить вам как издателю потоковой передачи развертывание контента с этим кодеком.
Опять же, гонорары за контент не являются чем-то необычным и не обрекают кодек на провал; и HEVC, и H.264 имеют некоторые роялти за контент. Однако очевидно, что эти затраты необходимо включить в модель безубыточности, чтобы определить, когда и имеет ли экономический смысл развертывание нового кодека.
Взгляд назад и вперед
Оглядываясь назад, легко понять, почему H.264 был (является) таким успехом: он предлагал скромную экономию полосы пропускания, но сразу воспроизводился на компьютерах благодаря Flash и предлагал выход на новый рынок (мобильный). Лицензирование контролировалось единым пулом патентов, который владел большинством связанных патентов, и хотя для воспроизведения H.264 на мобильных устройствах требовалось аппаратное воспроизведение, аппаратная поддержка изначально была почти универсальной и вскоре стала повсеместной.
Напротив, HEVC дебютировал с очень разрозненной структурой лицензирования, которая препятствовала внедрению технологии. Хотя поддержка HEVC практически универсальна для мобильных устройств, Smart TV и последних поколений устройств OTT, отсутствие поддержки браузера снижает общую отдачу от инвестиций, в то время как отсутствие ясности в отношении роялти за контент вызывает огромную озабоченность у многих издателей. В результате HEVC был реализован в первую очередь издателями, распространяющими видео 4K и HDR в гостиной.