Стриминг видео AWS S3 и видеохостинг с Amazon CDN и Multi-DRM

AWS предлагает набор инструментов для видеохостинга, главными из которых являются Amazon S3 и Amazon CloudFront. Amazon S3 славится своей долговечностью: коэффициент долговечности составляет 99,999999999 %, а доступность – 99,99 %, что гарантирует не только сохранность, но и практически полную неприкосновенность хранимого видео. Amazon S3 предоставляет облачные услуги с 2006 года и сообщает, что по состоянию на март 2021 года на серверах S3 хранится более 100 триллионов объектов. Он стал популярен как простой и доступный способ воспользоваться услугами облачного хранения данных. Однако простота интеграции и масштабируемость удерживают пользователей. Даже такие крупные поставщики решений, как VdoCipher, используют инфраструктуру AWS для предоставления полного пакета Стриминг видео AWS S3 с интегрированной системой безопасности и другими функциями.

Поскольку AWS S3 использует объектное, а не блочное хранилище, в него можно передавать пакетные данные с уникальными идентификаторами и настраиваемыми тегами метаданных для формирования полноценных объектов. Инфраструктура объектного хранилища также отличается сниженной задержкой при удаленном хранении. Это приводит к ускорению доставки или производительности всего приложения, зависящего от хранилища.

Что такое видеохостинг Amazon S3?

Amazon S3 или AWS S3 или Amazon Simple Storage Service – это сервис, предлагаемый компанией AWS или Amazon Web Services. Он обеспечивает объектное хранение данных через Amazon S3 REST API и интерфейс веб-сервиса. AWS S3 использует масштабируемую инфраструктуру хранения данных, применяемую такими крупными сетями, как Netflix, и гигантами электронной коммерции, как Amazon.

В объектном хранилище AWS S3 можно хранить любые объекты, например, файлы для интернет-приложений, видео, резервные копии данных, восстановление, архивы, аналитику данных и даже гибридные облачные хранилища. Однако существуют некоторые ограничения на размер загружаемого файла объекта. Размер файла объекта AWS S3 может составлять от 1 байта до 5 ТБ. Если объект превышает 5 ТБ, перед загрузкой его необходимо разделить на максимальные куски по 5 ТБ. Кроме того, во время выгрузки за одну операцию может быть загружен поток объемом не более 5 ГБ. Для загрузки объектов размером более 5 ГБ пользователь должен использовать S3 multipart upload API.

История создания и инфраструктура AWS S3

Amazon Web Services начала предлагать услуги S3 предприятиям в качестве веб-сервиса в США 14 марта 2006 года. В ноябре 2007 года она распространилась на Европу, а сейчас представлена в 190 странах мира. В октябре 2007 года AWS начала работу с 10 миллиардов объектов, а в марте 2010 года их количество выросло в 10 раз и достигло 102 миллиардов. Amazon сообщил, что по состоянию на март 2021 года на серверах S3 будет храниться более 100 триллионов объектов.

Это оказалось успешным, поскольку предоставило малым, средним и крупным предприятиям возможность заменить первоначальные капитальные вложения. Ранее, при ограниченных возможностях, им приходилось нести большие капитальные затраты на создание серверов, а обслуживать их в нескольких местах было обременительно. Теперь пользователи могут создавать сотни или тысячи серверов S3 за считанные минуты и осуществлять глобальную доставку через CDN.

Проектирование инфраструктуры

Объекты – это основные единицы хранения AWS S3, которые организуются в контейнеры, называемые сегментами. Каждый объект идентифицируется уникальным ключом, назначаемым пользователем по отношению к сегменту. Сегментами и объектами в них можно управлять вручную с помощью веб-интерфейса через консоль и программно с помощью Amazon S3 REST API, интерфейса командной строки AWS (CLI) или AWS SDK.

Каждый запрос к объекту авторизуется с помощью списка контроля доступа (ACL), связанного с каждым объектом или сегментом. ACL объектов и сегментов являются независимыми, то есть объект не обязательно наследует разрешения своего ведра. Разрешение на доступ к объекту может быть предоставлено и другим пользователям учетной записи AWS. Сегмент также можно настроить на передачу HTTP-информации в родственный сегмент для анализа данных.

Может ли Amazon S3 обрабатывать потоковое видео HTML5?

AWS S3 легко справляется с потоковым видео HTML5 с помощью базовой загрузки и HTML-кода для встраивания. Вы можете использовать любой видеоплеер HTML5 с открытым исходным кодом или стандартные возможности браузера по воспроизведению видео с видео, размещенного на S3. Ваш HTML-код выглядит следующим образом,

<video controls preload=”auto”
poster=”http://mys3bucket.s3.amazonaws.com/videoImage.jpg”>
<source src=”http://mys3bucket.s3.amazonaws.com/myvideofile.mp4″ type=’video/mp4′ />
</video>

Атрибут poster здесь определяет миниатюрное изображение перед воспроизведением.

Настройки во время воспроизведения или в плеере осуществляются через фронтенд плеера, а не через AWS. Для настройки плеера можно использовать защищенный видеоплеер, например VdoCipher, или java-скрипты и элементы стиля для плеера с открытым исходным кодом.

В следующей части мы также обсудим, как можно настроить сегмент S3 для размещения видео. Мы сделаем это с помощью загрузки видео в сегмент, применения глобального распространения через CDN CloudFront, обеспечения безопасности и воспроизведения. Использование видеохостинга Amazon S3 с AWS CloudFront для размещения видео для OTT, просмотра по требованию, является высокомасштабируемым и более быстрым подходом к доставке.

Планирование видеоинфраструктуры на базе AWS

Основная цель планирования инфраструктуры Стриминг видео AWS S3 – обеспечить масштабируемую, безопасную и быструю доставку видео для авторизованного воспроизведения или загрузки. AWS S3 предоставляет масштабируемую инфраструктуру для хранения видеообъектов, но для повышения эффективности доставки требуются дополнительные возможности. К таким дополнительным функциям относятся глобальное распространение через AWS CloudFront CDN, транскодирование и шифрование. Перечислим необходимые компоненты, которые нужно настроить.

• Настройка сегмента S3
• Загрузка видео в сегмент S3
• Транскодирование для поддержки потоковой передачи с адаптивным битрейтом
• Шифрование файлов перед хранением
• Создание идентификатора доступа к источнику CloudFront и дистрибутив CloudFront
• Настройка дистрибутива CloudFront для пользовательского доменного имени
• Динамический обмен ключами при воспроизведении зашифрованных видеофрагментов

Все эти компоненты необходимы в качестве базовых функций для работы с различными устройствами и безопасной доставки по всему миру. Если не настроить потоковую передачу с адаптивным битрейтом, это приведет к сбоям в воспроизведении для пользователей сетей с низкой пропускной способностью. Аналогично, CDN обеспечивает более быструю доставку по всему миру. Наконец, настройка DRM-уровня безопасности защитит ваши видео от нелегального скачивания и захвата экрана. Кроме того, настройка всех этих компонентов требует вашего знакомства с кодированием. Если это ваша слабая или капиталоемкая область, лучше воспользоваться услугами поставщика решений для безопасного видеохостинга с инфраструктурой AWS.

Процесс создания сегмента S3 и загрузки потокового видео

Очевидно, что существуют различные методы, использующие веб-интерфейс через консоль и программно с помощью Amazon S3 REST API, интерфейса командной строки AWS (CLI) или AWS SDK. Для простоты мы рассмотрим шаги через AWS Management Console.

1. Войдите в AWS Management Console и выберите консоль Amazon S3, выполнив поиск S3.
2. В левой навигационной панели выберите Сегменты.
3. Нажмите на кнопку Создать сегмент.
4. Введите имя сегмента на следующей странице создания сегмента.
5. Выберите предпочтительный регион. Выбирайте тот регион, который ближе всего к серверу приложений, но если он предназначен только для воспроизведения, то ближе всего к основной аудитории. При глобальном просмотре используйте CDN.
6. Для неограниченного публичного доступа отключите параметр “Блокировать весь публичный доступ”, который установлен по умолчанию. Настройка по умолчанию “Блокировать весь публичный доступ” хороша, если вы используете Cloudfront CDN с S3. Этот параметр не блокирует доступ зрителей через Cloudfront CDN.
7. Вы можете оставить остальные настройки по умолчанию и нажать кнопку Создать сегмент. В результате будет создан сегмент, в котором можно размещать видео.
8. На вкладке Объекты нового ведра выберите Загрузить.
9. На странице загрузки выберите Добавить файлы в разделе Файлы и папки.
10. Выберите видеофайл для загрузки из локальной системы, а затем выберите Открыть.

Наконец, выберите Загрузить, и в консоли начнет отображаться индикатор выполнения, показывающий процесс загрузки.

Примечание: Если вы загружаете большие видеофайлы на S3, ограничение размера файла может нарушить процесс загрузки. Для таких случаев используйте Amazon S3 Transfer Acceleration или пакетную обработку. Transfer Acceleration позволяет быстрее загружать видео с большей скоростью.

Создание дистрибутива AWS CloudFront для поддержки CDN

Создать дистрибутив AWS CloudFront довольно просто, но это может потребовать дополнительных шагов, например, защиты доступа к S3 путем предоставления доступа только специальному пользователю CloudFront. Мы перечислили основные шаги по созданию дистрибутива CDN и доступу к видео в S3 через URL дистрибутива. Настройка пользовательского домена для дистрибутива CloudFront требует дополнительных шагов и использования сервиса AWS Route 53.

1. Войдите в консоль и откройте консоль CloudFront, найдя CloudFront и выбрав его.
2. Выберите Дистрибутивы в левой панели навигации.
3. Выберите Создать дистрибутив.
4. В разделе Происхождение выберите доменное имя вашего источника S3, названное в соответствии с именем сегмента, созданного в S3.
5. В режиме кэширования по умолчанию выберите Перенаправление HTTP на HTTPS.
6. Сохраните значения по умолчанию для других функций, если они не требуются явно, и нажмите кнопку Создать дистрибутив.

Теперь AWS создаст поддомен для вашей рассылки CloudFront, и доступ к видеофайлам S3 можно будет получить, добавив суффикс имени объекта в конце этого поддомена. Как только через дистрибутив будет сделан запрос, он начнет создавать копии видеофайла в соответствии с выбранным ценовым классом размещения.

Пакетное транскодирование для стриминга с адаптивным битрейтом

Потребители любых малых, средних и крупных видеопровайдеров используют для воспроизведения видео устройства всех размеров и форм. Такой большой список размеров экранов и пропускной способности сетей ставит задачу более эффективного обслуживания потребителей и улучшения их пользовательского опыта. Именно поэтому ни один объект не может удовлетворить их всех, вместо этого используется целый ряд видеообъектов. Эти объекты фактически являются копиями в различных форматах, размерах и битрейтах. AWS предоставляет масштабируемую функцию для выполнения этой задачи, которая называется транскодированием. Этот процесс включает в себя следующие основные этапы.

1. Загрузка входного видео
2. Запуск обработки видеофайла для различных вариантов воспроизведения
3. Хранение перекодированных видеофайлов в папках в сегменте S3.
4. Доставка выходных видеофайлов в соответствии с совместимостью пользователей.

Вам необходимо настроить пакетные операции S3, вызвать функцию Lambda и вызвать MediaConvert для пакетной транскодировки медиаобъектов в ведре S3. В итоге выходные данные будут перемещены в ведро S3-источник в виде отдельных объектов, например,

• Поток с адаптивным битрейтом HLS для воспроизведения с разными размерами и полосой пропускания
• Видеофайл формата .mp4
• Изображения миниатюр с регулярными интервалами во время воспроизведения

Теперь мы выделим категории шагов, которые необходимо выполнить для настройки пакетного транскодирования для потоковой передачи с адаптивным битрейтом. Пожалуйста, обратитесь к документации AWS по указанным ниже шагам для получения подробной информации.

1. Создайте роль IAM для MediaConvert, S3 Batch Operations и Lambda-функции.
2. Запустите функцию Lambda для транскодирования видео.
3. Настройте Amazon S3 Inventory в качестве исходного сегмента.
4. Запустите задание S3 Batch Operations для обработки выходных медиафайлов из и в сегмент S3.

Применение шифрования для защиты от нелегального скачивания

AWS сама предоставляет механизм безопасности в виде трех механизмов шифрования на стороне сервера. Они являются взаимоисключающими вариантами и зависят от того, как вы решите управлять ключами шифрования.

1. Amazon S3-Managed Keys (SSE-S3)
2. Ключи KMS, хранящиеся в службе управления ключами AWS (SSE-KMS)
3. Ключи, предоставленные клиентом (SSE-C).

Но многие инструменты могут сломать эти системы управления ключами, и для этого требуется надежная технология защиты, например DRM. Она становится безопасной в основном по двум причинам: контроль над устройствами и браузерами со стороны поставщиков лицензий и, во-вторых, благодаря динамической и обновляемой системе обмена ключами. Опять же, настройка DRM – дело довольно сложное, поэтому мы перечисляем основные шаги, необходимые для технической обработки с вашей стороны.

1. Вы должны приобрести лицензию DRM через таких провайдеров, как Google Widevine и Apple Fairplay. Они позволят вам использовать их систему для генерации и хранения ключей DRM-контента и аутентификации медиа-запросов во время хранения и воспроизведения.
2. Настройте сервер AWS для пакетной обработки медиафайлов для шифрования и хранения зашифрованных видеофайлов в ведре S3.
3. Также необходимо создать приложение, которое будет аутентифицировать и авторизировать пользователей воспроизведения с помощью системы динамического управления ключами лицензиата.

Наконец, вам понадобится онлайн-медиаплеер, способный работать с воспроизведением видеофайлов, защищенных DRM. Этот механизм защищает ваше видео от незаконного скачивания с помощью любых инструментов. На устройствах Android и Apple он также защищает захват экрана, но, очевидно, это может быть и видеозапись, поэтому рекомендуется включить динамический водяной знак.

Как воспроизводить видео, размещенное на AWS S3

Воспроизведение видеофайлов, размещенных на AWS S3, довольно простое. Вам понадобится видеоплеер с открытым исходным кодом, поддерживающий воспроизведение HTML5. Вы также получите дополнительные возможности, если будете использовать какой-либо безопасный хостинг-провайдер AWS, например VdoCipher с защитой DRM. В остальном воспроизведение на любой HTML-странице аналогично тому, что было описано ранее для HTML5-видео.

Стриминг видео AWS S3 будет воспроизводиться автоматически через настройки проигрывателя браузера.
Требуемый код прост и может быть интегрирован вручную в виде iframe или с помощью плагинов, API и т. д.

<video controls>
<source src=”http://mys3bucket.s3.amazonaws.com/myvideofile.mp4″>
</video>

Проблемы при настройке Стриминг видео AWS S3

Даже для инженера DevOps все вышеперечисленные задачи по настройке являются достаточно трудоемкими. Даже если не обращать внимания на исправление ошибок и обработку исключений, от начала загрузки до хранения и окончательного воспроизведения нужно сделать очень многое. Кроме того, если вы планируете интегрировать систему безопасности в свою видеоинфраструктуру, это потребует получения лицензий и их интеграции. Чтобы обобщить все сложности, давайте перечислим четыре основных этапа, необходимых для настройки Стриминг видео AWS S3, и их уровни сложности.

1. Создание и загрузка сегмента S3 – Просто
2. Настройка AWS CloudFront – Просто
3. Пакетное транскодирование для адаптивного воспроизведения – Умеренно
4. Применение DRM-шифрования – Сложно.

Малые, средние и крупные провайдеры потокового видео в основном используют поставщиков решений с историей предоставления лучших в своем классе услуг и функций. Они помогут вам избежать трудностей, связанных с внедрением и созданием панелей управления, API и т. д. для легкой интеграции.

Решение для безопасного видеохостинга в инфраструктуре AWS – VdoCipher

Лучшим поставщиком решений для безопасного видеохостинга в инфраструктуре AWS, судя по мировым отзывам, является VdoCipher. Он не только обеспечивает хостинг Стриминг видео AWS S3, но и предоставляет массу других возможностей, таких как,

Шифрование Google и Apple FairPlay DRM – защита видео от несанкционированного доступа и скачивания с помощью Widevine и FairPlay DRM.

Динамические водяные знаки – чтобы предотвратить захват экрана, на видео можно динамически наносить такие детали, как идентификатор пользователя, электронная почта и т. д.

Безопасная автономная загрузка в приложениях – Нативный SDK VdoCipher для iOS позволяет безопасно загружать видео на устройство.

Google SafetyNet для обеспечения безопасности на основе приложений – SafetyNet блокирует воспроизведение в дублирующих приложениях.

Плагины – Видеоплагин от VdoCipher поддерживает WordPress, Moodle и другие CMS и LMS.

Географические ограничения – Для внесения в черный или белый список определенных стран

Интеллектуальный видеоплеер HTML5 – динамические элементы управления с поддержкой субтитров на нескольких языках, изменение скорости воспроизведения, опции темы и API для добавления накладных кнопок для отслеживания взаимодействия зрителей с видео.

Адаптивное качество видео с CloudFront CDN – VdoCipher использует глобальную облачную инфраструктуру AWS. Хранение на AWS S3, пакетное транскодирование с помощью алгоритмов VdoCipher на AWS EC2, потоковая передача контента через Cloudfront CDN, а также шифрование с помощью интеграции Google и Apple DRM. Если вы хотите узнать больше о том, что такое транскодирование, вы можете посетить блог по ссылке.

 

Часто задаваемые вопросы

Предоставляет ли AWS защиту DRM для потокового видео?

AWS не имеет собственной службы защиты DRM, поэтому для защиты от нелегальных загрузок потребовалась интеграция с Google Widevine и Apple Fairplay DRM.

Можно ли загрузить в Iframe видео, размещенное в AWS S3?

Да, для этого достаточно поместить теги видео в теги iframe в HTML и обеспечить совместимость со всеми браузерами.

Является ли хранилище AWS S3 дорогим для потокового видео?

Стриминг видео AWS S3 является наиболее доступным, если вы планируете масштабирование и добавление дополнительных функций, таких как потоковая передача с адаптивным битрейтом, CDN и шифрование. Кроме того, благодаря доступной цене AWS, интеграция технологии DRM по-прежнему остается очень доступной.