El significado de la codificación de video
Gran espacio de almacenamiento para datos de video originales, un video 1080P 7 s requiere 817 MB
La transmisión de datos de video original ocupa un gran ancho de banda, y se necesitan 11 minutos para transmitir el video de 7 s anterior con un ancho de banda de 10 Mbps.
Después de la codificación y compresión H.264, el tamaño del video es de solo 708 ky el ancho de banda de 10 Mbps solo necesita 500 ms, lo que puede satisfacer las necesidades de transmisión en tiempo real. Por lo tanto, el video original recopilado del sensor de adquisición de video debe estar codificado en video.
Fundamental
Entonces, ¿por qué se puede codificar un video original enorme en un video muy pequeño? ¿Cuál es la tecnología en esto? Antes de hablar de tecnología, primero debemos establecer el concepto de video que son imágenes continuas.
La idea central es eliminar la información redundante:
Redundancia espacial: existe una fuerte correlación entre los píxeles adyacentes de una imagen
Redundancia temporal: contenido similar entre imágenes adyacentes en una secuencia de video
Redundancia de codificación: diferentes valores de píxeles tienen diferentes probabilidades
Redundancia visual: el sistema visual humano no es sensible a ciertos detalles.
Redundancia de conocimientos: la estructura de regularidad se puede obtener a partir de conocimientos previos y conocimientos previos
El video es esencialmente una serie de imágenes que se reproducen de manera continua y rápida, por lo que la forma más fácil de comprimir un video es comprimir cada cuadro de imágenes. Por ejemplo, la codificación MJPEG más antigua consiste en comprimir cada cuadro de imágenes en el video. Este método de codificación solo existe codificación intracuadro, que utiliza la predicción de muestras espaciales para codificar. La metáfora de la imagen es tratar cada cuadro como una imagen y utilizar el formato de codificación JPEG para comprimir la imagen. Este tipo de codificación solo considera la compresión de información redundante en una imagen.
Sin embargo, debido a la correlación de tiempo entre las tramas, se han desarrollado algunos codificadores avanzados que pueden utilizar la codificación entre tramas. En pocas palabras, ciertas áreas en el marco se seleccionan a través del algoritmo de búsqueda, y luego se calcula el marco actual. Es una forma de codificación con la diferencia vectorial entre los marcos de referencia delantero y trasero. A través de los siguientes dos fotogramas consecutivos en la Figura 2, podemos ver que el esquiador se está moviendo hacia adelante, pero de hecho la escena de nieve se está moviendo hacia atrás, y el fotograma P está referenciado. después de la codificación es muy pequeña y la relación de compresión es muy alta.
Enlace de referencia sobre el marco http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Algunos estudiantes pueden estar interesados en cómo surgieron estas dos imágenes. Aquí hay dos líneas de comandos FFmpeg para lograr. Para obtener más detalles sobre FFmpeg, consulte los siguientes capítulos:
La primera línea genera un video con un vector en movimiento.
La segunda línea muestra cada cuadro como una imagen.
Usa el comando
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Además de la redundancia espacial y la compresión de redundancia temporal, existen principalmente compresión de codificación y compresión visual. El siguiente es el diagrama de flujo principal de un codificador:
La Figura 3 y la Figura 4 son dos procesos. La figura 3 es la codificación intratrama y la figura 4 es la codificación entre tramas. La principal diferencia que se observa en la figura es que el primer paso es diferente. De hecho, estos dos procesos también se combinan. En términos generales, la trama I y la trama P utilizan la codificación dentro de la trama y la codificación entre tramas, respectivamente.
Selección de codificador
He resuelto el principio y el proceso básico del codificador. El codificador ha experimentado décadas de desarrollo. Ha evolucionado de solo admitir codificación intracuadro a la nueva generación de codificadores representados por H.265 y VP9 en la actualidad. En la actualidad, se analizan algunos codificadores comunes y te llevaremos a explorar el mundo de los codificadores.
H.264
Introducción
El proyecto H.264 / AVC tiene la intención de crear un estándar de video. En comparación con el estándar anterior, puede proporcionar video de alta calidad con un ancho de banda menor (en otras palabras, solo la mitad del ancho de banda de MPEG-2, H.263 o MPEG-4 Parte 2 o menos) sin agregar demasiada complejidad de diseño. es imposible de lograr o el costo de implementación es demasiado alto. Otro propósito es proporcionar suficiente flexibilidad para ser utilizado en diversas aplicaciones, redes y sistemas, incluido ancho de banda alto y bajo, resoluciones de video altas y bajas, radiodifusión, almacenamiento de DVD, redes RTP / IP y sistema de teléfonos multimedia ITU-T.
H.264 / AVC contiene una serie de características nuevas, lo que lo hace no solo más eficiente que los códecs anteriores, sino que también se puede usar en aplicaciones en varios entornos de red. Esta base técnica hace que H.264 se convierta en el códec principal utilizado por las empresas de video en línea, incluido YouTube, pero su uso no es una tarea muy fácil. En teoría, el uso de H.264 requiere mucho dinero. Tasas de patentes.
Licencia de patente
Al igual que la primera y la segunda parte de MPEG-2 y la segunda parte de MPEG-4, los fabricantes de productos y proveedores de servicios que utilizan H.264 / AVC deben pagar tarifas de licencia de patente a los titulares de patentes. La fuente principal de estas licencias de patentes es una organización privada llamada MPEG-LA LLC. Esta organización no tiene nada que ver con la Organización de Estandarización MPEG, pero esta organización también administra el Sistema MPEG-2 Part One, Video Part Two y MPEG-4 Part One. Video de dos partes y otras licencias de patentes de tecnología.
Otras licencias de patentes deben solicitarse a otra organización privada llamada VIA Licensing, que también administra licencias de patentes para estándares de compresión de audio como MPEG-2 AAC y MPEG-4 Audio.
Implementación de código abierto de H.264
openh264 es un programa de codificación H.264 de código abierto implementado por Cisco. Aunque H.264 requiere una tasa de patente alta, existe un límite anual en la tasa de patente. Después de que Cisco paga la tarifa de patente anual de OpenH264, OpenH264 es realmente gratuito. Úselo libremente.
x264 es un software gratuito de codificación de video con licencia GPL. La función principal de x264 es realizar la codificación de video H.264 / MPEG-4 AVC, no como decodificador.
Excluyendo el problema del costo para comparar:
El uso de CPU de openh264 es mucho menor que el de x264
openh264 solo admite el perfil de línea de base, x264 admite más perfiles
HEVC / H.265
Introducción
La codificación de video de alta eficiencia (HEVC) es un estándar de compresión de video (también llamado H.265), que se considera el sucesor del estándar ITU-T H.264 / MPEG-4 AVC. En 2004, ISO / IEC Moving Picture Experts Group (MPEG) y ITU-T Video Coding Experts Group (VCEG) comenzaron a desarrollarse como ISO / IEC 23008-2 MPEG-H Part 2 o ITU-T H.265. La primera versión del estándar de compresión de video HEVC / H.265 fue aceptada como estándar oficial de la Unión Internacional de Telecomunicaciones (ITU-T) el 13 de abril de 2013. Se considera que HEVC no solo mejora la calidad del video, sino que también logra el doble la tasa de compresión de H.264 / MPEG-4 AVC (equivalente a una reducción del 50% en la tasa de bits con la misma calidad de imagen), y puede admitir resolución 4K e incluso TV de ultra alta definición (UHDTV), la resolución más alta puede llegar a 8192 × 4320 (resolución 8K).
Licencia de patente
HEVC requiere que todos los fabricantes de contenido que utilizan tecnología H.265, incluidos Apple, YouTube, Netflix, Facebook y Amazon, paguen el 0.5% de sus ingresos por contenido como tarifa por uso de tecnología. Todo el mercado de medios de transmisión por secuencias alcanza alrededor de 100 mil millones de dólares estadounidenses cada año, y continúa creciendo, el impuesto del 0.5% es definitivamente una tarifa enorme. Y no han dejado de lado a los fabricantes de equipos, entre los cuales los fabricantes de televisores deben pagar 1.5 dólares estadounidenses por unidad y los fabricantes de dispositivos móviles 0.8 dólares estadounidenses por unidad en derechos de patente. Ni siquiera han dejado ir a fabricantes como reproductores de dispositivos Blu-ray, consolas de juegos y grabadoras de video, que deben pagar $ 1.1 cada uno.
Implementación de código abierto de H.265 / HEVC
libde265 HEVC es proporcionado por la compañía struktur bajo la licencia de código abierto GNU Lesser General Public License (LGPL), y los espectadores pueden disfrutar de imágenes de la más alta calidad a velocidades de Internet más lentas. En comparación con los decodificadores anteriores basados en el estándar H.264, el decodificador libde265 HEVC puede llevar su contenido Full HD hasta al doble de audiencia, o reducir el ancho de banda requerido para la transmisión en un 50%.
x265 es desarrollado por MulticoreWare y es de código abierto bajo el acuerdo GPL.
VP8
Introducción
VP8 es un formato de compresión de video abierto que fue desarrollado por primera vez por On2 Technologies y luego lanzado por Google. Al mismo tiempo, Google también lanzó la biblioteca de implementación codificada VP8: libvpx, que se lanzó en forma de términos de licencia BSD, y posteriormente agregó el derecho a usar la patente. Después de algunas discusiones, la autorización de VP8 finalmente se confirmó como una autorización de código abierto.
Actualmente, los navegadores web que admiten VP8 son Opera, Firefox y Chrome.
Licencia de patente
En marzo de 2013, Google llegó a un acuerdo con MPEG LA y 11 titulares de patentes para permitirle a Google obtener VP8 y su anterior VPx y otras codificaciones que pueden estar infringidas por patentes. Al mismo tiempo, Google también puede volver a autorizar patentes relacionadas a los usuarios de VP8 de forma gratuita. Este acuerdo también es adecuado para la próxima generación de codificación VPx. Hasta ahora, MPEG LA ha renunciado al establecimiento de la alianza de licencias centralizadas de patentes VP8, y los usuarios de VP8 podrán decidir utilizar este código de forma gratuita sin preocuparse por posibles regalías por infracción de patentes.
Implementación de código abierto de VP8
Libvpx es la única implementación de código abierto de VP8. Fue desarrollado por On2 Technologies. Después de que Google lo adquirió, abrió su código fuente. La licencia es muy flexible y se puede utilizar libremente.
VP9
Introducción
El desarrollo de VP9 comenzó en el tercer trimestre de 2011. El objetivo es reducir el tamaño del archivo en un 50% en comparación con la codificación VP8 con la misma calidad de imagen. Otro objetivo es superar la codificación HEVC en eficiencia de codificación.
El 13 de diciembre de 2012, el navegador Chromium agregó soporte para la codificación VP9. El navegador Chrome comenzó a admitir la reproducción de video codificado VP9 el 21 de febrero de 2013.
Google anunció que completará el desarrollo del código VP9 el 17 de junio de 2013, cuando el navegador Chrome guiará el código VP9 por defecto. El 18 de marzo de 2014, Mozilla agregó compatibilidad con VP9 al navegador Firefox.
El 3 de abril de 2015, Google lanzó libvpx1.4.0, que agregó soporte para profundidad de bits de 10 y 12 bits, muestreo de croma 4: 2: 2 y 4: 4: 4 y codificación / decodificación de múltiples núcleos VP9.
Licencia de patente
VP9 es un formato de codificación de video de formato abierto y libre de regalías.
Implementación de código abierto de VP9
libvpx es la única implementación de código abierto de VP9, desarrollada y mantenida por Google. Algunos de los códigos son compartidos por VP8 y VP9, y el resto son implementaciones de códecs de VP8 y VP9 respectivamente.
Comparación de VP9 y H.264 y HEVC
Comparación de HEVC y H.264 a diferentes resoluciones
En comparación con H.264 / MPEG-4, la reducción de la tasa de bits promedio de HEVC es:
Se puede ver que la tasa de bits se ha reducido en más del 60%.
HEVC (H.265) tiene una mayor ventaja en el ahorro de velocidad de bits para VP9 y H.264, ahorrando un 48.3% y un 75.8% respectivamente con el mismo PSNR
H.264 tiene una gran ventaja en el tiempo de codificación. En comparación con VP9 y HEVC (H.265), HEVC es 6 veces mayor que VP9 y VP9 es casi 40 veces mayor que H.264.
