FMUSER ¡Transmite video y audio sin cables más fácilmente!
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org -> Afrikáans
sq.fmuser.org -> albanés
ar.fmuser.org -> árabe
hy.fmuser.org -> Armenio
az.fmuser.org -> azerbaiyano
eu.fmuser.org -> Vasco
be.fmuser.org -> bielorruso
bg.fmuser.org -> Bulgaria
ca.fmuser.org -> catalán
zh-CN.fmuser.org -> chino (simplificado)
zh-TW.fmuser.org -> Chino (tradicional)
hr.fmuser.org -> croata
cs.fmuser.org -> checo
da.fmuser.org -> danés
nl.fmuser.org -> Holandés
et.fmuser.org -> estonio
tl.fmuser.org -> filipino
fi.fmuser.org -> finlandés
fr.fmuser.org -> Francés
gl.fmuser.org -> gallego
ka.fmuser.org -> georgiano
de.fmuser.org -> alemán
el.fmuser.org -> Griego
ht.fmuser.org -> criollo haitiano
iw.fmuser.org -> hebreo
hi.fmuser.org -> Hindi
hu.fmuser.org -> Hungarian
is.fmuser.org -> islandés
id.fmuser.org -> indonesio
ga.fmuser.org -> irlandés
it.fmuser.org -> Italiano
ja.fmuser.org -> japonés
ko.fmuser.org -> coreano
lv.fmuser.org -> letón
lt.fmuser.org -> Lituania
mk.fmuser.org -> macedonio
ms.fmuser.org -> malayo
mt.fmuser.org -> maltés
no.fmuser.org -> Noruega
fa.fmuser.org -> persa
pl.fmuser.org -> polaco
pt.fmuser.org -> portugués
ro.fmuser.org -> Rumano
ru.fmuser.org -> ruso
sr.fmuser.org -> serbio
sk.fmuser.org -> eslovaco
sl.fmuser.org -> Eslovenia
es.fmuser.org -> español
sw.fmuser.org -> Swahili
sv.fmuser.org -> sueco
th.fmuser.org -> Tailandés
tr.fmuser.org -> turco
uk.fmuser.org -> ucraniano
ur.fmuser.org -> Urdu
vi.fmuser.org -> Vietnamita
cy.fmuser.org -> galés
yi.fmuser.org -> Yiddish
El desafío de la tecnología de transmisión en vivo móvil está lejos de los equipos tradicionales o la transmisión en vivo por computadora. Sus enlaces de procesamiento completos incluyen, entre otros: adquisición de audio y video, procesamiento de belleza / filtro / efectos especiales, codificación, paquete, transmisión, transcodificación, distribución, decodificación / renderización / reproducción, etc.
Los problemas comunes de la transmisión en vivo incluyen:
¿Cómo puede la transmisión del host ser estable en un entorno de red inestable?
¿Cómo puede la audiencia en áreas remotas ver la transmisión en vivo sin problemas en alta definición?
¿Cómo cambiar la línea de forma inteligente en el instante de la tarjeta en vivo?
¿Cómo medir la precisión del índice de calidad de la transmisión en vivo y ajustarlo en tiempo real?
¿Cómo pueden las diferentes plataformas de chips en dispositivos móviles codificar y renderizar videos con alto rendimiento?
¿Cómo lidiar con los efectos especiales de los filtros como la belleza?
¿Cómo realizar el segundo de reproducción?
¿Cómo garantizar la transmisión continua de transmisiones en vivo sin problemas y sin tarjetas?
Este intercambio revelará el misterio de la tecnología central de la transmisión móvil.
1. Conocimientos básicos de video, transmisión en vivo, etc.
¿Qué es el video?
Primero, necesitamos entender uno de los conceptos más básicos: video. Desde el punto de vista de la percepción, el video es una película llena de diversión, puede ser una película, puede ser un cortometraje, es un impacto visual coherente, una interpretación rica en imágenes y audio. Pero desde un punto de vista racional, el video es un dato estructurado. Se puede interpretar en lenguaje de ingeniería. Podemos analizar el video en la siguiente estructura:
1) Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
2) Elemento de contenido
3) Imagen
4) audio
5) Meta información
6) Códec
Vídeo: H.264, H.265,…
Audio: AAC, HE-AAC,…
7) contenedor
MP4, MOV, FLV, RM, RMVB, AVI,…
Cualquier archivo de video, estructuralmente, es una forma de composición:
1) Los elementos de contenido más básicos se componen de imagen y audio;
2) La imagen se procesa mediante codificación de video y formato de compresión (generalmente H.264);
3) El audio se procesa mediante un formato de compresión de codificación de audio (como AAC);
4) Indique la metainformación correspondiente (metadatos);
Finalmente, el paquete contenedor (como MP4) se completa para formar un archivo de video completo.
Si siente que es difícil de entender, imagine una botella de salsa de tomate. La botella de la capa exterior es como el contenedor, las materias primas y la información de la planta de procesamiento indicada en la botella son como metadatos. Después de abrir (desempacar) la tapa de la botella, la salsa de tomate en sí es como el contenido codificado después del procesamiento de compresión. El proceso de procesamiento del tomate y el condimento en salsa de tomate es como la codificación, mientras que el tomate como materia prima y el condimento son los más similares al elemento de contenido original.
2. Transmisión de video en tiempo real
En resumen, la estructura de video cognitiva racional nos ayuda a comprender la transmisión de video. Si el video es una especie de datos estructurados, entonces la transmisión de video es sin duda la forma de transmitir estos "datos estructurados" (video) en tiempo real.
Entonces, la pregunta obvia es: ¿cómo se pueden transmitir en tiempo real estos datos estructurados?
Aquí hay una paradoja: un video empaquetado en contenedor debe ser un archivo de video inmutable, el archivo de video inmutable ya es un resultado de producción, según la "relatividad", y este resultado de producción no puede ser exacto al nivel de tiempo real, ha sido una memoria de tiempo y espacio.
Por lo tanto, la transmisión de video debe ser un proceso de "producción, transmisión y consumo". Esto significa que debemos observar más de cerca el proceso intermedio (codificación) del video antes de los elementos del contenido original (imágenes y audio) hasta el producto terminado (archivos de video).
3. Compresión de codificación de video
Echemos un vistazo a la tecnología de codificación y compresión de video.
Para facilitar el almacenamiento y la transmisión del contenido de video, generalmente es necesario reducir el volumen del contenido de video, es decir, los elementos del contenido original (imagen y audio) deben comprimirse, y el algoritmo de compresión también se conoce como el formato de codificación. Por ejemplo, los datos de la imagen original en el video se comprimirán en formato de codificación H.264 y los datos de muestreo de audio se comprimirán en formato de codificación AAC.
Después de codificar y comprimir, el contenido de video es realmente propicio para el almacenamiento y la transmisión; sin embargo, al mirar y jugar, el proceso de decodificación también es necesario en consecuencia. Por lo tanto, es obvio que tanto el codificador como el descodificador pueden entender una especie de convención entre la codificación y la descodificación. En términos de codificación y decodificación de imágenes de video, este Convenio es simple:
El codificador codifica varias imágenes y produce un GOP (grupo de imágenes) en un segmento. Al reproducir, el decodificador lee una sección de GOP para decodificar, luego lee la imagen y luego renderiza la pantalla.
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
GOP (grupo de imágenes) es una serie de imágenes continuas, que consta de un cuadro I y varios cuadros B / P. Es la unidad básica de acceso al codificador y descodificador de imágenes de vídeo. Su secuencia de disposición se repetirá hasta el final de la imagen.
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
El cuadro I es un cuadro de codificación interno (también conocido como cuadro clave), el cuadro P es un cuadro de predicción directo (cuadro de referencia directo) y el cuadro B es un cuadro de interpolación bidireccional (cuadro de referencia bidireccional). En resumen, el cuadro I es una imagen completa, mientras que los registros P y B cambian con respecto al cuadro I.
Sin cuadros I, los cuadros P y B no se pueden decodificar.
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
En resumen, un video cuyos datos de parte de la imagen son un conjunto de GOP, mientras que un solo GOP es un conjunto de imágenes de fotogramas I / P / B.
En una relación tan geométrica, el video es como un "objeto", GOP es como una "molécula" y la imagen del marco I / P / B es como un "átomo".
Imagínese lo que sería una experiencia si cambiáramos la transmisión de un objeto a un átomo, y la partícula más pequeña a la velocidad de la luz, y la percibiéramos a simple vista de los seres humanos.
4. ¿Qué es el video en vivo?
No es difícil abrir el agujero del cerebro, la transmisión en vivo es toda una experiencia. La tecnología de video en vivo es la partícula más pequeña (cuadro I / P / B), una tecnología para la transmisión a la velocidad de la luz basada en series de tiempo.
En resumen, la transmisión en vivo es el proceso de transmisión de datos (video / audio / marco de datos) y marca de tiempo. El transmisor recopila continuamente datos de audio y video, luego se propaga a través de codificación, paquete, flujo de empuje y luego se propaga a través de la red de distribución de retransmisión. El final de reproducción descarga datos continuamente y decodifica y reproduce de acuerdo con la secuencia de tiempo. De esta forma se realiza el proceso de retransmisión en directo de "producción, transmisión y consumo".
Después de comprender los dos conceptos básicos anteriores sobre video y transmisión en vivo, podemos ver la lógica comercial de la transmisión en vivo.
Lógica empresarial de la transmisión en vivo
Aquí hay un modelo de servicio en vivo optimizado de uno a muchos, así como protocolos entre diferentes niveles.
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
Las diferencias entre los acuerdos son las siguientes
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
A continuación se muestran algunos conceptos básicos sobre la tecnología de transmisión en vivo. A continuación, comprendemos mejor los indicadores de rendimiento en vivo que afectan la experiencia visual de las personas.
Índice de rendimiento de la transmisión en vivo que afecta la experiencia visual
El primer indicador de rendimiento de la transmisión en vivo es el retraso, que es el tiempo necesario para que los datos se envíen desde la fuente de información al destino.
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
Según la relatividad estrecha de Einstein, la velocidad de la luz es la velocidad más alta que puede alcanzar toda la energía, la materia y la información. Esta conclusión establece un límite a la velocidad de transmisión. Entonces, incluso si nos sentimos en tiempo real a simple vista, en realidad hay un cierto retraso.
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
Debido a que rtmp / hls se basa en el protocolo de capa de aplicación sobre TCP, los apretones de manos de TCP tres veces, cuatro ondas y cada viaje de ida y vuelta en el proceso de inicio lento se agregarán con un tiempo de viaje de ida y vuelta (RTT), lo que aumentará el retraso.
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
En segundo lugar, de acuerdo con las características de la retransmisión de pérdida de paquetes TCP, la fluctuación de la red puede causar la retransmisión de pérdida de paquetes y también indirectamente conducir al aumento del retardo.
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
Un proceso completo de transmisión en vivo incluye, entre otros, los siguientes enlaces: recopilación, procesamiento, codificación, paquete, transmisión, transmisión, transcodificación, distribución, transmisión, decodificación y reproducción. Desde la transmisión hasta la reproducción, y luego a través del enlace de reenvío intermedio, cuanto menor sea el retraso, mejor será la experiencia del usuario.
El segundo indicador de rendimiento de la transmisión en vivo es el retraso del cuadro de visualización en el proceso de reproducción de video, lo que hace que la gente se sienta como "tarjeta". La estadística del número de hits reproducidos en unidad de tiempo se denomina tasa de arrastre.
Los factores que causan el Caton pueden ser la interrupción de datos del extremo de la transmisión, la congestión de la transmisión de la red pública o la fluctuación anormal de la red, o el rendimiento deficiente de decodificación de los dispositivos terminales. Cuanto menor sea la frecuencia de Caton o ninguna, mejor será la experiencia del usuario.
La primera pantalla del tercer indicador de rendimiento en vivo consume mucho tiempo, lo que se refiere al tiempo que la pantalla está esperando que el ojo humano la vea después del primer clic y se reproduzca. Técnicamente, se refiere al tiempo que tarda el jugador en decodificar el primer fotograma de la visualización de renderizado. En términos generales, "segundo encendido" se refiere a que la pantalla se puede ver dentro de un segundo después de hacer clic en la reproducción. Cuanto más rápido se abra la primera pantalla, mejor será la experiencia del usuario.
Los tres indicadores de rendimiento de transmisión en vivo anteriores corresponden a un segundo de baja latencia, alta definición suave y rápido en los requisitos de experiencia del usuario. Comprender estos tres indicadores de rendimiento es muy importante para optimizar la experiencia del usuario de la aplicación móvil en vivo.
Entonces, ¿cuáles son los problemas comunes en la transmisión en vivo desde dispositivos móviles?
De acuerdo con la experiencia resumida en la práctica, el pozo de transmisión de video en vivo en plataforma móvil se puede resumir en dos aspectos: diferencia de equipo y prueba técnica que traen estas escenas en entorno de red.
Las medidas de foso y evitación de la escena de transmisión en vivo móvil
Codificación de diferencias en diferentes plataformas de chips
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
No importa la codificación dura o blanda en la plataforma IOS, debido a que es una fábrica de Apple, casi no hay diferencia de codificación debido a las diferentes plataformas de chips.
Sin embargo, en la plataforma Android, el codificador mediacodec proporcionado por Android framework SDK tiene grandes diferencias en diferentes plataformas de chips. Los diferentes fabricantes usan diferentes chips, mientras que el rendimiento de mediacodec de Android es ligeramente diferente en diferentes plataformas de chips, y el costo de realizar la compatibilidad de toda la plataforma no es bajo.
Además, los parámetros de calidad de codificación H.264 de la capa de codificación dura de mediacodec de Android se basan en fijos, por lo que la calidad de la pintura suele ser también general. Por lo tanto, bajo la plataforma Android, la recomendación es usar edición suave, la ventaja es que la calidad de la pintura se puede regular y la compatibilidad es mejor.
¿Cómo recopilar y codificar equipos de gama baja con alto rendimiento?
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
Por ejemplo, la cámara puede ser la imagen. El volumen de una imagen no es pequeño. Si la frecuencia de adquisición es muy alta y la velocidad de fotogramas de la codificación es muy alta, cada imagen pasa a través del codificador, el codificador puede sobrecargarse nuevamente.
En este momento, podemos considerar que antes de codificar, sin afectar la calidad de la imagen (hemos hablado de la importancia micro de la velocidad de fotogramas), podemos perder fotogramas de forma selectiva, para reducir el consumo de energía del enlace de codificación.
Cómo garantizar una transmisión fluida de alta definición en una red débil
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
En la red móvil, es fácil encontrar inestabilidad de la red, restablecimiento de la conexión, reconexión de línea rota, por un lado, reconexión frecuente y el establecimiento de la conexión requiere gastos generales. Por otro lado, el cuello de botella del ancho de banda puede ocurrir especialmente cuando ocurre el cambio GPRS / 2G / 3G / 4G. Cuando el ancho de banda no es suficiente, el contenido con alta velocidad de fotogramas / alta velocidad de bits es difícil de enviar, por lo que se necesita soporte de velocidad de bits variable.
Es decir, en el extremo de inserción, se puede detectar el estado de la red y la medición de velocidad simple, y la tasa de código se puede cambiar dinámicamente para garantizar el flujo fluido de la inserción durante la conmutación de red.
En segundo lugar, la lógica de codificación, paquetes y flujo de envío también se puede ajustar. Puede intentar perder fotogramas de forma selectiva, como perder primero el fotograma de referencia de video (fotograma I y fotograma de audio), lo que también puede reducir el contenido de datos a transmitir, pero al mismo tiempo, puede lograr el propósito de no afectar el calidad de pintura y suave versión audiovisual.
Es necesario distinguir el estado y el estado comercial de la transmisión en vivo
La transmisión en vivo es la interacción del flujo de medios y la aplicación es el flujo de señalización API, y el estado de ambos no se puede confundir. En particular, el estado de la transmisión en vivo no se puede juzgar en función del estado API de la interacción de la aplicación.
Experiencia de segundo en Optimización de tecnología de transmisión en vivo móvil (incluido ppt)
Los anteriores son varios pozos comunes y medidas de evitación en la escena móvil en vivo.
Otras medidas de optimización para la escena de transmisión en vivo móvil
1 、 ¿Cómo optimizar la velocidad de apertura para alcanzar el legendario "segundo encendido"?
Es posible que vea que alguna aplicación en vivo para teléfonos móviles en el mercado es muy rápida, un poco activa. Y la aplicación en vivo de algunos teléfonos móviles, haga clic para reproducir después de varios segundos antes de jugar. ¿Qué causa tal diferencia?
La mayoría de los jugadores pueden decodificar y jugar después de obtener un GOP completo. Los reproductores basados en Ffmpeg pueden reproducir solo después de que se necesite la sincronización de la marca de tiempo del audio y la pintura (si no hay audio en una transmisión en vivo, solo el video puede reproducir la cara después de esperar el tiempo de espera del audio).
El segundo se puede considerar en los siguientes aspectos:
1. Vuelva a escribir la lógica del jugador para mostrar el jugador después de que obtenga el primer fotograma clave.
El primer fotograma de GOP suele ser un fotograma clave y puede alcanzar el "primer fotograma en segundo lugar" debido a la menor cantidad de datos cargados.
Si el servidor en vivo es compatible con la caché GOP, significa que el jugador puede obtener los datos inmediatamente después de establecer una conexión con el servidor, lo que ahorra tiempo de transmisión de fuente secundaria entre regiones y operadores.
GOP refleja el período de fotogramas clave, es decir, la distancia entre dos fotogramas clave, es decir, el número máximo de fotogramas en un grupo de fotogramas. Suponiendo que la velocidad de fotogramas constante de un video es 24 fps (es decir, 1 segundo 24 fotogramas) y el período de fotogramas clave es 2S, entonces un GOP son 48 imágenes. En general, se requiere al menos un fotograma clave por cada segundo de video.
Aumentar el número de fotogramas clave mejora la calidad de la imagen (GOP suele ser un múltiplo de FPS), pero aumenta el ancho de banda y la carga de la red al mismo tiempo. Esto significa que el jugador cliente descarga un GOP.
|
Ingrese el correo electrónico para recibir una sorpresa
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org -> Afrikáans
sq.fmuser.org -> albanés
ar.fmuser.org -> árabe
hy.fmuser.org -> Armenio
az.fmuser.org -> azerbaiyano
eu.fmuser.org -> Vasco
be.fmuser.org -> bielorruso
bg.fmuser.org -> Bulgaria
ca.fmuser.org -> catalán
zh-CN.fmuser.org -> chino (simplificado)
zh-TW.fmuser.org -> Chino (tradicional)
hr.fmuser.org -> croata
cs.fmuser.org -> checo
da.fmuser.org -> danés
nl.fmuser.org -> Holandés
et.fmuser.org -> estonio
tl.fmuser.org -> filipino
fi.fmuser.org -> finlandés
fr.fmuser.org -> Francés
gl.fmuser.org -> gallego
ka.fmuser.org -> georgiano
de.fmuser.org -> alemán
el.fmuser.org -> Griego
ht.fmuser.org -> criollo haitiano
iw.fmuser.org -> hebreo
hi.fmuser.org -> Hindi
hu.fmuser.org -> Hungarian
is.fmuser.org -> islandés
id.fmuser.org -> indonesio
ga.fmuser.org -> irlandés
it.fmuser.org -> Italiano
ja.fmuser.org -> japonés
ko.fmuser.org -> coreano
lv.fmuser.org -> letón
lt.fmuser.org -> Lituania
mk.fmuser.org -> macedonio
ms.fmuser.org -> malayo
mt.fmuser.org -> maltés
no.fmuser.org -> Noruega
fa.fmuser.org -> persa
pl.fmuser.org -> polaco
pt.fmuser.org -> portugués
ro.fmuser.org -> Rumano
ru.fmuser.org -> ruso
sr.fmuser.org -> serbio
sk.fmuser.org -> eslovaco
sl.fmuser.org -> Eslovenia
es.fmuser.org -> español
sw.fmuser.org -> Swahili
sv.fmuser.org -> sueco
th.fmuser.org -> Tailandés
tr.fmuser.org -> turco
uk.fmuser.org -> ucraniano
ur.fmuser.org -> Urdu
vi.fmuser.org -> Vietnamita
cy.fmuser.org -> galés
yi.fmuser.org -> Yiddish
FMUSER ¡Transmite video y audio sin cables más fácilmente!
Contacto
Dirección:
Habitación No.305 Edificio HuiLan No.273 Huanpu Road Guangzhou China 510620
Categorías
Newsletter