Primero asumimos que alguien no tiene ninguna base en audio y video, y nunca ha aprendido ningún conocimiento relacionado con el procesamiento de señales digitales. La base matemática es básicamente de nivel secundario, pero está familiarizado con el desarrollo de C / C ++, al menos familiarizado con la compilación y depuración de IDE en una determinada plataforma.
Concéntrese en los dos proyectos de código abierto ffmpeg y webRTC, principalmente en la parte de video de ffmpeg y la parte de audio de webRTC.
En primer lugar, Comience con la decodificación de video. Este es el más simple. El código básico para llamar a la decodificación de video ffmpeg es de solo 100 líneas. La decodificación de video solo necesita comprender h.264, más del 80% de las escenas están en este formato de codificación, comprender H.264 sps pps NAL básico y otros conceptos de formato de archivo, comprender el principio del formato de imagen YUV y comprender la conversión de YUV a RGB , Para que pueda hacer renderizado de imágenes, puede lograr un reproductor de video simple. (Básicamente en la primera etapa)
Luego, para aprender sobre la codificación de video, se recomienda comenzar con x264, una simple llamada al código de codificación x264 tiene menos de 100 líneas. La codificación es más complicada que la decodificación, ya que la decodificación no requiere la configuración de ningún parámetro y la codificación tiene una gran cantidad de parámetros que deben configurarse. Al principio, solo comprenda algunos conceptos básicos, como la velocidad de fotogramas, los métodos de control de flujo comunes ABR CRF, GOP, I / B ¿Qué significa / P Frame, respectivamente? (Familiarizado con la codificación X264 nuevamente)
El códec de la parte de audio es similar al del video. En la etapa inicial, solo necesita comprender los dos codificadores EAAC + y Silk, comprender los conceptos de canal de sonido, frecuencia de muestreo, etc., y comprender el formato de archivo Wave. Puede ser un simple reproductor de audio. (Hacer un reproductor de audio)
La parte compleja del audio no es el códec, sino el efecto de sonido. Eche un vistazo al módulo de procesamiento de audio en webRTC y comprenda los siguientes conceptos: eliminación de ruido NS, cancelación de eco AEC, detección de silencio VAD, control automático de ganancia AGC y webRTC integrado. Aunque el algoritmo no es el mejor, puede resolver más del 90% de los problemas y vale la pena aprenderlo. (Aprenda el procesamiento de audio webrtc)
Después de aprender esto, necesito pensar en una pregunta, si quiero tomar una ruta de ingeniería o una ruta algorítmica. Si es una ruta algorítmica, entonces debo aprender matemáticas. Detrás del procesamiento de señales digitales hay una gran cantidad de teorías matemáticas básicas. Si se trata de una ruta de ingeniería, entonces debe aprender el desarrollo multiplataforma, aprender a recopilar, reproducir y procesar audio y video en múltiples plataformas, y aprender a optimizar el lenguaje ensamblador en múltiples plataformas. (Relacionado con la plataforma)
El audio y el video son un campo muy profundo, y nunca terminarás de aprender en toda la vida, pero este campo tiene la ventaja de que la velocidad de actualización del conocimiento es relativamente lenta, las cosas aprendidas no son fáciles de eliminar y la acumulación de experiencia. es muy importante.
Nuestro otro producto:
