Pembangunan dan pembelajaran audio dan video

Kami pertama kali menganggap bahawa seseorang tidak mempunyai asas dalam audio dan video, dan tidak pernah mempelajari pengetahuan berkaitan pemprosesan isyarat digital. Asas matematik pada dasarnya adalah peringkat sekolah menengah, tetapi dia biasa dengan perkembangan C / C ++, paling tidak biasa dengan penyusunan dan penyahpepijatan IDE di bawah platform tertentu.

Fokus pada dua projek sumber terbuka ffmpeg dan webRTC, terutamanya melihat bahagian video ffmpeg dan bahagian audio webRTC.

Pertama sekali, mulakan dengan penyahkodan video. Ini adalah yang paling mudah. Kod asas untuk memanggil penyahkodan video ffmpeg hanya sekitar 100 baris. Penyahkodan video hanya perlu memahami h.264, 80% + adegan ada dalam format pengekodan ini, memahami asas H.264 sps pps NAL dan konsep format fail lain, memahami prinsip format gambar YUV, dan memahami penukaran YUV ke RGB , Oleh itu, anda boleh melakukan rendering gambar, anda boleh mencapai pemain video yang mudah. (Pada dasarnya pada peringkat pertama)

Kemudian, untuk mengetahui pengekodan video, disarankan untuk memulakan dengan x264, panggilan mudah ke kod pengekodan x264 kurang dari 100 baris. Pengekodan lebih rumit daripada penyahkodan kerana penyahkodan tidak memerlukan parameter apa pun untuk dikonfigurasi, dan pengekodan mempunyai sebilangan besar parameter yang perlu dikonfigurasi. Pada mulanya, cukup fahami beberapa konsep asas, seperti kadar bingkai, kaedah kawalan aliran biasa ABR CRF, GOP, I / B Apa maksud / P Frame masing-masing. (Biasa dengan pengekodan X264 lagi)

Codec bahagian audio serupa dengan video. Pada peringkat awal, anda hanya perlu memahami dua pengekod EAAC + dan Sutera, memahami konsep saluran suara, kadar persampelan, dan lain-lain, serta memahami format fail Gelombang. Boleh menjadi pemain audio sederhana. (Buat pemain audio)

Bahagian audio yang kompleks bukanlah codec, tetapi kesan bunyi. Lihatlah modul Pemprosesan Audio di webRTC dan fahami konsep-konsep berikut: NS denoising, AEC pembatalan gema, VAD pengesanan bisu, AGC kawalan keuntungan automatik, dan webRTC bawaan. Walaupun algoritma bukan yang terbaik, ia dapat menyelesaikan 90% + masalah, dan perlu dipelajari. (Pelajari pemprosesan audio webrtc)

Setelah mengetahui perkara ini, saya perlu memikirkan satu soalan, sama ada saya ingin mengambil jalan kejuruteraan atau laluan algoritma. Sekiranya ia adalah laluan algoritma, maka saya mesti belajar matematik. Di sebalik pemprosesan isyarat digital terdapat sebilangan besar teori asas matematik. Sekiranya ia merupakan jalan kejuruteraan, maka anda harus mempelajari pengembangan lintas platform, mempelajari koleksi, main balik dan pemprosesan audio dan video di pelbagai platform, dan belajar pengoptimuman bahasa pemasangan di bawah pelbagai platform. (Berkaitan dengan platform)

Audio dan video adalah bidang yang sangat mendalam, dan anda tidak akan pernah selesai belajar seumur hidup, tetapi bidang ini mempunyai kelebihan bahawa kelajuan kemas kini pengetahuan agak lambat, perkara yang dipelajari tidak mudah dihilangkan, dan pengumpulan pengalaman sangat penting.v