Makna pengekodan video
Ruang simpanan yang besar untuk data video asal, video 1080P 7 s memerlukan 817 MB
Penghantaran data video asal memerlukan lebar jalur yang besar, dan memerlukan 11 minit untuk menghantar video 7 s di atas dengan lebar jalur 10 Mbps
Selepas pengekodan dan pemampatan H.264, ukuran video hanya 708 k, dan lebar jalur 10 Mbps hanya memerlukan 500 ms, yang dapat memenuhi keperluan transmisi masa nyata. Oleh itu, video asal yang dikumpulkan dari sensor pemerolehan video mestilah dikodkan video.
Asas
Jadi mengapa video asli yang besar dapat dikodkan ke dalam video yang sangat kecil? Apa teknologi dalam ini? Sebelum membincangkan teknologi, kita harus terlebih dahulu menetapkan konsep video iaitu gambar berterusan.
Idea utamanya adalah untuk membuang maklumat yang berlebihan:
Redundansi spasial: terdapat korelasi yang kuat antara piksel gambar yang berdekatan
Redundansi sementara: kandungan serupa antara gambar bersebelahan dalam urutan video
Redundansi pengekodan: nilai piksel yang berbeza mempunyai kebarangkalian yang berbeza
Redundansi visual: sistem visual manusia tidak peka terhadap perincian tertentu
Redundansi pengetahuan: struktur keteraturan dapat diperoleh dari pengetahuan sebelumnya dan pengetahuan latar belakang
Video pada dasarnya adalah rangkaian gambar yang dimainkan secara berterusan dan cepat, jadi cara termudah untuk memampatkan video adalah memampatkan setiap bingkai gambar. Sebagai contoh, pengekodan MJPEG yang lebih lama adalah memampatkan setiap bingkai gambar dalam video. Kaedah pengekodan ini Hanya ada pengekodan intra-bingkai, yang menggunakan ramalan spasial untuk membuat kod. Metafora gambar adalah untuk memperlakukan setiap bingkai sebagai gambar, dan menggunakan format pengekodan JPEG untuk memampatkan gambar. Pengekodan semacam ini hanya mempertimbangkan pemampatan maklumat berlebihan dalam gambar.
Namun, kerana hubungan waktu antara bingkai, beberapa pengekod canggih telah dikembangkan yang dapat menggunakan pengekodan antar-bingkai. Ringkasnya, kawasan tertentu pada bingkai dipilih melalui algoritma pencarian, dan kemudian bingkai saat ini dihitung. Ini adalah bentuk pengekodan dengan perbezaan vektor antara bingkai rujukan depan dan belakang. Melalui dua bingkai berturut-turut berikut dalam Gambar 2, kita dapat melihat bahawa pemain ski bergeser ke depan, tetapi sebenarnya pemandangan salji bergeser ke belakang, dan bingkai P disebut Bingkai (I atau bingkai P lain) dapat dikodekan, ukurannya selepas pengekodan sangat kecil, dan nisbah pemampatannya sangat tinggi.
Pautan rujukan mengenai kerangka http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Sebilangan pelajar mungkin tertarik dengan bagaimana kedua-dua gambar ini berasal. Berikut adalah dua baris arahan FFmpeg yang ingin dicapai. Untuk keterangan lebih lanjut mengenai FFmpeg, sila lihat bab berikut:
Baris pertama menghasilkan video dengan vektor bergerak
Baris kedua mengeluarkan setiap bingkai sebagai gambar
Gunakan arahan
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Selain redundansi spasial dan kompresi redundansi temporal, terdapat terutamanya pemampatan pengekodan dan pemampatan visual. Berikut adalah carta aliran utama pengekod:
Gambar 3 dan Gambar 4 adalah dua proses. Gambar 3 adalah pengekodan intra-bingkai, dan Gambar 4 adalah pengekodan antar-bingkai. Perbezaan utama yang dilihat dari gambar adalah bahawa langkah pertama adalah berbeza. Sebenarnya, kedua-dua proses ini juga digabungkan. Secara amnya, bingkai I dan P bingkai masing-masing menggunakan pengekodan intra-bingkai dan pengekodan antar-bingkai.
Pemilihan pengekod
Saya telah menyusun prinsip dan proses asas pengekod. Pengekod telah mengalami perkembangan selama puluhan tahun. Ini telah berkembang daripada hanya menyokong pengekodan intra-frame kepada pengekod generasi baru yang diwakili oleh H.265 dan VP9 hari ini. Pada masa ini, beberapa pengekod biasa dianalisis, dan kami akan membawa anda untuk meneroka dunia pengekod.
H.264
Pengenalan
Projek H.264 / AVC bermaksud membuat standard video. Berbanding dengan standard lama, ia dapat memberikan video berkualiti tinggi pada lebar jalur yang lebih rendah (dengan kata lain, hanya separuh lebar jalur MPEG-2, H.263 atau MPEG-4 Bahagian 2 atau kurang) tanpa menambahkan kerumitan reka bentuk yang terlalu banyak mustahil dicapai atau kos pelaksanaannya terlalu tinggi. Tujuan lain adalah untuk memberikan fleksibilitas yang cukup untuk digunakan dalam berbagai aplikasi, jaringan dan sistem, termasuk lebar jalur tinggi dan rendah, resolusi video tinggi dan rendah, penyiaran, penyimpanan DVD, rangkaian RTP / IP, dan sistem telefon multimedia ITU-T.
H.264 / AVC berisi serangkaian fitur baru, menjadikannya tidak hanya lebih efisien daripada codec sebelumnya, tetapi juga dapat digunakan dalam aplikasi di berbagai lingkungan jaringan. Asas teknikal ini menjadikan H.264 menjadi codec utama yang digunakan oleh syarikat video dalam talian termasuk YouTube, tetapi menggunakannya bukanlah tugas yang sangat mudah. Secara teori, menggunakan H.264 memerlukan banyak wang. Bayaran paten.
Lesen paten
Seperti bahagian pertama dan kedua MPEG-2 dan bahagian kedua MPEG-4, pengeluar produk dan penyedia perkhidmatan yang menggunakan H.264 / AVC perlu membayar yuran lesen paten kepada pemegang paten. Sumber utama lesen paten ini adalah organisasi swasta yang bernama MPEG-LA LLC. Organisasi ini tidak ada kaitan dengan Organisasi Standardisasi MPEG, tetapi organisasi ini juga menguruskan Sistem Bahagian Satu MPEG, Video Bahagian Dua, dan Bahagian Pertama MPEG-2. Video dua bahagian dan lesen paten teknologi lain.
Lesen paten lain perlu digunakan untuk organisasi swasta lain yang disebut VIA Licensing, yang juga menguruskan lesen paten untuk standard pemampatan audio seperti MPEG-2 AAC dan MPEG-4 Audio.
Pelaksanaan sumber terbuka H.264
openh264 adalah program pengekodan sumber terbuka H.264 yang dilaksanakan oleh Cisco. Walaupun H.264 memerlukan yuran paten yang tinggi, ada had tahunan untuk bayaran paten. Selepas Cisco membayar yuran paten tahunan untuk OpenH264, OpenH264 sebenarnya percuma Gunakannya secara percuma.
x264 adalah perisian percuma pengekodan video yang dilesenkan di bawah GPL. Fungsi utama x264 adalah melakukan pengekodan video H.264 / MPEG-4 AVC, bukan sebagai penyahkod.
Tidak termasuk masalah kos untuk perbandingan:
Penggunaan CPU openh264 jauh lebih rendah daripada x264
openh264 hanya menyokong profil asas, x264 menyokong lebih banyak profil
HEVC / H.265
Pengenalan
Pengekodan Video Efisiensi Tinggi (HEVC) adalah standard pemampatan video (juga disebut H.265), yang dianggap sebagai penerus piawai AVU ITU-T H.264 / MPEG-4. Pada tahun 2004, Kumpulan Pakar Gambar Bergerak ISO / IEC (MPEG) dan Kumpulan Pakar Pengekodan Video ITU-T (VCEG) mula berkembang sebagai ISO / IEC 23008-2 MPEG-H Bahagian 2 atau ITU-T H.265. Versi pertama standard pemampatan video HEVC / H.265 diterima sebagai standard rasmi Kesatuan Telekomunikasi Antarabangsa (ITU-T) pada 13 April 2013. HEVC dianggap bukan sahaja dapat meningkatkan kualiti video, tetapi juga mencapai dua kali kadar pemampatan H.264 / MPEG-4 AVC (setara dengan penurunan kadar bit sebanyak 50% dengan kualiti gambar yang sama), dan dapat menyokong resolusi 4K dan bahkan TV definisi tinggi (UHDTV), resolusi tertinggi dapat mencapai 8192 × 4320 (resolusi 8K).
Lesen paten
HEVC menghendaki semua pengeluar kandungan yang menggunakan teknologi H.265, termasuk Apple, YouTube, Netflix, Facebook, dan Amazon, untuk membayar 0.5% dari hasil kandungan mereka sebagai biaya penggunaan teknologi. Keseluruhan pasaran media streaming mencapai sekitar 100 miliar dolar AS setiap tahun, dan terus meningkat. Dalam pertumbuhan, pungutan sebanyak 0.5% pastinya merupakan biaya yang besar. Dan mereka tidak melepaskan pengeluar peralatan, di antaranya pengeluar TV perlu membayar 1.5 dolar AS per unit dan pengeluar peranti mudah alih 0.8 dolar AS per unit dengan bayaran paten. Mereka bahkan tidak melepaskan pengeluar seperti pemain peranti Blu-ray, konsol permainan, dan perakam video, yang masing-masing mesti membayar $ 1.1.
Pelaksanaan sumber terbuka H.265 / HEVC
libde265 HEVC disediakan oleh syarikat struktur di bawah lesen sumber terbuka GNU Lesser General Public License (LGPL), dan penonton dapat menikmati gambar dengan kualiti tertinggi pada kelajuan internet yang lebih perlahan. Berbanding dengan penyahkod sebelumnya berdasarkan standard H.264, decoder libde265 HEVC dapat membawa kandungan HD penuh anda hingga dua kali penonton, atau mengurangkan lebar jalur yang diperlukan untuk streaming sebanyak 50%.
x265 dibangunkan oleh MulticoreWare dan bersumber terbuka di bawah perjanjian GPL.
VP8
Pengenalan
VP8 adalah format pemampatan video terbuka yang pertama kali dikembangkan oleh On2 Technologies dan kemudian dikeluarkan oleh Google. Pada masa yang sama, Google juga melancarkan perpustakaan pelaksanaan berkod VP8: libvpx, yang dikeluarkan dalam bentuk syarat lesen BSD, dan kemudian menambahkan hak untuk menggunakan paten. Setelah beberapa hujah, kebenaran VP8 akhirnya disahkan sebagai kebenaran sumber terbuka.
Pada masa ini, penyemak imbas web yang menyokong VP8 adalah Opera, Firefox dan Chrome.
Lesen paten
Pada bulan Mac 2013, Google mencapai persetujuan dengan MPEG LA dan 11 pemegang paten untuk membenarkan Google memperoleh VP8 dan VPx sebelumnya dan pengekodan lain yang mungkin melanggar paten. Pada masa yang sama, Google juga dapat mengesahkan semula hak paten yang berkaitan kepada pengguna VP8 secara percuma. , Perjanjian ini juga sesuai untuk pengekodan VPx generasi akan datang. Sejauh ini, MPEG LA telah menghentikan pembentukan perikatan pelesenan berpusat paten VP8, dan pengguna VP8 dapat menentukan untuk menggunakan kod ini secara percuma tanpa perlu khawatir akan kemungkinan pelanggaran hak paten.
Pelaksanaan sumber terbuka VP8
Libvpx adalah satu-satunya pelaksanaan sumber terbuka VP8. Ia dikembangkan oleh On2 Technologies. Setelah Google memperolehnya, ia membuka kod sumbernya. Lesennya sangat longgar dan boleh digunakan dengan bebas.
VP9
Pengenalan
Perkembangan VP9 bermula pada suku ketiga 2011. Tujuannya adalah untuk mengurangkan saiz fail sebanyak 50% berbanding pengekodan VP8 dengan kualiti gambar yang sama. Tujuan lain adalah untuk mengatasi pengekodan HEVC dalam kecekapan pengekodan.
Pada 13 Disember 2012, penyemak imbas Chromium menambahkan sokongan untuk pengekodan VP9. Penyemak imbas Chrome mula menyokong main balik video yang dikodkan VP9 pada 21 Februari 2013.
Google mengumumkan bahawa ia akan menyelesaikan pengembangan kod VP9 pada 17 Jun 2013, apabila penyemak imbas Chrome akan memandu kod VP9 secara lalai. Pada 18 Mac 2014, Mozilla menambahkan sokongan VP9 pada penyemak imbas Firefox.
Pada 3 April 2015, Google mengeluarkan libvpx1.4.0, yang menambahkan sokongan untuk kedalaman bit 10-bit dan 12-bit, persampelan kroma 4: 2: 2 dan 4: 4: 4, dan pengekodan / penyahkodan multi-teras VP9.
Lesen paten
VP9 adalah format terbuka, format pengekodan video bebas royalti.
Pelaksanaan sumber terbuka VP9
libvpx adalah satu-satunya pelaksanaan sumber terbuka VP9, yang dikembangkan dan dikendalikan oleh Google. Beberapa kod dikongsi oleh VP8 dan VP9, dan selebihnya adalah pelaksanaan codec VP8 dan VP9 masing-masing.
Perbandingan VP9 dan H.264 dan HEVC
Perbandingan HEVC dan H.264 pada resolusi yang berbeza
Berbanding dengan H.264 / MPEG-4, pengurangan kadar bit purata HEVC adalah:
Dapat dilihat bahawa kadar bit telah menurun lebih dari 60%
HEVC (H.265) mempunyai kelebihan yang lebih besar dalam penjimatan kadar bit untuk VP9 dan H.264, masing-masing menjimatkan 48.3% dan 75.8% di bawah PSNR yang sama
H.264 mempunyai kelebihan besar dalam pengekodan masa. Berbanding dengan VP9 dan HEVC (H.265), HEVC adalah 6 kali ganda daripada VP9, dan VP9 hampir 40 kali ganda daripada H.264.
