『音視頻技術開發周刊』由LiveVideoStack團隊出品，專注在音視頻技術領域，縱覽相關技術領域的干貨和新聞投稿，每周一期。點擊『閱讀原文』，瀏覽第74期內容，祝您閱讀愉快。

架構

VMAF：未畢之旅

本文來自Netflix的科技博客，闡述了VMAF的最新應用進展，以及VMAF正在做的改進工作。感謝鄧斌的翻譯，及快手相關同學的技術審校。

“ GPU視頻處理技術調研報告 ”

本文來自英偉達高級工程師 季光在LiveVideoStack 線上交流分享，并由LiveVideoStack整理而成。分享中季光詳細解析了GPU在視頻編解碼，圖像分析和視頻處理方面的相關技術支持，及實際性能評測數據。可以說是一份詳細的“GPU視頻處理技術調研報告”。

HTTP over QUIC重命名為“HTTP / 3”協議

HTTP工作組暨QUIC工作組主席Mark Nottingham 建議將HTTP-over-QUIC（HTTP/QUIC）重命名為“HTTP/3”，以解決種種混淆。并在上周舉行的IETF 103的QUIC工作組會議中提議通過。這標志著新HTTP版本將使用QUIC進行傳輸。

開源視頻播放框架學習——AndroidVideoCache

本框架的思想就是在本地構建一個ServerSocket作為代理服務器，將對MP4地址進行封裝，從而攔截到本地ServerSocket，攔截之后解析出url和請求頭進行真正的網絡請求。而視頻播放控件例如MediaPlay、VideoView就相當于客戶端了，最后將真正的網絡請求通過Socket的方式寫入到客戶端，這樣視頻控件就可以播放了。

螞蟻實時視頻通話技術和實踐

從電影、電視到電腦、手機，人們獲取視頻信息的方式越來越方便、快捷。時下較熱門的視頻通話、互動直播時長占據了當下年輕人很大一部分的生活時間，可見實時視頻技術在生活中的重要性。今天，螞蟻金服高級技術專家樟松將為我們揭秘“螞蟻實時視頻通話系統”的技術架構及特點，講述實時視頻通話的底層技術以及其運用。

音頻/視頻技術

音視頻技術：視頻質量評價方法簡介

視頻質量評估（VQA）一直是個很活躍的研究領域，原因其一是業內一直缺少一種統一且準確的評估標準，其二是影響視頻質量的因素過多，且包含很多主觀因素，難以客觀、定量地評價。經過這么多年的研究，已經誕生了非常多的視頻質量評估方法，本文將簡單地對它們進行分類及介紹。

MP4大文件虛擬HLS分片技術，避免服務器大量文件碎片

本文主要介紹了通過虛擬分片技術，把MP4文件，映射為HLS協議中的一個個小的TS分片文件，實現了在不實際切分MP4文件的情況下，通過HLS協議播放MP4文件，從而避免了對MP4進行點播...

WebRTC基礎實踐 - 通過RTCPeerConnection傳輸流媒體視頻

在WebRTC規范中, RTCPeerConnection用于視頻流/音頻流、以及數據的傳輸。文中的示例程序, 將會在一個頁面上, 通過兩個 RTCPeerConnection 對象建立一個連接通道。

Android Camera模塊解析之視頻錄制

本文主要講解如何利用Camera 2 實現錄制視頻的功能。拍照和錄制視頻的前期功能都是類似的，在拍照之前會有Camera Preview功能，錄制視頻之前也是有這個功能的，唯一的不同就是抓取的數據不同，拍照抓取的是Image，視頻抓取的Video，數據組織格式不一樣。

編解碼

編解碼器之戰：AV1、HEVC、VP9和VVC

視頻Codec專家Jan Ozer在Streaming Media West上主持了一場開放論壇，邀請百余名觀眾參與熱門Codec的各項優勢與短板。本文整理了討論的主要成果，基本代表了AV1、HEVC、VP9和VVC主流的觀點。LiveVideoStack對原文進行了摘譯。

Netty學習之路（七）-編解碼技術

當進行遠程跨進程服務調用時，需要把被傳輸的Java對象編碼為字節數組或者ByteBuffer對象。而當遠程服務讀取到ByteBuffer對象或者字節數組時，需要將其解碼為發送時的Java對象。

JPEG-XS：用于IP視頻的母片圖像（mezzanine image）編解碼器

本帖參考T. Richter等人發表在SMPTE Motion Imaging Journal的文章JPEG-XS—A High-Quality Mezzanine Image Codec for Video Over IP。超高清（UHD）內容的生產，需要更多的帶寬用來傳輸和交換數據；基于IP協議棧的基礎架構則更多的靈活性。在生產工作流程中的母片壓縮技術可以減少必要的數據傳輸容量，甚至可以使用舊的、支持HD的基礎架構。

TICO : UHD生產系統中的Mezzanine Codec

本帖參考M. Miyazaki等人發表在SMPTE Motion Imaging Journal的文章UHDTV-2 Mezzanine Compression Codec For Miniaturized and Simplified UHD Production System，重點介紹了我們在生產應用中硬件壓縮的發展。

采集音頻和攝像頭視頻并實時H264編碼及AAC編碼

本文所使用的技術，適用于實時性的應用，通過處理采集出來的音視頻的每一幀，實現實時編碼，實時輸出。在直播應用中輸入端采用DirectShow技術捕獲音視頻，然后對視頻進行h.264編碼，對音頻進行aac編碼，輸出端則是生成文件，接下來還要進一步擴展輸入端和輸出端，以支持文件、桌面輸入，RTSP、RTMP、HTTP等流式協議輸出。

?

AI智能

「史上最強GAN圖像生成器」BigGAN的demo出了！

BigGAN 一經提出即引起了大量關注，被稱為「史上最強 GAN 圖像生成器」。今日，DeepMind 放出了 BigGAN 的拿來即用 TF Hub demo，可以在 Colab 上運行圖像生成和圖像插值任務。

自動編程DNN加速器！只需3步，云端終端通用

美國伊利諾伊大學、IBM中國研究院等的最新研究，提出一種基于FPGA的DNN推理加速器DNNBuilder，獲得電子設計自動化領域學術頂會ICCAD的最佳論文。實驗證明，DNNBuilder生成的加速器擁有現時最先進的性能和效率，超越了同類加速器。本文帶來論文作者的詳細解讀。

圖像分割技術介紹

圖像分割（image segmentation）技術是計算機視覺領域的一個重要的研究方向，是圖像語義理解的重要一環。圖像分割是指將圖像分成若干具有相似性質的區域的過程，從數學角度來看，圖像分割是將圖像劃分成互不相交的區域的過程。

224秒訓練ImageNet！這次創紀錄的是索尼大法

深度神經網絡訓練速度越來越快已經不是新鮮事，但是，將ImageNet訓練時間降低到200秒級別仍然讓人震撼！近日，索尼發布新的方法，在ImageNet數據集上，使用多達2176個GPU，在224秒內成功訓練了ResNet-50，刷新了紀錄。

圖像

Android-圖片的壓縮(質量壓縮和尺寸壓縮)

圖片的尺寸壓縮是指：按照一定的倍數對圖片減少單位尺寸的像素值，可以改變圖片在內存中的大小，不改變圖片在磁盤中的大小。

一種JNI方法實現圖片壓縮，壓縮率極高

本片文章介紹了一種JNI方法實現的圖片壓縮方式，其壓縮率極高。直接使用項目或直接復制libs中的so庫到項目中即可（當前只構建了armeabi），需要其他ABI可檢下項目另外使用CMake構建即可。

總結

以上是生活随笔為你收集整理的音视频技术开发周刊 74期的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。