音视频技术开发周刊 | 201
每周一期,縱覽音視頻技術領域的干貨。
新聞投稿:contribute@livevideostack.com。
小提示:鏈接跳轉僅支持公眾號相關鏈接
HDR:為用戶打造的視覺盛宴
隨著時代的發展,人們越來越不滿足于屏幕畫面有限的色彩,開始研究如何讓畫面與現實世界更加相似。本次LiveVideoStackCon 2021上海站大會我們邀請到了快手音視頻技術部的章佳杰。他以幾個小故事作為引子,來分析照片無法完美重現現實世界的原因,并分享關于HDR高動態范圍視頻干貨。
OneVPL與FFmpeg/GStreamer硬件編解碼器
相對軟件Codec來說,人們對硬件Codec的應用并不太熟悉。本次LiveVideoStackCon 2021 上海站大會我們邀請到了來自英特爾的媒體工程師——許廣新,來為我們分享Intel在硬件編解碼器中的最新研發進展。
IETF訪談:HTTP/3全球份額持續增長,QUIC前景一片光明
本篇文章為IETF近期對Lucas Pardue 關于QUIC標準化工作的訪談。作者為IETF Blog 記者Grant Gross。
HTTP 請求之合并與拆分技術詳解
本文進行了一個簡單的實驗,嘗試通過數據來分析 HTTP 中的合并與拆分,以及并發請求是否影響其他請求。
VVC快速仿射運動補償
VVC采用多類型樹(MTT)進行塊劃分,提供了更靈活的塊劃分方式,但是也極大的提高了復雜度。在此基礎上的仿射運動補償(AME)更加增加了復雜度。論文通過提取特征有效的反映MTT和AME的統計特性,并利用這些特征冗余的AME過程節省AME處理的時間。
中科大的AI圖像/視頻編解碼綜述
論文來自中科大的團隊,回顧了使用深度學習進行圖像/視頻編解碼的代表性工作。
https://zhuanlan.zhihu.com/p/379450898
微信小游戲直播 — Android跨進程渲染推流實踐
微信小游戲出于性能和安全等一系列考慮,運行在一個獨立的進程中,在該環境中不會初始化視頻號直播相關的模塊,這就意味著小游戲的音視頻數據必須跨進程傳輸到主進程進行推流,給我們實現小游戲直播帶來了一系列挑戰。
思科Webex與下一代視頻會議
視頻會議在人們的日常生活中使用愈發頻繁,尤其是在新冠肺炎疫情的影響下視頻會議市場急劇增長,由此引發了思科網訊視頻技術的不斷更新。本次分享,我們邀請到了思科協作技術事業部的首席工程師Thomas Davies先生,他向我們分享了AV1的發展歷程,開發AV1時所受到的挑戰,以及AV2的發展前景及其在實時通信中的作用。
VideoLab - 高性能且靈活的 iOS 視頻剪輯與特效框架
VideoLab 是開源的,高性能且靈活的 iOS 視頻剪輯與特效框架,提供了更 AE(Adobe After Effect)化的使用方式。框架核心基于 AVFoundation 與 Metal。
音視頻同步原理與實現
本文主要描述音視頻同步原理,及常見的音視頻同步方案,并以代碼示例,展示如何以音頻的播放時長為基準,將視頻同步到音頻上以實現視音頻的同步播放。
AliCloudDenoise 語音增強算法:助力實時會議系統進入超清音質時代
近些年,隨著實時通信技術的發展,在線會議逐漸成為人們工作中不可或缺的重要辦公工具,據不完全統計,線上會議中約有 75% 為純語音會議,即無需開啟攝像頭和屏幕共享功能,此時會議中的語音質量和清晰度對線上會議的體驗便至關重要。
Facebook 新成果:用于語音識別、生成和壓縮的自監督表征學習的 HuBERT
為了在音頻中對這些類型的豐富詞匯和非詞匯信息建模打開大門,Facebook推出了 HuBERT,這是一種學習自監督語音表征的新方法。HuBERT 與 SOTA 方法在語音識別、語音生成、語音壓縮的語音表征學習方面相匹配,甚至超過了 SOTA。
視頻質量評價:挑戰與機遇
本文整理自鵬城實驗室助理研究員王海強在LiveVideoStack線上分享上的演講。他通過自身的實踐經驗,詳細講解了視頻質量評價的挑戰與機遇。
使用高級視頻質量工具 AVQT 評估視頻
本文根據 Pranav Sodhani 在 WWDC 2021《Evaluate videos with the Advanced Video Quality Tool 》主題分享翻譯。Pranav Sodhani,來自 Apple 顯示和色彩技術團隊,在算法開發、機器學習、色彩科學和視頻技術方面具備專業的知識。
全球首個開源圖像識別系統上線了!
說到圖像識別相信大家已經非常熟悉了,這一技術早就深深融入我們生活的方方面面,小到人臉解鎖、支付、打卡、酒店入住,攝像頭中的違規駕駛識別,網購明星同款時的以圖搜圖,大到自動駕駛汽車中的駕駛輔助,醫療影像的輔助診斷,圖像視頻的分析、編輯、再創造等等...
二次元新玩法!生成不同風格小姐姐動漫形象,膚色、發型皆可變
一張輸入人臉圖像,竟能生成多樣化風格的動漫形象。伊利諾伊大學香檳分校的研究者做到了,他們提出的全新 GAN 遷移方法實現了「一對多」的生成效果。
目標檢測究竟發展到了什么程度? | CVHub帶你聊一聊目標檢測發展的這22年
目標檢測領域發展至今已有二十余載,從早期的傳統方法到如今的深度學習方法,精度越來越高的同時速度也越來越快,這得益于深度學習等相關技術的不斷發展。本文將對目標檢測領域的發展做一個系統性的介紹,旨在為讀者構建一個完整的知識體系架構,同時了解目標檢測相關的技術棧及其未來的發展趨勢。
《半衰期:愛莉克斯》開發者:開發VR手部交互難在哪?
近期,日本游戲網站Kotaku采訪到《半衰期:愛莉克斯》手部交互開發者Kerry Davis,了解到開發該游戲時還曾經探索過哪些方向,以及哪些玩家難以察覺,卻同時優化了游戲體驗的細節。
自動駕駛汽車的成功取決于遙操作
遙操作(teleoperation)技術是一種達到人與被控對象之間遠程交互的技術手段。遙操作的控制端在本地,其執行端在本地無法直接感知的遠程空間某處。這一技術目前多用于機器人。遙操作通常來說其實就是遠程操作。在自動駕駛汽車方面,遙操作技術也是大有可為的。因為目前來看,至少在未來 10 年到 20 年,自動駕駛完全無人化是不可能的,還是需要人類介入。目前世界上的核電站管理或飛機駕駛,都有人的介入,而不是百分之百靠人工智能操縱的。
CVPR 2021 | 特斯拉純視覺自動駕駛最新進展
在 CVPR 2021 自動駕駛 Workshop 上,特斯拉 AI 總監 Andrej Karpathy 講述了特斯拉純視覺包括 Autopilot 和 FSD 的最新進展。
活動推薦
7月4日前購票享 8折?優惠,點擊【閱讀原文】或掃描圖中二維碼了解詳情。
插圖源自Pexels
總結
以上是生活随笔為你收集整理的音视频技术开发周刊 | 201的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: HDR:为用户打造的视觉盛宴
- 下一篇: LiveVideoStackCon 20