????????隨著人工智能時代的來臨，相應的芯片產品和行業也產生了相應的新方向。

????????在人工智能的各個分支中，機器視覺無疑是應用最廣泛的方向，它支撐著諸如人臉檢測、工業異常檢測、手勢識別等諸多重要的應用。顧名思義，機器視覺是使用機器學習/人工智能的方法來分析視覺信號，并且通過人工智能直接產生分析結果。因此，機器視覺天然就需要一個圖像傳感器來作為輸入信號，而隨著機器視覺和人工智能的逐漸發展，機器視覺與圖像傳感器芯片的結合成為“智能圖像傳感器”也是順應了技術發展的脈絡。如果我們進一步分析智能圖像傳感器，我們認為又可以分為兩類。

第一類是圖像傳感器與人工智能計算相結合，即圖像傳感器模組除了可以輸出圖像之外，還可以直接輸出人工智能算法計算的結果。這樣的智能圖像傳感器我們可以稱之外“人工智能賦能的圖像傳感器”，它們往往能做到非常低功耗的人工智能分析，因此在物聯網和可穿戴式智能設備中有重要應用。

另一類智能圖像傳感器則是為人工智能應用專門設計的圖像傳感器，其輸出的內容和方式往往與傳統的圖像傳感器有區別。這類智能圖像傳感器可以稱之為“為人工智能賦能的圖像傳感器”。這類圖像傳感器中的一種重要圖像傳感器是事件驅動傳感器，它突破了傳統圖像傳感器固定幀率的特性，從而可以為一些重要的工業和智能車應用提供支撐。

????????當然，我們也可以預期會出現同時結合上述兩類特性的智能圖像傳感器，為各類人工智能應用提供硬件支持。目前，Sony是在智能圖像傳感器領域布局最多的巨頭，同時我們也看到了一些初創公司在這個方向持續地探索新的技術和應用。

一、人工智能賦能的圖像傳感器

????????如前所述，圖像傳感器為機器視覺這一最重要的機器視覺應用提供輸入信號。在傳統的機器視覺芯片解決方案中，圖像傳感和人工智能算法的運行在不同的硬件上完成，圖像傳感器提供圖像信號，而處理器或者AI加速芯片執行人工智能算法。然而，這樣的做法在強調低功耗和能效比的移動端或IoT智能設備中，將會造成能量的浪費，并且難以處理一些需要常開（always-on）的應用場景。

????????舉例來說，如果拿目前流行的手機端機器視覺解決方案來說，通常的做法是，手機SoC中的主處理器AP打開圖像傳感器，圖像傳感器將圖像信號發送給SoC，并且由SoC中的處理器，或GPU，或AI加速器來跑人工智能算法，并且輸出結果。在這個過程中，能效比有幾個瓶頸。首先是圖像傳感器必須把圖像傳送給SoC，這期間需要使用MIPI等接口，存在額外功耗開銷。其次，是SoC在整個過程必須處于喚醒狀態，還通常必須運行整個操作系統，因此即使AI加速器能以很高的能效比運行算法，但是整個過程中能量消耗最大的部分可能并不是人工智能算法，而是SoC處于喚醒狀態并且運行整個操作系統帶來的額外功耗。這樣的功耗開銷在手機端只需要偶爾運行機器學習的場景或許可行，但是在IoT和可穿戴設備中，尤其是需要執行常開式機器視覺算法的場合，就成為了瓶頸。

????????人工智能賦能的圖像傳感器就可以解決這個問題。具體來說，這樣的智能圖像傳感器在圖像傳感器模組中集成了人工智能算法的運行模塊，因此可以直接輸出機器視覺算法的結果，而這樣運行機器視覺的方法也常被稱為“傳感器內運算（in-sensor computing）”。通過傳感器內計算，機器視覺算法的運行單位從SoC換到了圖像傳感器，因此在運行機器視覺算法時，SoC無需處于喚醒狀態，也無需運行操作系統，而是可以處于低功耗的待機狀態。另一方面，傳感器內運算由于整個系統比較簡單，并沒有運行操作系統等額外開銷，并且有為機器視覺算法量身定做的加速器芯片模組，因此能效比可以做到很高。最后，在接口方面，通常可以實現由智能圖像傳感器在檢測到重要輸出時才去以中斷的方式去喚醒SoC，并且只需要傳遞機器視覺算法運行的結果，因此數據傳輸的開銷也大大降低了。

????????在人工智能賦能的圖像傳感器中，Sony已經于去年首先發布了帶有傳感器內計算功能的智能圖像傳感器IMX500，可望使用在各類需要低功耗高性能邊緣機器視覺應用的領域。除此之外，Sony還發布了相應的開發平臺Aitrios，能以訂閱服務的形式為用戶提供用于智能圖像傳感器的模型開發和部署服務。

二、賦能人工智能的圖像傳感器

????????另一類新的智能圖像傳感器是可以賦能人工智能機器視覺的圖像傳感器。在傳統的圖像傳感器中，幀率是固定的（通常在數十到上百幀每秒），即無論外部條件如何，圖像傳感器都會以同樣的頻率采集圖像并且傳輸給機器視覺算法。然而，在工業檢測（如振動監測）和智能駕駛等應用中，固定幀率得到的圖像并不是最優化的圖像采集方式。具體來說，工業檢測和智能駕駛中，機器視覺最關注的是事件；當沒有發生任何事件（例如，圖像沒有變化）時，即使以很低的幀率采集圖像甚至不采集圖像都可以。然而，當發生事件時（例如工業檢測中機器開始振動，智能駕駛中出現來車），使用數十幀每秒的幀率又顯得不夠，而希望以千幀每秒甚至更高的幀率去采樣。

????????在這種需求中，事件驅動視覺傳感器就是一種為機器視覺專門賦能的新智能圖像傳感器。顧名思義，事件驅動視覺傳感器關注“事件”，因此在檢測到相關事件發生時，可以以非常高的幀率（1000-10000 fps）來采集圖像，而在沒有事件發生時，則可以以很低的幀率采樣以降低功耗。

????????事件相機的最基本的原理，即：當某個像素的亮度變化累計達到一定閾值后，輸出一個事件。這里強調幾個概念：a) 亮度變化：說明事件相機的輸出和變化有關，而與亮度的絕對值沒有關系；b) 閾值：當亮度變化達到一定程度時，將輸出數據，這個閾值是相機的固有參數。

????????下面重點解釋什么是一個“事件”。事件具有三要素：時間戳、像素坐標與極性。一個事件表達的是“在什么時間，哪個像素點，發生了亮度的增加或減小”。

????????當場景中由物體運動或光照改變造成大量像素變化時，會產生一系列的事件，這些事件以事件流(Events stream)方式輸出。事件流的數據量遠小于傳統相機傳輸的數據，且事件流沒有最小時間單位，所以不像傳統相機定時輸出數據，具有低延遲特性。下面的動圖揭示了事件相機與傳統相機的成像的不同。

????????事件相機具有優勢的典型場景包括實時交互系統，比如機器人與可穿戴設備，因為這些場景下的光照條件不可控，并且對于延時以及功率敏感。事件相機可以用于物體跟蹤、識別以及手勢控制，也可以應用在三維重建、光流估計、圖像HDR和SLAM中，隨著事件相機的發展，圖像去模糊以及恒星跟蹤也成為新的應用范圍。

????????2008年，誕生了第一款商用的事件相機。這么看來，事件相機從商用到現在也剛剛過了十來年。在傳感器巨頭領域，Sony在事件驅動傳感器領域布局最多，在一年多前收購了瑞士的相關初創公司Insightness，而三星也在積極研發相關技術，并且在ISSCC等頂級芯片會議上發表了相關研究論文。初創公司領域，事件驅動視覺傳感器領域最重要初創公司是法國公司Prophesee，該公司目前已經獲得了來自博世、Intel、華為等業界巨頭總計近七千萬美元的投資，并且與各大公司進行合作。在今年九月，Prophesee更是和Sony強強聯手推出了IMX636和IMX637。目前，許多商業公司致力于事件相機的發展，除法國prophesee外，有韓國Samsung、瑞士iniVation、中國CelePixel（芯侖科技）等。預計在未來我們會看到更多這樣的事件驅動視覺傳感器出現在市場上，為各類新機器視覺應用賦能。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的人工智能与图像传感器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。