作者?Taylor, Mary, 翻譯?李翊瑋

關(guān)于該系列

• 了解如何轉(zhuǎn)換、微調(diào)和打包 推理就緒的 TensorFlow 模型，該模型針對英特爾?硬件進行了優(yōu)化，僅使用 Web 瀏覽器。每一步都在云中使用 OpenVINO? 深度學習工作臺和 Intel? DevCloud for the Edge 進行。
• 第一部分：我們向您展示英特爾?深度學習推理工具及其工作原理的基礎(chǔ)知識。
• 第二部分（此文）：我們使用OpenVINO深度學習工作臺完成導入，轉(zhuǎn)換和基準測試TensorFlow模型的每個步驟。
• 第三部分：我們向您展示如何更改精度級別以提高性能，以及如何使用OpenVINO深度學習工作臺僅使用瀏覽器導出隨時可運行的推理包。

第二部分：使用 OpenVINO 深度學習工作臺在英特爾硬件上導入、轉(zhuǎn)換 TensorFlow 模型并進行基準測試

在第一部分中，我們解釋了深度學習推理的基礎(chǔ)知識以及它在英特爾硬件上的工作原理。然后，我們向您展示了如何獲得免費的英特爾? DevCloud for the Edge 帳戶，以便您可以使用 OpenVINO 深度學習工作臺開始在線轉(zhuǎn)換和優(yōu)化推理模型。

在第二部分中，我們將引導您完成從TensorFlow模型為英特爾硬件創(chuàng)建優(yōu)化的推理模型，并運行您的第一個基準測試。

如果您還沒有，請注冊DevCloud for the Edge。它是免費的，只需要幾分鐘。擁有帳戶后，登錄到 DevCloud 并啟動 OpenVINO 深度學習工作臺。
?

第一步：創(chuàng)建配置并導入TensorFlow模型

若要開始，請單擊“創(chuàng)建”創(chuàng)建新配置。您可以根據(jù)需要創(chuàng)建任意數(shù)量的配置 — 使用不同的模型、優(yōu)化和目標硬件。
?

首先，單擊深度學習工作臺起始頁上的創(chuàng)建。

?

接下來，我們將導入模型。您可以上傳自己的模型，也可以從我們的開放模型動物園獲取一個。在本演示中，讓我們從 Open Model Zoo 導入一個基于 COCO 的對象檢測模型。

?您可以導入自己的模型，也可以使用我們的開放模型動物園中的模型。

第二步：將TensorFlow模型轉(zhuǎn)換為英特爾?紅外文件

OpenVINO 深度學習工作臺（使用模型優(yōu)化器）修剪，合并層，并將來自多個框架的模型轉(zhuǎn)換為可用于任何英特爾硬件的中間文件（IR文件）。IR 文件包括具有模型拓撲的.xml文件和具有權(quán)重和值的二進制 （.bin） 文件。

要進行轉(zhuǎn)換，我們所要做的就是選擇我們的精度級別：GPU可以運行FP32或FP16。Intel? Movidius? VPU 以 FP16 運行。CPU 以 FP32運行。為了簡單起見，我們將在CPU上運行此演示，因此我們將選擇FP32。

?選擇FP32或FP16并進行轉(zhuǎn)換。

第三步：在 DevCloud 中選擇目標設(shè)備 由于我們通過 DevCloud運行工作臺，因此我們可以訪問每個英特爾?處理器的架構(gòu)、英特爾凌動?、英特爾?酷睿?、英特爾?至強?和英特爾? Movidius? VPU。

?試用英特爾? CPU、集成 GPU、VPU 和 FPGA。

讓我們選擇英特爾?至強? 6258R（又名Cascade Lake）。它具有英特爾?深度學習加速功能，這將使我們能夠在FP32和INT8中運行我們的模型，以實現(xiàn)更快的推理處理。

?英特爾?至強? 6258R 具有英特爾?深度學習加速技術(shù)，因此我們可以測試 INT8 性能。

第四步：獲取數(shù)據(jù)集

現(xiàn)在我們有一個可以運行的模型，我們需要一個數(shù)據(jù)集進行基準測試。您可以上傳自己的數(shù)據(jù)集或生成隨機數(shù)據(jù)集。數(shù)據(jù)集可以注釋，也可以不注釋。

如果測量模型準確性很重要，則需要一個帶注釋的數(shù)據(jù)集。如果您更關(guān)心性能或想要執(zhí)行默認校準，則可以在不進行注釋的情況下工作。對于此示例，我們將使用 GitHub 中的 COCO 數(shù)據(jù)集，而不帶注釋。

請務必選中“驗證數(shù)據(jù)集提示”。它告訴您如何構(gòu)建文件并將其存檔以進行上傳。

注意：您還可以在本地計算機上運行深度學習工作臺。本地版本和 DevCloud 版本的功能略有不同。您可以在 OpenVINO? 工具包文檔中了解本地計算機上的Dl Workbench 功能的差異。

?請務必遵循驗證數(shù)據(jù)集提示中概述的目錄結(jié)構(gòu)。

第五步：對模型進行基準測試

現(xiàn)在我們開始看看深度學習工作臺真正閃耀的地方。我們的第一次測試運行創(chuàng)建了一個包含大量信息的單一基準測試。我們可以看到 nGraph 和運行時圖，并解壓縮每一層的執(zhí)行時間。

?每次測試運行都會創(chuàng)建一個基準測試，其中包含大量的逐層性能數(shù)據(jù)。

我們可以運行更多測試，包括具有不同批大小和流的組推理，并更廣泛地了解模型的性能。

?

?深度學習工作臺基準測試提供了廣泛的性能數(shù)據(jù)。

?您運行的每個測試都會創(chuàng)建一個新的基準。將性能曲線拖動到目標基準測試，Workbench 將調(diào)整模型以達到目標。

第六步：選擇性能點

我們所做的每次運行都會? 在性能圖上創(chuàng)建一個基準測試，該基準根據(jù)吞吐量和每秒分析的圖像數(shù)（在本例中）繪制延遲（運行推理所需的時間）。

我們可以選擇吞吐量和處理速度的任何平衡; 我們所要 做的就是點擊一下。工作臺將自動創(chuàng)建一個達到該標記的推理配置文件。
?

下一步 - 第三部分：分析、優(yōu)化和打包用于在英特爾架構(gòu)上部署的 TensorFlow 模型

在下一篇文章中，我們將探討 OpenVINO 深度學習工作臺中的一些高級工具，將模型轉(zhuǎn)換為 INT8，并向您展示打包生產(chǎn)就緒型應用是多么容易。
?

了解更多信息：
?

• 選擇模型精度
  ?
• 配置組推理（批大小和流）
  ?
• 開始使用?OpenVINO?工具包和深度學習工作臺
  ?
• 探索深度學習工作臺文檔
  ?
• 觀看視頻 –?OpenVINO? 深度學習工作臺簡介
  ?
• 觀看視頻 – 深度學習工作臺入門
  ?
• 觀看視頻 – 面向邊緣的英特爾??DevCloud 上的 OpenVINO? 深度學習工作平臺

注冊?DevCloud

歡迎加WeChat 交流

總結(jié)

以上是生活随笔為你收集整理的在英特尔硬件上部署深度学习模型的无代码方法 OpenVINO 深度学习工作台的三部分系列 - CPU AI 第二部的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。