大數(shù)據(jù)文摘出品

作者：李欣月、劉俊寰

在韓國最受歡迎的外賣食品是什么？

答案毋庸置疑，一定是炸雞！

根據(jù)韓國外賣訂購軟件公布的的統(tǒng)計數(shù)據(jù)顯示，炸雞今年再次當(dāng)選韓國“最受歡迎的外賣食品”，從2014年起就一直霸占著冠軍寶座，簡直是小食界難以逾越的高峰。

無獨(dú)有偶，在美國，炸雞文化也長盛不衰，肯德基雙層炸雞堡唯一不限供應(yīng)的地區(qū)就是美國。根據(jù)前德州監(jiān)獄后廚Brian D.Price回憶，“70%的囚犯最后一餐都會要求吃油炸食品”。

那么，炸雞和TensorFlow兩者結(jié)合，你又能想到什么？

最近，日本一個機(jī)器人公司RT CORPORATION開發(fā)了一個叫Foodly的機(jī)器人，機(jī)器人上配置的圖像識別系統(tǒng)就是用的TensorFlow，Foodly不僅能準(zhǔn)確識別單塊和多塊炸雞，還能將剛出鍋隨意擺放的炸雞塊規(guī)整地放在便當(dāng)盒內(nèi)。

為了完成這個識別功能，研究團(tuán)隊(duì)也很拼，每天在實(shí)驗(yàn)室現(xiàn)炸雞塊，炸累了點(diǎn)炸雞外賣，簡直就是變成了炸雞加盟店！

Foodly的開發(fā)也很好地貼合了疫情當(dāng)下便當(dāng)工廠不能大范圍復(fù)工的現(xiàn)狀，從下圖中可以看到，Foodly的大小和與成人類似，能在便當(dāng)工廠的生產(chǎn)線上與人并排工作。

能看不能吃，TensorFlow都要饞哭了！

說到這，掐指算算，已經(jīng)有多久沒吃過炸雞了？不妨咽下口水，先和文摘菌一起就著這篇文章“畫餅充饑”一下，中午就去激情下單炸雞外賣吧！

為了研發(fā)Foodly，他們活生生把公司搞成了炸雞加盟店

雖然好吃又饞人，但是炸雞塊在圖像識別界可沒那么招人待見。

炸雞愛好者們都知道，你徒手拿起的每塊炸雞形狀是何其相似，更別說要在炸雞堆中準(zhǔn)確區(qū)分每塊炸雞的邊界，這些都是圖像識別研究者們內(nèi)心拒絕炸雞的原因。

據(jù)聞，坊間流傳著這么一個說法：炸雞塊是圖像識別最難逾越的高峰。

但是現(xiàn)在有了Foodly，再難的炸雞識別都是小菜一碟！識別效果如下圖所示：

整堆炸雞塊被識別成一個整體

每一塊炸雞塊被單獨(dú)識別

據(jù)研究者透露，之前嘗試過其他的機(jī)器學(xué)習(xí)框架，但看到有人利用TensorFlow成功對貓的照片進(jìn)行分類后，就按捺不住內(nèi)心的躁動了。

光想不做可不行，緊接著，研究團(tuán)隊(duì)對CNN的相關(guān)論文進(jìn)行了閱讀和學(xué)習(xí)，并進(jìn)行了進(jìn)一步的物體檢測。

那時正好是初代Foodly發(fā)布初期，在對系統(tǒng)前期表現(xiàn)相當(dāng)滿意的情況下，研究者們拿出究極武器——炸雞，可以看到，初代系統(tǒng)能夠?qū)D像的一部分切成矩形，然后以矩形為單位對炸雞塊進(jìn)行識別。

雖然初代系統(tǒng)的表現(xiàn)就已經(jīng)很不錯了，但是研究團(tuán)隊(duì)表示還存在很多不足，比如識別時間太慢，識別一塊炸雞要一分鐘左右，一分鐘炸雞骨頭都被吸干了還識別個啥！再比如，初代系統(tǒng)還只能識別單塊炸雞，成堆的炸雞識別還有待進(jìn)一步地改進(jìn)。

同時，為了養(yǎng)活這么一個系統(tǒng)，可真是“難哭”了研究團(tuán)隊(duì)，那個時期他們在公司現(xiàn)炸雞塊，炸累了點(diǎn)炸雞外賣，簡直就是把公司當(dāng)成了炸雞加盟店！

當(dāng)然這都不是最難的，最難的是要在下嘴之前先把圖像數(shù)據(jù)存儲下來。這么下來，他們最終收集到了大概400~500張規(guī)范的炸雞照片，700多張不那么規(guī)范的照片。

在那些不規(guī)范的照片中，有一些還故意拍到了人手，這也是有研究考量的。因?yàn)槿耸趾驼u成色很像，形狀也像，如果系統(tǒng)錯誤地對人手進(jìn)行識別的話那可就大事不妙了。

Foodly進(jìn)化史：從R-CNN起家，炸雞塊表面的凹凸紋路也不能放過

可以想見，開發(fā)Foodly可不是這么簡單的事。

其實(shí)Foodly的前身還不叫Foodly，而是NEKONOTE，由一個扶手和安裝在頂部的照相機(jī)組成，雖然看上去像是工業(yè)用機(jī)器人的形狀，但是即使加上照相機(jī)用的框架，大小也能控制在一個人的樣子。

2016年6月，NEKONOTE在“TensorFlow學(xué)習(xí)會”上發(fā)表，在德國CEBIT 2017上公開亮相。出道舞臺雖然足夠有分量，但還是出師不利，當(dāng)場就有不少人對NEKONOTE提出質(zhì)疑，有人認(rèn)為NEKONOTE只使用一只手，太可怕了，有人認(rèn)為在食材正上方放置攝像頭，可能會污染食物，還有人針對NEKONOTE的照相機(jī)和手臂的位置關(guān)系，指出手臂的擺動可能會影響到視線和識別效果。

CEBIT 2017上展出的NEKONOTE

綜合了這些提議之后，研究者認(rèn)為，或許應(yīng)該把它設(shè)計成人型，于是NEKONOTE就搖身一變，變成了現(xiàn)在的Foodly。

當(dāng)然這個過程可不只是外觀的變化，升級歸來的Foodly不僅能識別單塊炸雞，還能從堆積的炸雞中檢測出每一塊炸雞。

識別效果的提高也是多方面促成的，首先識別標(biāo)準(zhǔn)從矩形識別變成了輪廓識別，這其中主要用到的就是從R-CNN發(fā)展而來的Mask R-CNN技術(shù)，其次，Foodly使用了可以識別炸雞紋路的深度攝像機(jī)，炸雞塊表面的凹凸紋路也作為特征被引入了深度學(xué)習(xí)，提高了識別精度。

根據(jù)深度攝像機(jī)提供的影像學(xué)習(xí)凹凸特征

幾代系統(tǒng)迭代發(fā)展下來，研究者總結(jié)了用TensorFlow進(jìn)行炸雞識別的心得，匯總成了下面這張從理論學(xué)習(xí)到推論的流程圖：

首先是制作監(jiān)督數(shù)據(jù)集的階段。用位于Foodly頭部的深淺相機(jī)拍攝顏色和深淺的圖像(RGB-D圖像)，然后將其放入個人電腦進(jìn)行標(biāo)注，指定炸雞塊的位置。在標(biāo)注上，團(tuán)隊(duì)也制作了專門的工具使其盡可能的自動化。

在接下來的學(xué)習(xí)階段，以既有的公開訓(xùn)練成果模型為基礎(chǔ)，通過TensorFlow進(jìn)行轉(zhuǎn)移學(xué)習(xí)，制作食材檢測用的模型。轉(zhuǎn)移學(xué)習(xí)的引入也讓幾百張的圖像工作量銳減到了幾十張。

但是，既有的訓(xùn)練成果的模型只能輸入RGB的3個通道，為了能夠?qū)?yīng)RGB-D圖像，需要將輸入層變更為4個通道才能進(jìn)行再學(xué)習(xí)。

最后，把做好的模型轉(zhuǎn)移到機(jī)器人上，就可以檢測出炸雞塊。在搭載壓縮GPU的邊緣的AI板Jetson TX2上執(zhí)行推理過程。

順便一提，Foodly的目標(biāo)是可以直接拿到便當(dāng)工廠的生產(chǎn)線上使用。因此，根據(jù)工廠的不同，照明的程度也不同，增加了識別的難度。常見的對策通常是準(zhǔn)備專用的光源，不過，Foodly在訓(xùn)練階段就適用了多樣的光度，因此即使沒有專用的光源也能能穩(wěn)定的進(jìn)行識別。

以上就是關(guān)于識別炸雞塊的整個流程，以實(shí)用的速度檢測炸雞塊，然后將其放入便當(dāng)盒的操作現(xiàn)在已經(jīng)很穩(wěn)定了。公司現(xiàn)在也把目光對準(zhǔn)了其他的食物，比如番茄，相比于炸雞，要讓機(jī)器人把番茄放入便當(dāng)盒而不讓其碎掉，還必須調(diào)整機(jī)器人的力度，這就是另一個需要解決的問題了。

RT公司：機(jī)器人是未來社會的引路者

可別再說Foodly是日本人民的腦洞發(fā)明了。

Foodly可是瞄準(zhǔn)了當(dāng)下便當(dāng)工廠人手不足的現(xiàn)狀，尤其是疫情之下，為了降低感染風(fēng)險，Foodly可以代替人加入生產(chǎn)線，而且，表現(xiàn)不比人差。

考慮到大多數(shù)便當(dāng)工廠的工作場所都是在60~90cm的空間內(nèi)，目前工業(yè)機(jī)器人還有幾方面問題需要重點(diǎn)考慮：硬件上希望即使有人不可避免地碰撞到Foodly也不造成擦傷，軟件上，即使在沒有預(yù)設(shè)的情況下，也能正常識別，除此之外，便當(dāng)工廠流水線的菜單每小時會改變2~3次，便當(dāng)盒尺寸存在差異，流動速度也有不同等等。

這些不確定因素在Foodly面前全都迎刃而解，而且，Foodly操作也十分簡單，不需要專家進(jìn)行任何復(fù)雜的安裝和調(diào)整，馬上就能上工，可以說是工廠福音了。

好奇之下，文摘菌還去查了查開發(fā)Foodly的公司到底是什么來頭，結(jié)果發(fā)現(xiàn)，這家叫做RT CORPORATION的公司完全就是一個機(jī)器人迷公司嘛！

先不說公司的理念是“l(fā)ife with robot”，公司名字RT是Robot Technology的縮寫，公司的兔子logo來源參考了《愛麗絲夢游仙境》，官網(wǎng)介紹道，在小說中，兔子是愛麗絲抵達(dá)仙境的引路人，與此相對應(yīng)的，在現(xiàn)實(shí)中，機(jī)器人就是未來生活的引導(dǎo)者。

官網(wǎng)鏈接：

https://www.rt-net.jp/

除了實(shí)用機(jī)器人如Foodly的開發(fā)，RT公司也對機(jī)器人工程的教育事業(yè)十分關(guān)注。

公司認(rèn)為，在現(xiàn)在和未來，培養(yǎng)優(yōu)秀的機(jī)器人工程師都將是重要的社會使命。RT公司從硬件和軟件等多個角度提供產(chǎn)品和服務(wù)，為培養(yǎng)實(shí)用型機(jī)器人工程師做足了功課。

作為教育工作的一部分，公司將提供自主研發(fā)裝配的機(jī)器人用于學(xué)習(xí)和參考，同時，在這些機(jī)器人的幫助下，公司有能力舉辦研討會等學(xué)習(xí)活動，為更多的人提供學(xué)習(xí)機(jī)會。

如今，機(jī)器人在社會生活中扮演著越來越重要的角色，工廠流水線上運(yùn)行的大型工業(yè)機(jī)器人不斷發(fā)展，家用小型機(jī)器人同樣不斷演變著，機(jī)器人已經(jīng)到了能夠與人合作、并肩作戰(zhàn)的階段。

相信機(jī)器人引領(lǐng)我們前往的未來不會太遙遠(yuǎn)。

相關(guān)報道：

https://developers-jp.googleblog.com/2020/04/tensorflow-foodly.html

總結(jié)

以上是生活随笔為你收集整理的tensorflow环境下的识别食物_研究室秒变后厨，TensorFlow被馋哭！日本团队用深度学习识别炸鸡，救急便当工厂...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。