1.13 总结-深度学习第三课《结构化机器学习项目》-Stanford吴恩达教授
| 1.12 改善你的模型的表現 | 回到目錄 | 2.1 誤差分析 |
總結
習題
第一周 - 和平之城中的鳥類識別（案例研究）
這個例子來源于實際項目，但是為了保護機密性，我們會對細節進行保護。
現在你是和平之城的著名研究員，和平之城的人有一個共同的特點：他們害怕鳥類。為了保護他們，你必須設計一個算法，以檢測飛越和平之城的任何鳥類，同時警告人們有鳥類飛過。市議會為你提供了10,000,000張圖片的數據集，這些都是從城市的安全攝像頭拍攝到的。它們被命名為:
- y = 0: 圖片中沒有鳥類
- y = 1: 圖片中有鳥類
你的目標是設計一個算法，能夠對和平之城安全攝像頭拍攝的新圖像進行分類。
有很多決定要做：
- 評估指標是什么？
- 你如何將你的數據分割為訓練/開發/測試集?
成功的指標 市議會告訴你，他們想要一個算法：
第 71 題
有三個評估指標使您很難在兩種不同的算法之間進行快速選擇，并且會降低您的團隊迭代的速度
A.對 B.不對
第 72 題
經過進一步討論，市議會縮小了它的標準：
“我們需要一種算法，可以讓我們盡可能精確的知道一只鳥正飛過和平之城。” “我們希望經過訓練的模型對新圖像進行分類不會超過10秒。” “我們的模型要適應10MB的內存的設備。”
如果你有以下三個模型，你會選擇哪一個？
A.測試準確度：97%；運行時間：1 sec；內存大小：3MB
B.測試準確度：99%；運行時間：13 sec；內存大小：9MB
C.測試準確度：97%；運行時間：3 sec；內存大小：2MB
D.測試準確度：98%；運行時間：9 sec；內存大小：9MB
第 73 題
根據城市的要求，您認為以下哪一項是正確的？
A.準確度是一個優化指標; 運行時間和內存大小是滿意指標。
B.準確度是一個滿意指標; 運行時間和內存大小是一個優化指標。
C.準確性、運行時間和內存大小都是優化指標，因為您希望在所有這三方面都做得很好。
D.準確性、運行時間和內存大小都是滿意指標，因為您必須在三項方面做得足夠好才能使系統可以被接受。
第 74 題
在實現你的算法之前，你需要將你的數據分割成訓練/開發/測試集，你認為哪一個是最好的選擇？
A.訓練集:3,333,334；開發集：3,333,333；測試集：3,333,333
B.訓練集:9,500,000；開發集：250,000；測試集：250,000
C.訓練集:6,000,000；開發集：3,000,000；測試集：1,000,000
D.訓練集:6,000,000；開發集：1,000,000；測試集：3,000,000
第 75 題
在設置了訓練/開發/測試集之后，市議會再次給你了1,000,000張圖片，稱為“公民數據”。 顯然，和平之城的公民非常害怕鳥類，他們自愿為天空拍照并貼上標簽，從而為這些額外的1,000,000張圖像貢獻力量。 這些圖像與市議會最初給您的圖像分布不同，但您認為它可以幫助您的算法。
你不應該將公民數據添加到訓練集中，因為這會導致訓練/開發/測試集分布變得不同，從而損害開發集和測試集性能
A.對 B.不對
第 76 題
市議會的一名成員對機器學習知之甚少，他認為應該將1,000,000個公民的數據圖像添加到測試集中，你反對的原因是：
A.這會導致開發集和測試集分布變得不同。這是一個很糟糕的主意，因為這會達不到你想要的效果
B.公民的數據圖像與其他數據沒有一致的x->y映射(類似于紐約/底特律的住房價格例子)
C.一個更大的測試集將減慢迭代速度，因為測試集上評估模型會有計算開銷
D.測試集不再反映您最關心的數據(安全攝像頭)的分布
第 77 題
你訓練了一個系統，其誤差度如下（誤差度 = 100％ - 準確度）： 訓練集誤差：4.0% 開發集誤差：4.5%
這表明，提高性能的一個很好的途徑是訓練一個更大的網絡，以降低4%的訓練誤差。你同意嗎？
A.是的，因為有4%的訓練誤差表明你有很高的偏差。
B.是的，因為這表明你的模型的偏差高于方差。
C.不同意，因為方差高于偏差。
D.不同意，因為沒有足夠的信息，這什么也說明不了。
第 78 題
你讓一些人對數據集進行標記，以便找出人們對它的識別度。你發現了準確度如下： 鳥類專家1 錯誤率：0.3% 鳥類專家2 錯誤率：0.5% 普通人1 (不是專家) 錯誤率：1.0% 普通人2 (不是專家) 錯誤率：1.2%
如果您的目標是將“人類表現”作為貝葉斯錯誤的基準線（或估計），那么您如何定義“人類表現”？
A.0.0% (因為不可能做得比這更好)
B.0.3% (專家1的錯誤率)
C.0.4% (0.3 到 0.5 之間)
D.0.75% (以上所有四個數字的平均值)
第 79 題
您同意以下哪項陳述？
A.學習算法的性能可以優于人類表現，但它永遠不會優于貝葉斯錯誤的基準線。
B.學習算法的性能不可能優于人類表現，但它可以優于貝葉斯錯誤的基準線。
C.學習算法的性能不可能優于人類表現，也不可能優于貝葉斯錯誤的基準線。
D.學習算法的性能可以優于人類表現，也可以優于貝葉斯錯誤的基準線。
第 80 題
你發現一組鳥類學家辯論和討論圖像，可以得到一個更好的0.1%的性能，所以你將其定義為“人類表現”。在對算法進行深入研究之后，最終得出以下結論： 人類表現 0.1% 訓練集誤差 2.0% 開發集誤差 2.1%
根據你的資料，以下四個選項中哪兩個嘗試起來是最有希望的？（兩個選項）
A.嘗試增加正則化。
B.獲得更大的訓練集以減少差異。
C.嘗試減少正則化。
D.訓練一個更大的模型，試圖在訓練集上做得更好。
第 81 題
你在測試集上評估你的模型，并找到以下內容： 人類表現 0.1% 訓練集誤差 2.0% 開發集誤差 2.1% 測試集誤差 7.0%
這意味著什么？（兩個最佳選項）
A.你沒有擬合開發集
B.你應該嘗試獲得更大的開發集
C.你應該得到一個更大的測試集
D.你對開發集過擬合了
第 82 題
在一年后，你完成了這個項目，你終于實現了： 人類表現 0.10% 訓練集誤差 0.05% 開發集誤差 0.05%
你能得出什么結論？ （檢查所有選項。）
A.現在很難衡量可避免偏差，因此今后的進展將會放緩。
B.統計異常(統計噪聲的結果)，因為它不可能超過人類表現。
C.有0.09％的進步空間，你應該很快就能夠將剩余的差距縮小到0％
D.如果測試集足夠大，使得這0.05%的誤差估計是準確的，這意味著貝葉斯誤差是小于等于0.05的。
第 83 題
事實證明，和平之城也雇傭了你的競爭對手來設計一個系統。您的系統和競爭對手都被提供了相同的運行時間和內存大小的系統，您的系統有更高的準確性。然而，當你和你的競爭對手的系統進行測試時，和平之城實際上更喜歡競爭對手的系統，因為即使你的整體準確率更高，你也會有更多的假陰性結果(當鳥在空中時沒有發出警報)。你該怎么辦？
A.查看開發過程中開發的所有模型，找出錯誤率最低的模型。
B.要求你的團隊在開發過程中同時考慮準確性和假陰性率。
C.重新思考此任務的指標，并要求您的團隊調整到新指標。
D.選擇假陰性率作為新指標，并使用這個新指標來進一步發展。
第 84 題
你輕易擊敗了你的競爭對手，你的系統現在被部署在和平之城中，并且保護公民免受鳥類攻擊！ 但在過去幾個月中，一種新的鳥類已經慢慢遷移到該地區，因此你的系統的性能會逐漸下降，因為您的系統正在測試一種新類型的數據。
你只有1000張新鳥類的圖像，在未來的3個月里，城市希望你能更新為更好的系統。你應該先做哪一個？
A.使用所擁有的數據來定義新的評估指標（使用新的開發/測試集），同時考慮到新物種，并以此來推動團隊的進一步發展。
B.把1000張圖片放進訓練集，以便讓系統更好地對這些鳥類進行訓練。
C.嘗試數據增強/數據合成，以獲得更多的新鳥的圖像。
D.將1,000幅圖像添加到您的數據集中，并重新組合成一個新的訓練/開發/測試集
第 85 題
市議會認為在城市里養更多的貓會有助于嚇跑鳥類，他們對你在鳥類探測器上的工作感到非常滿意，他們也雇傭你來設計一個貓探測器。由于有多年的貓探測器的工作經驗，你有一個巨大的數據集，你有100,000,000貓的圖像，訓練這個數據需要大約兩個星期。你同意哪些說法？（選出所有正確項）
A.需要兩周的時間來訓練將會限制你迭代的速度。
B.購買速度更快的計算機可以加速團隊的迭代速度，從而提高團隊的生產力。
C.如果10,000,000個樣本就足以建立一個足夠好的貓探測器，你最好用10,000,00個樣本訓練，從而使您可以快速運行實驗的速度提高約10倍，即使每個模型表現差一點因為它的訓練數據較少。
D.建立了一個效果比較好的鳥類檢測器后，您應該能夠采用相同的模型和超參數，并將其應用于貓數據集，因此無需迭代。
71-85題答案
71.A 72.D 73.A 74.B 75.B 76.AD 77.D 78.B 79.A 80.CD 81.BC 82.AD 83.C 84.A 85.ABC
| 1.12 改善你的模型的表現 | 回到目錄 | 2.1 誤差分析 |
總結
以上是生活随笔為你收集整理的1.13 总结-深度学习第三课《结构化机器学习项目》-Stanford吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 1.12 改善你的模型表现-深度学习第三
- 下一篇： 2.1 进行误差分析-深度学习第三课《结