1/ 做不了什么?這值得我們列一個清單,把嘗試過的失敗總結出來,以更好地指導開發。
2/ 對于輸入數據的細微抖動,深度學習就會出現算法失效的情況。想象一下,當顏色互換時,目標識別系統的崩潰程度。
3/ 基于梯度的學習相當緩慢,算法需要下降很多很多的梯度才能學會模式,用于高維預測則相當艱難。
4/ 深度學習在處理約束條件方面表現很差。不同于線性規劃,深度學習不容易找到能滿足約束條件的解決方案。
5/ 復雜模型的訓練很不穩定。神經圖靈機和生成式對抗網絡訓練起來很難,它們過于依賴隨機函數的初始化。
6/ 不像圖形模型,深度網絡不擅長跟真實世界建立聯系,無法提取出因果模型。
7/ 比如,要考慮關鍵影響者的監測問題。深度還不清楚如何來檢測參議員投票數據集中的關鍵影響者。
8/ 強化學習方法過于挑剔。其性能太過依賴于調參技巧,盡管這一問題是特有的。
9/ 深度學習無法對未知的實體進行推斷。考慮棒球賽的場景:屏幕上的擊球手與屏幕外的投球手。
10/ 目前還不清楚如何用深度神經網絡技術來推斷不在視頻中的投球手的存在。
11/ 在線訓練深度網絡是不可能的,文章一開始就提到了訓練緩慢的問題,因而動態反應很難實現。
12/ 一般來說,智能行為的訓練只能離線進行。
13/ 人們經常提及深度網絡的可解釋性問題。我個人認為該問題遠沒有人們所想的那樣嚴重。
14/ 但是,對深度網絡進行審查也相當困難。我們如何才能確保偏見、種族主義不被深度學習學會?請參考word2vec的種族主義文章。
15/ 深度神經網絡不能簡單用來解決邏輯問題。3SAT求解器是有很強的能力,但很難被部署到深度網絡內。
16/ 深度神經網絡在高維特征的處理上很糟糕,這一點不像算法強健的隨機森林,它需要重度調參。
17/ 超參數搜索依舊很難用。從業者需要處理繁重的計算,或者對架構作大量的手工調整。
18/ 這絕對不是一份詳盡的問題列表。上述問題都值得進一步思考與深入研究。
19/ 其中至關重要的一點是:到底這些難題是深度網絡所固有的缺陷?還是屬于我們要在工程上去克服的挑戰?
20/ 說實話,這很難回答。其中一些問題可能被很快解決。如部署更多的硬件,就有可能實現自動化超參數搜索。
21/ 在架構方面,還有一些自動歸一化和處理高維數據的早期嘗試,所以特征處理也有可能得到改善。
22/ 然而,邏輯、約束條件、隱藏結構和審查方面的問題,則要隱藏得更深。
23/ 不過我更希望被打臉,深度學習領域的人們往往天賦異稟,且極具想象力。
24/ 此外,GPU版的摩爾定律依然在起作用(至于說能持續多久,TPU和定制硬件是否真能幫我們解決問題,只有到時候才能知道了)。
25/ 所以,我對這些挑戰持相對樂觀的態度。盡管如此,我還是懷疑深度網絡不足以實現通用。
26/ 當然這可能是我個人的偏見。專家們在技術細節上研究多了,往往會在預測大局上表現拙劣。
27/ 從而導致我一葉障目,不見泰山。
28/ 我在拼命抑制把這推文風暴寫成正式文章的沖動。畢竟,我不知道是否還存在未能觸及的潛在話題。
29/ 最后,這里的探索和分析就先留給那些有心的讀者來做練習。
本文轉載自:煉數成金網
標簽:
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn