
認臉、翻譯、合成語音……在很多問題上都取得了非常好的成績。
那么,還有什么問題不能用深度學習來解決呢?
斯坦福大學在讀博士Bharath Ramsundar列出了以下15個方面,希望能對今后的開發有所幫助。
以下為譯文:
1. 眾所周知,深度學習方法很難學習到輸入樣本的微小變化。當樣本的顏色交換時,所構建的目標識別系統可能會完全崩潰。
2. 基于梯度的網絡訓練過程相當緩慢。一般按照固定模式來實現多種梯度下降方法,但是這種方法很難用于高維數據的預測。
3. 深度學習方法在處理條件約束方面的效果也不佳,不能像線性規劃方法那樣,能快速找到滿足約束的解決方案。
4. 在訓練復雜模型時,網絡相當不穩定。通常不能很好地訓練神經圖靈機和GAN網絡,嚴重依賴網絡的初始化方式。
5. 深層網絡能較好地應用于圖像處理和自然語言分析中,但是不適合現實世界的實際問題,如提取因果結構等等。
6. 在實際應用中,要考慮關鍵影響者檢測的問題。在參議員投票的數據集中,應該如何檢測出關鍵影響者,深度DNN還不能應用于此方面。
7. 強化學習(Reinforcement Learning)方法對輸入數據非常挑剔,實際性能主要取決于調參技巧,雖然這個特殊問題僅存在于這個方面。
8. 深度學習方法不容易理解未知實體,比如說當棒球擊球手在視頻中,深度學習不知道如何推斷出屏幕外還有個投手。
9. 實時訓練深層網絡幾乎不可能,因此很難進行動態調整,上文已經提到網絡訓練緩慢的問題。
10. 一般來說,網絡需通過離線訓練后才能進行智能辨識。
11. 人們經常提出一些對深層網絡的理論解釋。但這可能不是一個大問題,人們才是一個真正的大問題。
12. 目前很難確定深層網絡學習到了什么。作為工程師的我們,怎樣才能確保在網絡訓練過程中不存在偏見和種族歧視?
13. 深度神經網絡很難用來解決邏輯問題。3SAT求解器具有很強的能力,但是很難應用到深層網絡。
14. 深度神經網絡在處理大維度的特征數據方面效果不佳。這種方法與強大的隨機森林方法不同,在訓練前需要大量的特征調整。
15. 深度網絡的超參數優化研究仍然處于起步階段。研究者需要完成大量的計算或是手動調整許多網絡結構。
以上這些并不是一個完整的列表,但是我覺得這些都是值得思考的問題。在這些問題的基礎上,要思考:
這些問題是深層神經網絡本身存在的問題,還是要被克服的工程挑戰?
這些都很難說,其中的一些問題可能會得到解決,比如更多性能優秀的硬件被開發用于超參數自動搜索。有一些早期結構可以用來自動歸一化和處理大維度的特征數據,因此處理特征的問題可能有所改善。
然而,邏輯、約束、隱藏結構和網絡審查等問題可能會進行更深入的研究。我很愿意看到大家對這些問題提出質疑,深度學習的研究者通常都是很有才華和想象力的。摩爾定律仍然適用于GPU性能曲線,TPU和定制硬件還需要多久才能上市?
所以我對這些挑戰持樂觀態度。盡管如此,我還是懷疑深度神經網絡不足以實現通用,當然,這可能只是我的偏見,事件上的專家可能是預測上的菜鳥,我們花了太多時間鉆研技術。
千萬不要只知其然,而不知其所以然!
我不想把這個隨筆寫成一篇文章,不確定是否有未知的主題還未被列出。
最后,作者還說,把這篇隨筆送給聰明的讀者。
標簽:
本站文章除注明轉載外,均為本站原創或翻譯。歡迎任何形式的轉載,但請務必注明出處、不得修改原文相關鏈接,如果存在內容上的異議請郵件反饋至chenjj@fc6vip.cn