MXNet

MXNet 是 DMLC（Distributed Machine Learning Community）開發的一款開源的、輕量級、可移植的、靈活的深度學習庫，它讓用戶可以混合使用符號編程模式和指令式編程模式來最大化效率和靈活性，目前已經是 AWS 官方推薦的深度學習框架。MXNet 的很多作者都是中國人，其最大的貢獻組織為百度，同時很多作者來自 cxxnet、minerva 和 purine2 等深度學習項目，可謂博采眾家之長。其主要優勢如下：

1. 同比于其他框架，MXNet最先支持多 GPU 和分布式，同時其分布式性能也非常高；
2. MXNet 的核心是一個動態的依賴調度器，支持自動將計算任務并行化到多個 GPU 或分布式集群（支持 AWS、Azure、Yarn 等)；
3. 它上層的計算圖優化算法可以讓符號計算執行得非常快，而且非常節約內存；
4. 此外，MXNet 的一個很大的優點是支持非常多的語言封裝，比如 C++、Python、R、Julia、Scala、Go、MATLAB 和 JavaScript 等，可謂非常全面，基本主流的腳本語言全部都支持了；

在 MXNet 中構建一個網絡需要的時間可能比 Keras、Torch 這類高度封裝的框架要長，但是比直接用 Theano 等要快。MXNet 的各級系統架構（下面為硬件及操作系統底層，逐層向上為越來越抽象的接口），如圖所示：

Keras

Keras 是一個崇尚極簡、高度模塊化的神經網絡庫，使用 Python 實現，并可以同時運行在 TensorFlow 和 Theano 上。它旨在讓用戶進行最快速的原型實驗，讓想法變為結果的這個過程最短。Theano 和 TensorFlow 的計算圖支持更通用的計算，而 Keras 則專精于深度學習。Theano 和 TensorFlow 更像是深度學習領域的 NumPy，而 Keras 則是這個領域的 Scikit-learn。它提供了目前為止最方便的 API，用戶只需要將高級的模塊拼在一起，就可以設計神經網絡，其主要優勢如下：

1. 大大降低了編程開銷（code overhead）和閱讀別人代碼時的理解開銷（cognitive overhead）；
2. 同時支持卷積網絡和循環網絡，支持級聯的模型或任意的圖結構的模型（可以讓某些數據跳過某些 Layer 和后面的 Layer 對接，使得創建 Inception 等復雜網絡變得容易），從 CPU 上計算切換到 GPU 加速無須任何代碼的改動；
3. 因為底層使用 Theano 或 TensorFlow，用 Keras 訓練模型相比于前兩者基本沒有什么性能損耗（還可以享受前兩者持續開發帶來的性能提升），只是簡化了編程的復雜度，節約了嘗試新網絡結構的時間；

可以說模型越復雜，使用 Keras 的收益就越大，尤其是在高度依賴權值共享、多模型組合、多任務學習等模型上，Keras 表現得非常突出。Keras 所有的模塊都是簡潔、易懂、完全可配置、可隨意插拔的，并且基本上沒有任何使用限制，神經網絡、損失函數、優化器、初始化方法、激活函數和正則化等模塊都是可以自由組合的。Keras 也包括絕大部分 state-of-the-art 的 Trick，包括 Adam、RMSProp、Batch Normalization、PReLU、ELU、LeakyReLU 等。同時，新的模塊也很容易添加，這讓 Keras 非常適合最前沿的研究。Keras 中的模型也都是在 Python 中定義的，不像 Caffe、CNTK 等需要額外的文件來定義模型，這樣就可以通過編程的方式調試模型結構和各種超參數。在 Keras 中，只需要幾行代碼就能實現一個 MLP，或者十幾行代碼實現一個 AlexNet，這在其他深度學習框架中基本是不可能完成的任務。Keras 最大的問題可能是目前無法直接使用多 GPU，所以對大規模的數據處理速度沒有其他支持多 GPU 和分布式的框架快。Keras 的編程模型設計和 Torch 很像，但是相比 Torch，Keras 構建在 Python 上，有一套完整的科學計算工具鏈，而 Torch 的編程語言 Lua 并沒有這樣一條科學計算工具鏈。無論從社區人數，還是活躍度來看，Keras 目前的增長速度都已經遠遠超過了 Torch。

更多行業資訊，更新鮮的技術動態，盡在。