netlib

机器学习框架和深度学习框架是有区别的。本质上，机器学习框架涵盖了分类、回归、聚类、异常检测等各种学习方法，可能不包括神经网络方法。深度学习或深度神经网络(DNN)的框架覆盖了具有许多隐藏层的神经网络拓扑。图层越多，可用于聚类和分类的要素就越复杂。

Caffe，CNTK，DeepLearning4j，Keras，MXNet，TensorFlow都是深度学习框架。Scikit-learning和Spark MLlib是机器学习框架。而Theano跨越了这两个范畴。

一般来说，简单的机器学习方法不需要GPU加速。虽然您可以在一个或多个CPU上训练DNN，但这种训练通常很慢。需要训练的神经元和层数越多，可以用于训练的数据就越多，需要的时间就越长。

咖啡

Caffe深度学习项目，原本是一个强大的图像分类框架，目前似乎停滞不前。已经在1.0 RC3版本卡了一年多，创始人已经离开项目。但还是有不错的卷积网络图像识别和不错的Nvidia CUDA GPU支持。但是它的模型通常需要大量的GPU内存(1GB以上)才能运行。

Caffe有命令行、Python和Matlab接口，依靠ProtoText文件定义模型和求解器。Caffe用自己的模型模式一层一层地定义网络。当数据和派生数据向前向后遍历网络时，Caffe以blob(二进制对象)的形式存储、交流和操作信息，其内部是一个以C连续方式存储的N维数组。

Caffe已经证明了它在图像分类方面的有效性，但是它的全盛时期似乎已经过去了。除非现有的Caffe模型符合你的需求，或者可以根据你的用途进行微调，否则我建议使用TensorFlow，MXNet或者CNTK。

微软认知工具包

微软认知工具包是一个快速易用的深度学习软件包，但与TensorFlow相比范围有限。它拥有各种模型和算法，出色的支持Python和Jupyter notebook，一种有趣的声明式BrainScript神经网络配置语言，可以自动部署在Windows和Ubuntu Linux上。

不好的方面是，当我查看Beta 1文档时，我发现它还没有完全更新到CNTK 2，并且该包不支持MacOS。尽管CNTK 2自Beta 1以来做了许多改进，包括新的内存压缩模式以减少GPU的内存使用和新的Nuget安装包，但MacOS支持仍然缺失。

CNTK 2组件可以处理来自Python、C ++或BrainScript的多维密集或稀疏数据。认知工具包包括各种神经网络类型:FFN(前馈)、CNN(卷积)、RNN/LSTM(递归/长时短时记忆)等等。它支持强化学习，生成监督和非监督学习，自动超参数调整，以及从Python到GPU添加新的用户定义的核心组件的能力。可以在多个GPU和机器上实现精确并行。

MXNet

MXNet是一个可移植、可扩展的深度学习库，是亚马逊推出的DNN框架选择。MXNet可以跨多台主机扩展到多个GPU，线性扩展效率接近85%，具有优秀的开发速度、可编程性和可移植性。它不同程度地支持Python、R、Scala、Julia和C ++，并且允许混合命令式编程风格。

MXNet目前支持Python、R、Scala、Julia和C ++中模型的构建和训练，训练好的MXNet模型也可以用于Matlab和JaScript中的预测。无论选择哪种语言构建模型，MXNet都会调用优化后的C ++后端引擎。

sci kit-学习

Scikit-learn Python框架有广泛可靠的机器学习算法，但没有深入学习。如果你是Python爱好者，Scikit-learn可能是你最好的选择。Scikit-learn是一个强大而成熟的机器学习库，集成了各种成熟的算法。它相对容易安装、学习和使用，并且有很好的例子和教程。

另一方面，Scikit-learn不包括深度学习或强化学习，缺乏图形模型和序列预测，无法真正使用Python以外的语言。它不支持PyPy、Python实时编译器或GPU。它使用Cython来处理快速函数，例如内部循环。

InfoWorld ScorecardModels and algorithms (25%)Ease of development (25%)Documentation (20%)Performance (20%)Ease of deployment (10%)Overall Score (100%)Caffe 1.0 RC3887988.0Microsoft Cognitive Toolkit v2.0 Beta 18981098.8MXNet v0.78871088.2Scikit-learn 0.18.1999898.8Spark MLlib 2.01988988.5TensorFlow r0.109891088.9

火花MLlib

Spark MLlib是Spark的开源机器学习库，提供常用的机器学习算法，如分类、回归、聚类和协同过滤(但不包括DNN)、特征提取、变换、降维，以及机器学习流水线的构建、评估和调整。Spark MLlib还包括用于保存和加载算法、数据处理以及线性代数和统计的实用程序。

Spark MLlib是用Scala写的，BreezeBreeze在netlib-ja上使用线性代数包Breeze优化数值处理，虽然这意味着在开源分发中优化CPU的使用。Databricks提供了一个定制的Spark集群，与GPU配合使用，可能会为用大数据训练复杂的机器学习模型带来10倍的速度提升。

Spark MLlib有完整的Scala和Ja的API，主要是Python和一些R的API，通过计算实例可以得到很好的覆盖:54个Ja和60个Scala机器学习实例，52个Python机器学习实例和5个R实例。

张量流

TensorFlow，Google的可移植机器学习和神经网络库，实现和扩展都很好，虽然学起来有点难。TensorFlow拥有各种模型和算法，在配有GPU(用于训练)或谷歌TPU(用于生产规模预测)的硬件上有着出色的性能。它还对Python有很好的支持，有很好的文档和软件来显示和理解描述其计算张量板的数据流图。

TensorFlow可以方便地处理各种神经网络，包括目前正在转变图像识别和语言处理领域的深度CNN和LSTM循环模型。调试异步网络求解器非常简单，TensorBoard软件可以帮助可视化图形。

从Caffe、微软认知工具包、MXNet、TensorFlow这些深度学习包中选择一个是一个艰难的决定。我不推荐Caffe，因为它的发展是停滞的。然而，在其他三个中选择一个也很棘手。

认知工具包现在有Python和C ++ API以及BrainScript，一种网络配置语言。如果你喜欢使用配置文件，那么Cognitive Toolkit可能是个不错的选择。但是好像没有TensorFlow成熟，也不能在MacOS上运行。

MXNet支持Python、R、Scala、Julia和C ++，但它最受支持的API是针对Python的。MXNet在多个主机的多个GPU上表现出良好的可扩展性(85%的线性度)。

TensorFlow大概是三个包里面最成熟的了，是个不错的选择。TensorFlow有基本的构建模块，但它还需要编写大量代码来描述一个神经网络。有三个简化的API与TensorFlow一起解决这个问题:tf.contrib.learn、TF-Slim和Keras。支持TensorFlow最后要考虑的是TensorBoard，这对可视化和理解数据流图非常有用。