神经网络是什么？ _经验知识

神经网络旨在通过构建多层次（输入层、隐层、输出层）的机器学习模型和海量训练数据来学习更有用的特征。能够构建复杂的人工智能模型。从而模拟人脑解决人工智能问题。2006年Hinton等人提出“深度学习”神经网络以后。人工智能在技术上经过5-8年的沉淀后获得突破性进展。自2012年以来。以“卷积神经网络（CNNs）”和“递归神经网络（RNN）”为主的深度学习模型使得复杂任务分类准确率大幅提高。相比其他算法效果和效率改善显著。从而推动了以图像处理、语音识别以及语义理解技术为核心的人工智能的的快速发展。

文章插图

文章插图
这个黑箱过程是一个很复杂的结构。这些结构就是所谓的隐层节点。隐层节点相互之间连接是通过线性结构连接的。他们可以是一层也可以是多层。每一层的节点数可以是任意的。当调整好结构之后。数据就可以根据训练数据学习出特定的模型。这个模型中隐含了数据的模式。在未来遇到不曾遇到的数据之后这些数据就会通过学习到的结构得出想要解决的目标。在这里。对输入端特征的选取和把目标问题转化成模型的输出是需要去尝试的。当可以将实际问题转化成神经网络能够处理的问题之后。隐层结构的构建也是需要经验的。

文章插图
神经网络最重要的几个概念就是前向反馈。反向反馈。权重更新。具体来说我可以用单层神经网络的训练过程做一个解释。
我们给定了样本的输入值x,样本的输出值y,神经网络的权重w 。这个单层的神经网络可以表现为如下形式：

文章插图

文章插图
我们现在要做的是。根据这个误差来自动调整我们的权重。并且权重变化方向是收敛结果走的。这里我们用了梯度下降方法。

文章插图
这是某一个节点的梯度变化过程：

文章插图
尽管这是单层的训练过程。多层神经网络的过程是一个叠加。我们所谓的卷积神经网络是在维图像上用一个卷积操作做了一个节点的编码。过程也是类似的。
现在所谓的深度学习就是层数很深的神经网络。近年来随着计算性能的提升。神经网络结构的发展。很多过去的人工智能任务得以用神经网络end-to-end得实现。其实这个过程没有大家想的这么复杂。曾经在爱丁堡大学从零手写DNN 。CNN 。那一段经历加深了我的理解。
其他观点：
人工神经网络（ANNs）或连接系统是计算系统。其模糊地受到构成动物脑的生物神经网络的启发。这些系统通过考虑实例“学习”（即逐步提高性能）。通常没有特定于任务的编程。例如。在图像识别中。他们可能会通过分析手动标记为“猫”或“无猫”的示例图像并使用结果识别其他图像中的猫来识别包含猫的图像。他们没有任何先验知识就这样做关于猫。例如。他们有毛皮。尾巴。胡须和猫般的面孔。相反。他们从他们处理的学习资料中演变出自己的一套相关特征。
人工神经网络基于一组称为人造神经元（在动物脑中的生物神经元的简化版本）的连接单元或节点。人造神经元之间的每个连接（简化版本的突触）可以将信号从一个传输到另一个。接收信号的人工神经元可以处理它。然后发出信号传递与之相连的人造神经元。
在常见的ANN实现中。人造神经元之间的连接处的信号是实数。并且每个人造神经元的输出通过其输入之和的非线性函数来计算。人工神经元和连接通常具有随着学习进行而调整的权重。重量增加或减少连接处信号的强度。人造神经元可能有一个阈值。只有当汇总信号超过该阈值时才会发送信号。通常。人造神经元是分层组织的。不同的层可能会对其输入执行不同类型的转换。信号从第一个（输入）到最后一个（输出）层传播。可能在多次穿越层之后。
ANN方法的最初目标是以与人类大脑相同的方式解决问题。然而。随着时间的推移。注意力集中在匹配具体任务上。导致生物学的偏差。人工神经网络已用于各种任务。包括计算机视觉。语音识别。机器翻译。社交网络过滤。游戏板和视频游戏以及医疗诊断。