神经网络架构设计：从感知机到深度网络

感知机：神经网络的起点

感知机是最简单的神经网络结构：单层神经元，线性分类器。公式：y = σ(wx + b)，其中σ是激活函数。

局限性：只能解决线性可分问题。多层感知机(MLP)通过引入隐藏层突破这一限制。

多层神经网络

MLP通过多层结构实现非线性映射。每层进行线性变换后接非线性激活，层级叠加赋予网络强大的表达能力。

关键架构要素

• 隐藏层数量：决定网络深度，过深可能导致梯度消失
• 每层神经元数：决定网络宽度，影响表达能力
• 激活函数选择：引入非线性，ReLU是现代首选

深度网络的演进

从AlexNet到ResNet，深度网络架构不断突破。关键创新：残差连接解决梯度消失，批归一化加速训练。

架构设计是深度学习的艺术，在理论与实践中寻找最优平衡。