多层感知机在神经网络里的作用和局限是什么?
多层感知机(MLP)由若干全连接层和非线性激活函数组成。它的核心作用,是把输入特征逐层变换为更适合当前任务的表示,并据此完成分类、回归等预测。只要隐藏层含有合适的非线性激活,增加宽度或深度后,MLP在理论上可以逼近很广泛的连续函数;这说明它表达能力强,但不代表训练一定容易,也不代表有限数据下就能学到正确规律。
在神经网络中,MLP常作为基础构件或“特征处理头”:例如把前一模块提取出的向量映射到类别分数,或在注意力模块之后进一步混合通道特征。它也可以直接处理固定长度的数值特征。相比卷积层或循环结构,全连接层不预设局部邻近、平移共享或时间顺序等结构,因此适用面广、实现简单;但每个输出通常连接所有输入,参数量随输入和输出维度乘积增长,计算和存储开销可能很大。
它的局限主要来自这种缺少结构先验:图像像素、长序列或高维稀疏输入若直接展平送入MLP,空间或顺序关系不会被自然利用,往往需要更多数据和参数才能学出相似规律。深层网络还可能出现优化困难、过拟合等问题,表现取决于数据、初始化、归一化、优化器和正则化等条件。实际选择时,可把MLP用于低维表格特征、向量映射或其他模块的输出层;若输入具有明显的空间、时序或图结构,通常应考虑能利用相应结构的架构,或与MLP组合,而不是仅凭“理论上能逼近任意函数”就认为它总是最合适。