混合神经网络论文范文

1混合神经网络

1.1混合神经网络的结构本文提出的混合神经网络是在CC神经网络的基础上，在隐含层的生成中增加了乘算子的部分以提高神经网络非线性辨识能力。乘算子和加算子结构上的自增长基本相互独立，既保留了原CC神经网络的优点，同时也使得乘算子的特点得到发挥。混合神经网络的结构如图3所示，网络的隐含层由两种不同类型的算子(乘算子和加算子)共同构成。这种混合隐含层根据构成的算子类型分为加法部分和乘法部分。通过相关性s来确定其中一个隐含层部分增加节点，加法部分采用级联结构与原CC神经网络相同，乘法部分采用单层结构避免其阶数过高，最后两个隐含层的输出同时作为输出节点的输入进行输出。

1.2引导型粒子群算法针对混合隐含层的结构、权值和阈值的求取,本文提出了一种新的引导型粒子群算法（GQPSOI）。GQPSOI通过控制粒子i和j之间的距离来保证粒子不会收敛得太快从而陷入局部极小值，同时根据各粒子p(i,:)和p(j,:)之间的距离D(i,j)以及粒子间平均距离D来计算淘汰度Ew决定淘汰粒子并对其进行量子化更新。

1.3混合神经网络算法流程混合神经网络的自增长过程如图4所示。网络增长的具体步骤如下。（1）网络结构初始化。网络中只有输入层和输出层，无隐含层，如图4(a)所示。（2）使用GQPSOI算法训练输出权值。（3）对网络性能进行判断，如满足要求，则算法结束，网络停止增长，如图4(d)所示，否则转到下一步。（4）建立隐含层节点候选池(内含一个乘算子和一个加算子)，分别将候选隐含层节点代入网络结构并使用GQPSOI算法以最大相关性原理训练两个候选节点，分别计算两个候选节点与现有残差Ep,o的相关性s。（5）选择相关性s最大的候选节点，作为新的隐节点加入网络结构，如图4(b)、(c)所示，并固定新隐节点的输入权值。转移到步骤（2），对整个网络的输出权值进行调整。

2混合神经网络网络性能测试

2.1GQPSOI算法性能测试首先应用几个经典函数[9]对GQPSOI算法的性能进行了评价，并将实验结果与几种常见的算法进行了对比。这些函数包括：F1（Sphere函数）、F2(Rosenbrock函数)、F3(Rastrigin函数)、F4(Griewank函数)、F5(Ackley函数)，评价函数的维数为10。经过30次独立运行实验，每次的函数评价次数（FEs）[12]为100000。表1给出了GQPSOI算法与离子群算法（PSO），遗传算法（GA）以及差分进化法（DE）在30次独立运行评价试验中得到最优值的平均值和标准差。从表1中可以看出，在F2的实验中GQPSOI算法在30次独立运行中的平均值为7.746×10−12，这一结果明显优于PSO算法的29.55和GA算法的97.19，略优于DE的2.541×10−11。从F1、F3、F4、F5的实验结果也都可以看出GQPSOI算法明显优于其他算法。实验证明了GQPSOI算法的有效性和适用性，能够应用于神经网络的参数和结构调整。

2.2燃料电池的建模实验

2.2.1基于燃料电池输出电压的模型质子交换膜燃料电池[13-15]作为一种高效的清洁能源，在过去的几十年里取得了巨大的进展。在正常操作条件下，一片单电池可以输出大约0.5～0.9V电压。为了应用于实际能源供应，有可能需要将多片单电池串联在一起。具有级联结构的质子交换膜燃料电池实验装置如图5所示。从图5可以看出，电池引出电流I，电池温度T，H2和O2压力PH2和PO2会影响电池电压。将混合神经网络用于质子交换膜燃料电池的软测量建模，选用电池引出电流I，电池温度T，H2和O2压力PH2和PO2会影响电池电压的变量作为输入变量。将56片单电池的串联输出电压作为其输出，模型的目标函数取实际输出值与模型输出值得均方根误差(使其最小)。混合神经网络中加法部分以及输出层的神经元传递函数采用S型函数，GQPSOI算法中设置种群数30，最大迭代步长为1000，引导粒子起作用的概率设置为2%。图6为5kW质子交换膜燃料电池堆的实验装置。该实验系统采用增湿器与电池堆分体设置，参数检测采用传感器-直读式仪表方式，气体和水的流量测量采用转子流量计，电堆采用电阻负载，可直接测量电堆的输出电流、电压或功率。电池堆参数见表2。

2.2.2结果与分析实验条件如表3所示。取燃料电池装置输出的前100个值作为训练样本，后100个值作为测试样本。分别用CC神经网络，CC-GQPSOI和混合神经网络进行训练，当训练目标函数小于0.1或最大隐含层节点数达到30时网络停止增长，训练结束。表4给出了其最大相对误差和均方根误差的对比。图7显示了最终训练预测数据与输出数据之间的对比。从表4可以看出CC-GQPSOI和混合神经网络分别在隐含层节点数为4和6时达到训练要求，相较于CC神经网络的30个隐含层节点具有较小的网络结构。同时CC-GQPSOI和混合神经网络的均方根误差(3.0723×10−2和3.8606×10−2)也相较于CC神经网络的均方根误差(1.0354)具有更高的精度。从图8和图9的泛化结果来看，混合神经网络的预测误差保持在0.7以内，相对误差(绝对误差与被测量真值之比)保持在1.25%以内。CC-GQPSOI的误差在1以内。相对误差保持在3%以内。从实验结果可以看出，混合神经网络可以精确地预测出燃料电池装置的输出，反映了实际工况，具有良好的应用前景。

3结论

本文提出了一种新的自增长混合神经网络的建模方法。利用该方法对燃料电池进行了建模，结果证明了该方法的有效性。混合神经网络充分的利用了乘算子的优势，提高了神经网络的精确度并精简了网络结构。GQPSOI算法也体现了自身在寻找全局最优值方面的价值。隐节点的选取及GQPSOI算法的简化是下一步努力的目标。

作者：李大字刘方靳其兵单位：北京化工大学信息科学与技术学院