困惑中——模拟退火、遗传算法和神经网络之比较

光的轨迹

在这里我给简单的介绍一下吧．首先模拟退火和遗传算法属于优化领域的，神经元网络属于近似模型的国外叫做metamodel（模型的模型），是完全不同的东西，只所以两者经常出现是因为在优化问题里神经元网络扮演着重要角色．一般的有数学表达式的优化问题是最简单的了这中问题是不会出现神经元网络的，在工程实际优化过程中，目标函数和优化设计变量之间是隐函数的关系而且可能高度的非线形，并且这种问题一次的计算机仿真时间可能就很长，如果用遗传算法或者模拟退火的话直接优化是相当的消耗时间的，所以很多人引入近似模型的概念，神经元网络是属于其中一种，而且可以近似逼近高度非线性的问题．还有就是遗传算法用到神经元网络训练方面，不知道大家对神经元网络了解多少，其实神经元网络没有那么玄，是有数学基础的，有一种网络叫误差反馈网络，这种网络在训练过程中是用剃度法不断调整权值直到达到满足误差才算收敛剃度法有个问题就是求解得到的是局部最优．所以就有人在网络训练中引入了遗传算法来训练网络权值．综上可以看到遗传算法和神经元网络的关系是如此的紧密．

光的轨迹

在这里我给简单的介绍一下吧．首先模拟退火和遗传算法属于优化领域的，神经元网络属于近似模型的国外叫做metamodel（模型的模型），是完全不同的东西，只所以两者经常出现是因为在优化问题里神经元网络扮演着重要角色．一般的有数学表达式的优化问题是最简单的了这中问题是不会出现神经元网络的，在工程实际优化过程中，目标函数和优化设计变量之间是隐函数的关系而且可能高度的非线形，并且这种问题一次的计算机仿真时间可能就很长，如果用遗传算法或者模拟退火的话直接优化是相当的消耗时间的，所以很多人引入近似模型的概念，神经元网络是属于其中一种，而且可以近似逼近高度非线性的问题．还有就是遗传算法用到神经元网络训练方面，不知道大家对神经元网络了解多少，其实神经元网络没有那么玄，是有数学基础的，有一种网络叫误差反馈网络，这种网络在训练过程中是用剃度法不断调整权值直到达到满足误差才算收敛剃度法有个问题就是求解得到的是局部最优．所以就有人在网络训练中引入了遗传算法来训练网络权值．综上可以看到遗传算法和神经元网络的关系是如此的紧密．

光的轨迹

在这里我给简单的介绍一下吧．首先模拟退火和遗传算法属于优化领域的，神经元网络属于近似模型的国外叫做metamodel（模型的模型），是完全不同的东西，只所以两者经常出现是因为在优化问题里神经元网络扮演着重要角色．一般的有数学表达式的优化问题是最简单的了这中问题是不会出现神经元网络的，在工程实际优化过程中，目标函数和优化设计变量之间是隐函数的关系而且可能高度的非线形，并且这种问题一次的计算机仿真时间可能就很长，如果用遗传算法或者模拟退火的话直接优化是相当的消耗时间的，所以很多人引入近似模型的概念，神经元网络是属于其中一种，而且可以近似逼近高度非线性的问题．还有就是遗传算法用到神经元网络训练方面，不知道大家对神经元网络了解多少，其实神经元网络没有那么玄，是有数学基础的，有一种网络叫误差反馈网络，这种网络在训练过程中是用剃度法不断调整权值直到达到满足误差才算收敛剃度法有个问题就是求解得到的是局部最优．所以就有人在网络训练中引入了遗传算法来训练网络权值．综上可以看到遗传算法和神经元网络的关系是如此的紧密．

光的轨迹

不好意思，最近网络有问题很慢，我心急结果就发了这么多，各位多包涵！！

whhustdhm

呵呵，你说的对啊，我也想看看遗传算法，看看怎么个优化法，以及怎么用来训练BP网络，谢谢啦，能不能介绍一本遗传算法的入门书籍

光的轨迹

有一本国防科工业出版的书,名字好象是<遗传算法原理及应用>,这本书还不错,讲述不复杂.还有一本是<神经网络和遗传算法在水利科学领域的应用>,也有讲述,而且利用遗传算法来训练神经元网络的权值,值的一读.

lantiandeng

谢谢版主

simplezhu

有没有具体使用过遗传算法优化神经网络权值的朋友呀？感觉对于样本集的逼近程度是很高的但是，如果有大量的样本，比如说1000这种方法还好用吗？

zzh8207

遗传算法在优化领域确实非常有用，其全局搜索能力是十分强，而BP神经网络的权值调整是一个纯粹的优化问题，所以遗传算法可以直接运用于调整bp网络权值。但是ga的局部搜索能力十分差，但是有各种改进的遗传算法。其中我编制过的遗传算法中单纯形混合加速算法（SHAGA）的性能最好（速度快，精度高）。我曾经试验过用SHAGA直接对bp网络的权值进行优化，但是遇到一个很大的问题，那就是效率太低。效率低不是由于大量样本的问题，而是需要调整的权值过多，即优化变量太多。对于复杂的网络结构ga算法是很难行得通的。举个例子：一个很简单的3-5-3结构的网络，它的权值和阀值的个数有：5*3+5+3*5+3=38个。如果每个参数使用10位的编码（对于一般的ga十位的编码精度不算高），那么个体的基因长度就有380位，大量时间都将被用于变异、交叉这样的基本遗传算子的操作以及解码工作上。所以个人认为ga和神经网络的结合容易，但是要做到实用并不是一件简单的事。

[ 本帖最后由 zzh8207 于 2007-1-7 20:49 编辑 ]

jane8802

：）来了高手了！楼上一定要经常来指导啊！

fengmu

谢谢 很实在 很有用       总结得很好

ice.beauty

加油，慢慢学！