Python数模笔记-模拟退火算法(1)多变量函数优化


1、模拟退火算法

模拟退火算法借鉴了统计物理学的思想,是一种简单、通用的启发式优化算法,并在理论上具有概率性全局优化性能,因而在科研和工程中得到了广泛的应用。
退火是金属从熔融状态缓慢冷却、最终达到能量最低的平衡态的过程。模拟退火算法基于优化问题求解过程与金属退火过程的相似性,以优化目标为能量函数,以解空间为状态空间,以随机扰动模拟粒子的热运动来求解优化问题([1] KIRKPATRICK,1988)。
模拟退火算法结构简单,由温度更新函数、状态产生函数、状态接受函数和内循环、外循环终止准则构成。

温度更新函数是指退火温度缓慢降低的实现方案,也称冷却进度表;
状态产生函数是指由当前解随机产生新的候选解的方法;
状态接受函数是指接受候选解的机制,通常采用Metropolis准则;
外循环是由冷却进度表控制的温度循环;
内循环是在每一温度下循环迭代产生新解的次数,也称Markov链长度。

模拟退火算法的基本流程如下:

(1)初始化:初始温度T,初始解状态s,迭代次数L;
(2)对每个温度状态,重复 L次循环产生和概率性接受新解:
(3)通过变换操作由当前解s 产生新解s′;
(4)计算能量差 ∆E,即新解的目标函数与原有解的目标函数的差;
(5)若∆E <0则接受s′作为新的当前解,否则以概率exp(-∆E/T) 接受s′ 作为新的当前解;
(6)在每个温度状态完成 L次内循环后,降低温度 T,直到达到终止温度。

欢迎关注 Youcans 原创系列,每周更新数模笔记

Python数模笔记-PuLP库
Python数模笔记-StatsModels统计回归
Python数模笔记-Sklearn
Python数模笔记-NetworkX
Python数模笔记-模拟退火算法

2、多变量函数优化问题

选取经典的函数优化问题和组合优化问题作为测试案例。

问题 1:Schwefel 测试函数,是复杂的多峰函数,具有大量局部极值区域。
  F(X)=418.9829×n-∑(i=1,n)〖xi* sin⁡(√(|xi|)) 〗

本文取 d=10, x=[-500,500],函数在 X=(420.9687,…420.9687)处为全局最小值 f(X)=0.0。

使用模拟退火算法的基本方案:控制温度按照 T(k) = a * T(k-1) 指数衰减,衰减系数取 a;如式(1)按照 Metropolis 准则接受新解。对于问题 1(Schwefel函数),通过对当前解的一个自变量施加正态分布的随机扰动产生新解。
= 关注 Youcans,分享原创系列 https://blog.csdn.net/youcans =

3、模拟退火算法 Python 程序

# 模拟退火算法 程序:多变量连续函数优化
# Program: SimulatedAnnealing_v1.py
# Purpose: Simulated annealing algorithm for function optimization
# Copyright 2021 YouCans, XUPT
# Crated:2021-04-30
# = 关注 Youcans,分享原创系列 https://blog.csdn.net/youcans =
#  -*- coding: utf-8 -*-
import math                         # 导入模块
import random                       # 导入模块
import pandas as pd                 # 导入模块
import numpy as np                  # 导入模块 numpy,并简写成 np
import matplotlib.pyplot as plt     # 导入模块 matplotlib.pyplot,并简写成 plt
from datetime import datetime# 子程序:定义优化问题的目标函数
def cal_Energy(X, nVar):# 测试函数 1: Schwefel 测试函数# -500 <= Xi <= 500# 全局极值:(420.9687,420.9687,...),f(x)=0.0sum = 0.0for i in range(nVar):sum += X[i] * np.sin(np.sqrt(abs(X[i])))fx = 418.9829 * nVar - sumreturn fx# 子程序:模拟退火算法的参数设置
def ParameterSetting():cName = "funcOpt"           # 定义问题名称nVar = 2                    # 给定自变量数量,y=f(x1,..xn)xMin = [-500, -500]         # 给定搜索空间的下限,x1_min,..xn_minxMax = [500, 500]           # 给定搜索空间的上限,x1_max,..xn_maxtInitial = 100.0            # 设定初始退火温度(initial temperature)tFinal  = 1                 # 设定终止退火温度(stop temperature)alfa    = 0.98              # 设定降温参数,T(k)=alfa*T(k-1)meanMarkov = 100            # Markov链长度,也即内循环运行次数scale   = 0.5               # 定义搜索步长,可以设为固定值或逐渐缩小return cName, nVar, xMin, xMax, tInitial, tFinal, alfa, meanMarkov, scale# 模拟退火算法
def OptimizationSSA(nVar,xMin,xMax,tInitial,tFinal,alfa,meanMarkov,scale):# ====== 初始化随机数发生器 ======randseed = random.randint(1, 100)random.seed(randseed)  # 随机数发生器设置种子,也可以设为指定整数# ====== 随机产生优化问题的初始解 ======xInitial = np.zeros((nVar))   # 初始化,创建数组for v in range(nVar):# random.uniform(min,max) 在 [min,max] 范围内随机生成一个实数xInitial[v] = random.uniform(xMin[v], xMax[v])# 调用子函数 cal_Energy 计算当前解的目标函数值fxInitial = cal_Energy(xInitial, nVar)# ====== 模拟退火算法初始化 ======xNew = np.zeros((nVar))         # 初始化,创建数组xNow = np.zeros((nVar))         # 初始化,创建数组xBest = np.zeros((nVar))        # 初始化,创建数组xNow[:]  = xInitial[:]          # 初始化当前解,将初始解置为当前解xBest[:] = xInitial[:]          # 初始化最优解,将当前解置为最优解fxNow  = fxInitial              # 将初始解的目标函数置为当前值fxBest = fxInitial              # 将当前解的目标函数置为最优值print('x_Initial:{:.6f},{:.6f},\tf(x_Initial):{:.6f}'.format(xInitial[0], xInitial[1], fxInitial))recordIter = []                 # 初始化,外循环次数recordFxNow = []                # 初始化,当前解的目标函数值recordFxBest = []               # 初始化,最佳解的目标函数值recordPBad = []                 # 初始化,劣质解的接受概率kIter = 0                       # 外循环迭代次数,温度状态数totalMar = 0                    # 总计 Markov 链长度totalImprove = 0                # fxBest 改善次数nMarkov = meanMarkov            # 固定长度 Markov链# ====== 开始模拟退火优化 ======# 外循环,直到当前温度达到终止温度时结束tNow = tInitial                 # 初始化当前温度(current temperature)while tNow >= tFinal:           # 外循环,直到当前温度达到终止温度时结束# 在当前温度下,进行充分次数(nMarkov)的状态转移以达到热平衡kBetter = 0                 # 获得优质解的次数kBadAccept = 0              # 接受劣质解的次数kBadRefuse = 0              # 拒绝劣质解的次数# ---内循环,循环次数为Markov链长度for k in range(nMarkov):    # 内循环,循环次数为Markov链长度totalMar += 1           # 总 Markov链长度计数器# ---产生新解# 产生新解:通过在当前解附近随机扰动而产生新解,新解必须在 [min,max] 范围内# 方案 1:只对 n元变量中的一个进行扰动,其它 n-1个变量保持不变xNew[:] = xNow[:]v = random.randint(0, nVar-1)   # 产生 [0,nVar-1]之间的随机数xNew[v] = xNow[v] + scale * (xMax[v]-xMin[v]) * random.normalvariate(0, 1)# random.normalvariate(0, 1):产生服从均值为0、标准差为 1 的正态分布随机实数xNew[v] = max(min(xNew[v], xMax[v]), xMin[v])  # 保证新解在 [min,max] 范围内# ---计算目标函数和能量差# 调用子函数 cal_Energy 计算新解的目标函数值fxNew = cal_Energy(xNew, nVar)deltaE = fxNew - fxNow# ---按 Metropolis 准则接受新解# 接受判别:按照 Metropolis 准则决定是否接受新解if fxNew < fxNow:  # 更优解:如果新解的目标函数好于当前解,则接受新解accept = TruekBetter += 1else:  # 容忍解:如果新解的目标函数比当前解差,则以一定概率接受新解pAccept = math.exp(-deltaE / tNow)  # 计算容忍解的状态迁移概率if pAccept > random.random():accept = True  # 接受劣质解kBadAccept += 1else:accept = False  # 拒绝劣质解kBadRefuse += 1# 保存新解if accept == True:  # 如果接受新解,则将新解保存为当前解xNow[:] = xNew[:]fxNow = fxNewif fxNew < fxBest:  # 如果新解的目标函数好于最优解,则将新解保存为最优解fxBest = fxNewxBest[:] = xNew[:]totalImprove += 1scale = scale*0.99  # 可变搜索步长,逐步减小搜索范围,提高搜索精度# ---内循环结束后的数据整理# 完成当前温度的搜索,保存数据和输出pBadAccept = kBadAccept / (kBadAccept + kBadRefuse)  # 劣质解的接受概率recordIter.append(kIter)  # 当前外循环次数recordFxNow.append(round(fxNow, 4))  # 当前解的目标函数值recordFxBest.append(round(fxBest, 4))  # 最佳解的目标函数值recordPBad.append(round(pBadAccept, 4))  # 最佳解的目标函数值if kIter%10 == 0:                           # 模运算,商的余数print('i:{},t(i):{:.2f}, badAccept:{:.6f}, f(x)_best:{:.6f}'.\format(kIter, tNow, pBadAccept, fxBest))# 缓慢降温至新的温度,降温曲线:T(k)=alfa*T(k-1)tNow = tNow * alfakIter = kIter + 1# ====== 结束模拟退火过程 ======print('improve:{:d}'.format(totalImprove))return kIter,xBest,fxBest,fxNow,recordIter,recordFxNow,recordFxBest,recordPBad# 结果校验与输出
def ResultOutput(cName,nVar,xBest,fxBest,kIter,recordFxNow,recordFxBest,recordPBad,recordIter):# ====== 优化结果校验与输出 ======fxCheck = cal_Energy(xBest,nVar)if abs(fxBest - fxCheck)>1e-3:   # 检验目标函数print("Error 2: Wrong total millage!")returnelse:print("\nOptimization by simulated annealing algorithm:")for i in range(nVar):print('\tx[{}] = {:.6f}'.format(i,xBest[i]))print('\n\tf(x):{:.6f}'.format(fxBest))return# 主程序 = 关注 Youcans,分享原创系列 https://blog.csdn.net/youcans =**加粗样式**
def main():# 参数设置,优化问题参数定义,模拟退火算法参数设置[cName, nVar, xMin, xMax, tInitial, tFinal, alfa, meanMarkov, scale] = ParameterSetting()# print([nVar, xMin, xMax, tInitial, tFinal, alfa, meanMarkov, scale])# 模拟退火算法[kIter,xBest,fxBest,fxNow,recordIter,recordFxNow,recordFxBest,recordPBad] \= OptimizationSSA(nVar,xMin,xMax,tInitial,tFinal,alfa,meanMarkov,scale)# print(kIter, fxNow, fxBest, pBadAccept)# 结果校验与输出ResultOutput(cName, nVar,xBest,fxBest,kIter,recordFxNow,recordFxBest,recordPBad,recordIter)# = 关注 Youcans,分享原创系列 https://blog.csdn.net/youcans =
if __name__ == '__main__':main()

4、程序运行结果

x_Initial:-143.601793,331.160277,	f(x_Initial):959.785447
i:0,t(i):100.00, badAccept:0.469136, f(x)_best:300.099320
i:10,t(i):81.71, badAccept:0.333333, f(x)_best:12.935760
i:20,t(i):66.76, badAccept:0.086022, f(x)_best:2.752498...
i:200,t(i):1.76, badAccept:0.000000, f(x)_best:0.052055
i:210,t(i):1.44, badAccept:0.000000, f(x)_best:0.009448
i:220,t(i):1.17, badAccept:0.000000, f(x)_best:0.009448
improve:18Optimization by simulated annealing algorithm:x[0] = 420.807471x[1] = 420.950005f(x):0.003352

版权说明:
原创作品 = 关注 Youcans,分享原创系列 https://blog.csdn.net/youcans =
Copyright 2021 YouCans, XUPT
Crated:2021-05-01

关注 Youcans,分享原创系列 https://blog.csdn.net/youcans

Python数模笔记-PuLP库(1)线性规划入门
Python数模笔记-PuLP库(2)线性规划进阶
Python数模笔记-PuLP库(3)线性规划实例
Python数模笔记-StatsModels 统计回归(1)简介
Python数模笔记-StatsModels 统计回归(2)线性回归
Python数模笔记-StatsModels 统计回归(3)模型数据的准备
Python数模笔记-StatsModels 统计回归(4)可视化
Python数模笔记-Sklearn (1)介绍
Python数模笔记-Sklearn (2)聚类分析
Python数模笔记-Sklearn (3)主成分分析
Python数模笔记-Sklearn (4)线性回归
Python数模笔记-Sklearn (5)支持向量机
Python数模笔记-模拟退火算法(1)多变量函数优化
Python数模笔记-模拟退火算法(2)约束条件的处理
Python数模笔记-模拟退火算法(3)整数规划问题
Python数模笔记-模拟退火算法(4)旅行商问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/566180.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python数模笔记-模拟退火算法(2)约束条件的处理

1、最优化与线性规划 最优化问题的三要素是决策变量、目标函数和约束条件。 线性规划&#xff08;Linear programming&#xff09;&#xff0c;是研究线性约束条件下线性目标函数的极值问题的优化方法&#xff0c;常用于解决利用现有的资源得到最优决策的问题。 简单的线性规…

Python数模笔记-模拟退火算法(3)整数规划问题

1、整数规划问题 整数规划问题在工业、经济、国防、医疗等各行各业应用十分广泛&#xff0c;是指规划中的变量&#xff08;全部或部分&#xff09;限制为整数&#xff0c;属于离散优化问题&#xff08;Discrete Optimization&#xff09;。 线性规划问题的最优解可能是分数或小…

数据结构之算法特性及分类

数据结构之算法特性及分类 算法的特性 1.通用性。2.有效性。3.确定性4.有穷性。基本算法分类 1.穷举法顺序查找K值2.回溯,搜索八皇后&#xff0c;树和图遍历3.递归分治二分查找K值&#xff0c;快速排序&#xff0c;归并排序。4.贪心法Huffman编码树&#xff0c;最短路Dijkstra…

Python数模笔记-模拟退火算法(4)旅行商问题

1、旅行商问题(Travelling salesman problem, TSP) 旅行商问题是经典的组合优化问题&#xff0c;要求找到遍历所有城市且每个城市只访问一次的最短旅行路线&#xff0c;即对给定的正权完全图求其总权重最小的Hamilton回路&#xff1a;设有 n个城市和距离矩阵 D[dij]&#xff0…

神经网络概述

神经网络概述 以监督学习为例&#xff0c;假设我们有训练样本集 &#xff0c;那么神经网络算法能够提供一种复杂且非线性的假设模型 &#xff0c;它具有参数 &#xff0c;可以以此参数来拟合我们的数据。 为了描述神经网络&#xff0c;我们先从最简单的神经网络讲起&#x…

Python数模笔记-StatsModels 统计回归(1)简介

1、关于 StatsModels statsmodels&#xff08;http://www.statsmodels.org&#xff09;是一个Python库&#xff0c;用于拟合多种统计模型&#xff0c;执行统计测试以及数据探索和可视化。 欢迎关注 Youcans 原创系列&#xff0c;每周更新数模笔记 Python数模笔记-PuLP库 Pyth…

Python数模笔记-StatsModels 统计回归(2)线性回归

1、背景知识 1.1 插值、拟合、回归和预测 插值、拟合、回归和预测&#xff0c;都是数学建模中经常提到的概念&#xff0c;而且经常会被混为一谈。 插值&#xff0c;是在离散数据的基础上补插连续函数&#xff0c;使得这条连续曲线通过全部给定的离散数据点。 插值是离散函数…

Python数模笔记-StatsModels 统计回归(3)模型数据的准备

1、读取数据文件 回归分析问题所用的数据都是保存在数据文件中的&#xff0c;首先就要从数据文件读取数据。 数据文件的格式很多&#xff0c;最常用的是 .csv&#xff0c;.xls 和 .txt 文件&#xff0c;以及 sql 数据库文件的读取 。 欢迎关注 Youcans 原创系列&#xff0c;每…

神经网络反向传导算法

假设我们有一个固定样本集 &#xff0c;它包含 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲&#xff0c;对于单个样例 &#xff0c;其代价函数为&#xff1a; 这是一个&#xff08;二分之一的&#xff09;方差代价函数。给定一个包含 个样例的数据集&#xff…

Python数模笔记-StatsModels 统计回归(4)可视化

1、如何认识可视化&#xff1f; 图形总是比数据更加醒目、直观。解决统计回归问题&#xff0c;无论在分析问题的过程中&#xff0c;还是在结果的呈现和发表时&#xff0c;都需要可视化工具的帮助和支持。  欢迎关注 Youcans 原创系列&#xff0c;每周更新数模笔记 Python数…

梯度检验与高级优化

众所周知&#xff0c;反向传播算法很难调试得到正确结果&#xff0c;尤其是当实现程序存在很多难于发现的bug时。举例来说&#xff0c;索引的缺位错误&#xff08;off-by-one error&#xff09;会导致只有部分层的权重得到训练&#xff0c;再比如忘记计算偏置项。这些错误会使你…

Python数模笔记-Sklearn (1)介绍

1、SKlearn 是什么 Sklearn&#xff08;全称 SciKit-Learn&#xff09;&#xff0c;是基于 Python 语言的机器学习工具包。 Sklearn 主要用Python编写&#xff0c;建立在 Numpy、Scipy、Pandas 和 Matplotlib 的基础上&#xff0c;也用 Cython编写了一些核心算法来提高性能。…

自编码算法与稀疏性

目前为止&#xff0c;我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中&#xff0c;训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 &#xff0c;其中 。自编码神经网络是一种无监督学习算法&#xff0c;它使用了反向传播算法&#…

Python数模笔记-Sklearn(2)聚类分析

1、分类的分类 分类的分类&#xff1f;没错&#xff0c;分类也有不同的种类&#xff0c;而且在数学建模、机器学习领域常常被混淆。 首先我们谈谈有监督学习&#xff08;Supervised learning&#xff09;和无监督学习&#xff08;Unsupervised learning&#xff09;&#xff…

可视化自编码器训练结果

训练完&#xff08;稀疏&#xff09;自编码器&#xff0c;我们还想把这自编码器学到的函数可视化出来&#xff0c;好弄明白它到底学到了什么。我们以在1010图像&#xff08;即n100&#xff09;上训练自编码器为例。在该自编码器中&#xff0c;每个隐藏单元i对如下关于输入的函数…

Python数模笔记-Sklearn(3)主成分分析

主成分分析&#xff08;Principal Components Analysis&#xff0c;PCA&#xff09;是一种数据降维技术&#xff0c;通过正交变换将一组相关性高的变量转换为较少的彼此独立、互不相关的变量&#xff0c;从而减少数据的维数。 1、数据降维 1.1 为什么要进行数据降维&#xff1…

稀疏自编码器一览表

下面是我们在推导sparse autoencoder时使用的符号一览表&#xff1a; 符号含义训练样本的输入特征&#xff0c;.输出值/目标值. 这里 可以是向量. 在autoencoder中&#xff0c;.第 个训练样本输入为 时的假设输出&#xff0c;其中包含参数 . 该输出应当与目标值 具有相同的…

Python数模笔记-Sklearn(4)线性回归

1、什么是线性回归&#xff1f; 回归分析&#xff08;Regression analysis)是一种统计分析方法&#xff0c;研究自变量和因变量之间的定量关系。回归分析不仅包括建立数学模型并估计模型参数&#xff0c;检验数学模型的可信度&#xff0c;也包括利用建立的模型和估计的模型参数…

Python数模笔记-Sklearn(5)支持向量机

支持向量机&#xff08;Support vector machine, SVM&#xff09;是一种二分类模型&#xff0c;是按有监督学习方式对数据进行二元分类的广义线性分类器。 支持向量机经常应用于模式识别问题&#xff0c;如人像识别、文本分类、手写识别、生物信息识别等领域。 1、支持向量机&…