【智能优化算法】粒子群优化算法（PSO）【附python实现代码】

写在前面：
首先感谢兄弟们的订阅，让我有创作的动力，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。

路虽远，行则将至；事虽难，做则必成。只要有愚公移山的志气、滴水穿石的毅力，脚踏实地，埋头苦干，积跬步以至千里，就一定能够把宏伟目标变为美好现实。

历史文章回顾：
灰狼优化算法：【智能优化算法】灰狼优化算法【附python实现代码】
白鲸优化算法：【智能优化算法】白鲸优化算法【附python实现代码】
【智能优化算法】粒子群优化KNN分类算法【附python实现代码】
【智能优化算法】粒子群优化随机森林分类算法【附python实现代码】
【智能优化算法】粒子群优化LightGBM分类算法【附python实现代码】
【模型参数优化】随机搜索对随机森林分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对随机森林分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对KNN分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对XGBoost分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对GBDT分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对SVM分类模型进行参数寻优【附python实现代码】
【模型参数优化】随机搜索对SVM分类模型进行参数寻优【附python实现代码】

1、介绍

1.1、PSO算法起源

1995年，受到鸟群觅食行为的规律性启发，James Kennedy和Russell Eberhart建立了一个简化算法模型，经过多年改进最终形成了粒子群优化算法(Particle Swarm Optimization, PSO) ，也可称为粒子群算法。

1.2、PSO算法特点

粒子群算法具有收敛速度快、参数少、算法简单易实现的优点（对高维度优化问题，比遗传算法更快收敛于最优解），但是也存在陷入局部最优解的问题，因此依赖于良好的初始化。

1.3、PSO算法基本思想

粒子群算法的思想源于对鸟群觅食行为的研究，鸟群通过集体的信息共享使群体找到最优的目的地。如下图，设想这样一个场景：鸟群在森林中随机搜索食物，它们想要找到食物量最多的位置。但是所有的鸟都不知道食物具体在哪个位置，只能感受到食物大概在哪个方向。每只鸟沿着自己判定的方向进行搜索，并在搜索的过程中记录自己曾经找到过食物且量最多的位置，同时所有的鸟都共享自己每一次发现食物的位置以及食物的量，这样鸟群就知道当前在哪个位置食物的量最多。在搜索的过程中每只鸟都会根据自己记忆中食物量最多的位置和当前鸟群记录的食物量最多的位置调整自己接下来搜索的方向。鸟群经过一段时间的搜索后就可以找到森林中哪个位置的食物量最多（全局最优解）。

在这里插入图片描述

2、算法基本原理

2.1 对应关系

将鸟群觅食行为和算法原理对应，如下表所示：

鸟群觅食粒子群算法
鸟粒子
森林求解空间
食物的量目标函数值（适应值）
每只鸟所处的位置空间中的一个解（粒子位置）
食物量最多的位置全局最优解

2.2 基础知识

  • PSO的基础：信息的社会共享
  • 粒子的两个属性：速度和位置（算法的两个核心要素）
    速度表示粒子下一步迭代时移动的方向和距离，位置是所求解问题的一个解。
  • 算法的6个重要参数
    在这里插入图片描述
  • 粒子群算法的流程图
    在这里插入图片描述
  • 粒子群算法的伪代码
    在这里插入图片描述

3、速度更新公式

表述上叫速度，实际上就是粒子下一步迭代移动的距离和方向，也就是一个位置向量。
在这里插入图片描述

3.1、速度更新公式的解释

  • 第1项：惯性部分
    由惯性权重和粒子自身速度构成，表示粒子对先前自身运动状态的信任。
  • 第2项：认知部分
    表示粒子本身的思考，即粒子自己经验的部分，可理解为粒子当前位置与自身历史最优位置之间的距离和方向。
  • 第3项：社会部分
    表示粒子之间的信息共享与合作，即来源于群体中其他优秀粒子的经验，可理解为粒子当前位置与群体历史最优位置之间的距离和方向。

3.2、速度更新公式的参数定义

在这里插入图片描述

3.3、速度方向

粒子下一步迭代的移动方向 = 惯性方向 + 个体最优方向 + 群体最优方向
在这里插入图片描述

4、位置更新公式

上一步的位置 + 下一步的速度
在这里插入图片描述

5、PSO算法参数的详细解释

5.1、粒子群规模：N

一个正整数，推荐取值范围：[20,1000]，简单问题一般取20-40，较难或特定类别的问题可以取100-200。较小的种群规模容易陷入局部最优；较大的种群规模可以提高收敛性，更快找到全局最优解，但是相应地每次迭代的计算量也会增大；当种群规模增大至一定水平时，再增大将不再有显著的作用。

5.2、粒子维度：D

粒子搜索的空间维数即为自变量的个数。

5.3、迭代次数：K

推荐取值范围：[50,100]，典型取值：60、70、100；这需要在优化的过程中根据实际情况进行调整，迭代次数太小的话解不稳定，太大的话非常耗时，没有必要。

5.4、惯性权重：w

1998年，Yuhui Shi和Russell Eberhart对基本粒子群算法引入了惯性权重(inertia weight)，并提出动态调整惯性权重以平衡收敛的全局性和收敛速度，该算法被称为标准PSO算法（本文所介绍）【Shi Y . A Modified Particle Swarm Optimizer[C]// Proc of IEEE Icec Conference. 1998.】。

  • 参数意义
    惯性权重w表示上一代粒子的速度对当代粒子的速度的影响，或者说粒子对当前自身运动状态的信任程度，粒子依据自身的速度进行惯性运动。惯性权重使粒子保持运动的惯性和搜索扩展空间的趋势。w值越大，探索新区域的能力越强，全局寻优能力越强，但是局部寻优能力越弱。反之，全局寻优能力越弱，局部寻优能力强。较大的w有利于全局搜索，跳出局部极值，不至于陷入局部最优；而较小的w有利于局部搜索，让算法快速收敛到最优解。当问题空间较大时，为了在搜索速度和搜索精度之间达到平衡，通常做法是使算法在前期有较高的全局搜索能力以得到合适的种子，而在后期有较高的局部搜索能力以提高收敛精度，所以w不宜为一个固定的常数。当w=0时，退化成基本粒子群算法，当w=1时，失去对粒子本身经验的思考。推荐取值范围：[0.4,2]，典型取值：0.9、1.2、1.5、1.8。
  • 改善惯性权重
    在解决实际优化问题时，往往希望先采用全局搜索，使搜索空间快速收敛于某一区域，然后采用局部精细搜索以获得高精度的解。因此提出了自适应调整的策略，即随着迭代的进行，线性地减小w的值。这里提供一个简单常用的方法——线性变化策略：随着迭代次数的增加，惯性权重w不断减小，从而使得粒子群算法在初期具有较强的全局收敛能力，在后期具有较强的局部收敛能力。
    在这里插入图片描述

5.5、学习因子：c1、c2

也称为加速系数或加速因子（这两个称呼更加形象地表达了这两个系数的作用）
在这里插入图片描述

6、PSO算法的其他重要概念和技巧

6.1、适应值（fitness values）

即优化目标函数的值，用来评价粒子位置的好坏程度，决定是否更新粒子个体的历史最优位置和群体的历史最优位置，保证粒子朝着最优解的方向搜索。

6.2、位置限制

限制粒子搜索的空间，即自变量的取值范围，对于无约束问题此处可以省略。

6.3、速度限制

为了平衡算法的探索能力与开发能力，需要设定一个合理的速度范围，限制粒子的最大速度 ，即粒子下一步迭代可以移动的最大距离。
Vmax较大时，粒子飞行速度快，探索能力强，但粒子容易飞过最优解；
Vmax较小时，飞行速度慢，开发能力强，但是收敛速度慢，且容易陷入局部最优解；
Vmax一般设为粒子变化范围的10％~20％，可根据实际情况调试，但不能大于粒子(解)的变化范围。

6.4、优化停止准则

停止准则一般有两种：

  • 最大迭代步数：达到最大迭代次数停止
  • 可接受的满意解：上一次迭代后最优解的适应值与本次迭代后最优解的适应值之差小于某个值后停止优化

6.5、初始化

粒子群算法优化的结果受很多因素的影响，其中受粒子初始值的影响比较大，而且较难调控。如果粒子初始值是随机初始化的，在不改变任何参数的情况下，多次优化的结果不一定都收敛到一个全局或局部最优解，也可能会得到一个无效解。所以粒子初始化是一个十分重要的步骤，它关系到整个优化过程中优化收敛的速度与方向。如果粒子的初始化范围选择得好的话可以大大缩短优化的收敛时间，也不易陷入局部最优解。需要根据具体的问题进行分析，如果根据经验判断出最优解一定在某个范围内，则就在这个范围内初始化粒子。如果无法确定，则以粒子的取值边界作为初始化范围。

7、Python代码实现

使用scikit-opt库实现PSO

先安装

pip install scikit-opt

# -*- coding: utf-8 -*-
"""
Created on Sat May 25 09:37:28 2024@author: 63454
"""def demo_func(x):x1, x2, x3 = xreturn x1 ** 2 + (x2 - 0.05) ** 2 + x3 ** 2# %% Do PSO
from sko.PSO import PSOpso = PSO(func=demo_func, n_dim=3, pop=40, max_iter=100, lb=[0, -1, 0.5], ub=[1, 1, 1], w=0.8, c1=0.5, c2=0.5)
pso.run()
print('best_x is ', pso.gbest_x, 'best_y is', pso.gbest_y)# %% Plot the result
import matplotlib.pyplot as plt
plt.xlabel("iterators", size=11)
plt.ylabel("fitness", size=11)
plt.plot(pso.gbest_y_hist)
# plt.plot(pso.gbest_y_hist, color='b', linewidth=2)
plt.show()

在这里插入图片描述

参考资料

https://github.com/TimePickerWang/MachineLearning/blob/master/MachineLearning/OptAlgorithm/PSO.py
https://blog.csdn.net/xyisv/article/details/79058574
https://zhuanlan.zhihu.com/p/346355572?utm_id=0&eqid=b544778f00000f69000000066527b08b
https://github.com/guofei9987/scikit-opt/blob/master/examples/demo_pso.py
https://scikit-opt.github.io/scikit-opt/#/zh/more_sa
https://www.omegaxyz.com/2017/05/04/introductionofpso/
https://zhuanlan.zhihu.com/p/63956652

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/15146.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【软件设计师】下午题总结-数据流图、数据库、统一建模语言

【软件设计师】下午题总结-数据流图、数据库、统一建模语言

下午题总结 1 试题一1.1 结构化语言 2 试题二弱实体增加权限增加实体间联系和联系的类型 3 试题三3.1 UML关系例子 3.2 例子（2016上半年）3.3 设计类分类3.3.1 接口类3.3.2 控制类3.3.3 实体类 3.4 简答题3.4.1 简要说明选择候选类的原则3.4.2 某个类必须…
阅读更多...
【网络安全】网络安全协议的重要性

【网络安全】网络安全协议的重要性

一.网络安全 1.什么是网络安全 网络安全（Cyber Security）是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。 2.网络安…
阅读更多...
WPF密码输入框明文掩码切换

WPF密码输入框明文掩码切换

1&#xff0c;效果 2&#xff0c;代码&#xff1a; WPF的PasswordBox不能像Winform中的PasswordBox那样&#xff0c;通过PasswordBox.PasswordChar(char)0显示明文。所以这里使用无外观控件构筑掩码明文切换。 无外观控件遵守Themes/Generic.xaml文件配置. <ResourceDicti…
阅读更多...
视觉检测实战项目——九点标定

视觉检测实战项目——九点标定

本文介绍九点标定方法 已知 9 个点的图像坐标和对应的机械坐标，直接计算转换矩阵，核心原理即最小二乘拟合 {𝑥′=𝑎𝑥+𝑏𝑦+𝑐𝑦′=𝑎′𝑥+𝑏′𝑦+𝑐′ [𝑥1𝑦11𝑥2𝑦21⋮⋮⋮𝑥9𝑦91][𝑎𝑎′𝑏𝑏′𝑐𝑐′]=[𝑥1′𝑦…
阅读更多...
[Linux]磁盘管理

[Linux]磁盘管理

一.Linux磁盘管理的原理 磁盘分区与Linux的目录是借助"挂载机制"链接的&#xff0c;将一个分区与一个目录连接起来。访问目录&#xff0c;相当于访问某块分区 lsblk命令: lsblk命令可以查看磁盘分区&#xff0c;以及每个分区所挂载的目录 lsblk -f 可以查看更细节的…
阅读更多...
山东大学软件学院项目实训-创新实训-基于大模型的旅游平台（十九）- JUC（5）

山东大学软件学院项目实训-创新实训-基于大模型的旅游平台（十九）- JUC（5）

synchronized优化原理 轻量级锁 如果一个对象有多个线程访问&#xff0c;但多线程访问的时间是错开的&#xff08;没有竞争&#xff09;&#xff0c;可以用轻量级锁优化 Slf4j(topic "c.ExerciseTransfer")public class Test {​static final Object obj new Obj…
阅读更多...
关于阳光雨露外派联想的面试感想

关于阳光雨露外派联想的面试感想

最近在找工作&#xff0c;接到了一个阳光雨露外派联想的面试邀请。说实在的一开始就有不对劲的感觉。想必这就是大厂的自信吧&#xff0c;上就问能不能现场面试&#xff0c;然后直接发面试邀请。这时候我倒是没觉得有啥问题。 然后今天就去面试去了&#xff0c;住的比较偏&…
阅读更多...
【研发日记】【策划向】（一）游戏策划其实就是一道加减法题

【研发日记】【策划向】（一）游戏策划其实就是一道加减法题

文章目录 序设计的过程其实是控制自己欲望的过程我海纳百川&#xff0c;你要不要看看&#xff1f;我跟别人不一样&#xff01;我的人设就是没有人设&#xff0c;或者说任何人设都是我的人设 记 序 不知不觉进入这个行业几年了&#xff0c;也经历了独立开发和团队开发的过程。在…
阅读更多...
欣赏倪诗韵青桐断纹古琴很罕见：万中无一。

欣赏倪诗韵青桐断纹古琴很罕见：万中无一。

欣赏倪诗韵青桐断纹古琴很罕见&#xff1a;万中无一。龙池侧签海门倪诗韵制&#xff0c;带收藏证书此琴断纹优美如江面波光粼粼&#xff0c;为流水蛇腹断&#xff0c;是倪老师作品精品中的精品。细心的朋友可以看出倪老师在这张琴上题字非常小心认真。用一个词来形容——万中无…
阅读更多...
Spring Boot线程池的 使用

Spring Boot线程池的 使用

一.异步方法 1.启动类加EnableAsync注解 2.在需要异步执行的方法上添加Async注解 3.直接调用 结论&#xff1a;异步方法是通过SpringBoot中自动注入的线程池任务执行器实现的 二.自定义线程池 1.创建线程的配置类 2.使用Async注解时指定名称 3.结论 手动注入多个线程池任务执…
阅读更多...
Linux echo命令（在终端输出文本）

Linux echo命令（在终端输出文本）

文章目录 Linux Echo命令深度解析简介命令语法常见选项- -n&#xff1a;不输出行尾的换行符&#xff0c;这意味着输出后不会换到下一行。- -e&#xff1a;启用反斜杠转义的解释&#xff0c;允许使用特殊字符。- -E&#xff1a;禁用反斜杠转义的解释&#xff08;默认选项&#x…
阅读更多...
基于地理坐标的高阶几何编辑工具算法（2）——相交面裁剪

基于地理坐标的高阶几何编辑工具算法（2）——相交面裁剪

文章目录 工具步骤应用场景算法输入算法输出算法示意图算法原理后处理 工具步骤 选中一个需要裁剪的面&#xff0c;点击“相交面裁剪”工具&#xff0c;多选裁剪模板面&#xff0c;空格执行。 应用场景 常用于基于遥感影像的建筑物几何面编辑。 算法输入 一个待裁剪的面&a…
阅读更多...
sqlserver的查询（三）

sqlserver的查询（三）

目录 10. group by(分组) 11. having(对分组后的信息过滤) 可能从这里开始&#xff0c;执行顺序越来越显得重要了&#xff01;&#xff01;&#xff01; 10. group by(分组) 这个查询相比前面会有一些困难&#xff1b; 格式&#xff1a;group by 字段的集合&#xff1b; 功…
阅读更多...
Java进阶学习笔记8——单继承、Object类、方法重写

Java进阶学习笔记8——单继承、Object类、方法重写

Java 是单继承的&#xff0c;Java中的类不支持多继承&#xff0c;但是支持多层继承。 Object类是所有类的父类。 Java不支持多类继承&#xff1a; Java支持多层继承&#xff1a; 反证法&#xff1a; Object类&#xff1a; Object类是java所有类的祖宗类&#xff0c;我们写的任…
阅读更多...
每日AIGC最新进展(10)：符号音乐生成SYMPLEX、新型图像编辑数据集ReasonPix2Pix、角色一致性插画生成、高级的风格个性化扩散模型

每日AIGC最新进展(10)：符号音乐生成SYMPLEX、新型图像编辑数据集ReasonPix2Pix、角色一致性插画生成、高级的风格个性化扩散模型

Diffusion Models专栏文章汇总&#xff1a;入门与实战 SYMPLEX: Controllable Symbolic Music Generation using Simplex Diffusion with Vocabulary Priors http://arxiv.org/abs/2405.12666v1 本文介绍了一种新的符号音乐生成方法&#xff0c;名为SYMPLEX&#xff0c;它基于…
阅读更多...
【QGIS入门实战精品教程】5.3：CGCS2000转Lambert投影

【QGIS入门实战精品教程】5.3：CGCS2000转Lambert投影

参考阅读： 【GlobalMapper精品教程】081：WGS84/CGCS2000转Lambert投影 文章目录 一、加载实验数据二、投影转换三、批量投影转换一、加载实验数据 加载配套实验数据，如下图所示：图层为长沙市范围、长沙市酒店宾馆分布点位、湖南省酒店分布点位矢量数据。 双击图层，打开信…
阅读更多...
网段与广播域

网段与广播域

ip地址与子网掩码做与运算得到网络号&#xff0c;得到的网络号相同就是同一个网段&#xff0c;否则不是&#xff0c;跟他们在什么位置没有任何关系 这里面pc3和前两个pc虽然不在同一个网段&#xff0c;但是pc1发广播包的时候&#xff0c;pc3也能收到&#xff0c;因为路由器的所…
阅读更多...
Vue 安装vue

Vue 安装vue

1、官网安装下载安装nodejs 2、安装完成后&#xff0c;通过命令查看版本,可以查看到版本 node -v npm -v 3、安装Vue CLi npm install -g vue/cli 4、创建项目,vue create test 如果遇到报错&#xff1a; ERROR Error: spawn yarn ENOENT Error: spawn yarn ENOENT at ChildP…
阅读更多...
Dilworth 定理

Dilworth 定理

这是一个关于偏序集的定理&#xff0c;事实上它也可以扩展到图论&#xff0c;dp等中&#xff0c;是一个很有意思的东西 偏序集 偏序集是由集合 S S S以及其上的一个偏序关系 R R R定义的&#xff0c;记为 ( S , R ) (S,R) (S,R) 偏序关系&#xff1a; 对于一个二元关系 R ⊂…
阅读更多...
用 vue3 + phaser 实现经典小游戏：飞机大战

用 vue3 + phaser 实现经典小游戏：飞机大战

本文字数&#xff1a;7539字 预计阅读时间&#xff1a;30分钟 01 前言 说起小游戏&#xff0c;最经典的莫过于飞机大战了&#xff0c;相信很多同学都玩过。今天我们也来试试开发个有趣的小游戏吧&#xff01;我们将从零开始&#xff0c;看看怎样一步步实现一个H5版的飞机大战&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023