Ceres 使用笔记

文章目录

  • Part.I Introduction
    • Chap.I 预备知识
    • Chap.II 概念理解
  • Part.II 简单使用
    • Chap.I Ceres 中主要函数简介
    • Chap.II 一个简单的实例
  • Reference

Part.I Introduction

Ceres 1 是由 Google 开发的开源 C++ 通用非线性优化库,与 g2o 并列为目前视觉 SLAM 中应用最广泛的优化算法库。本篇博文简要介绍笔者使用 Ceres 过程中所做笔记,不当与不足之处还望批评指正!

在这里插入图片描述

Chap.I 预备知识

在使用 Ceres 之前,需要对图优化的概念有一定的理解。

Chap.II 概念理解

下面是使用 Ceres 过程中会涉及的一些概念:

  • 代价函数:CostFunction 也就是寻优的目标式(目标函数)。它包含了参数模块的维度信息,内部使用仿函数定义误差函数的计算方式。相当于最小二乘中的 V T P V = m i n V^TPV=min VTPV=min
  • 损失函数:LossFunction 用于处理参数中含有野值的情况,避免错误量测对估计的影响,常用参数包括 HuberLoss、CauchyLoss 等。
  • 边缘化:marginalization, 边缘化的对象是滑动窗口中的最老帧或者次新帧,将滑窗内的某些较旧或者不满足要求的帧剔除,所以边缘化也被描述为将联合概率分布分解为边缘概率分布和条件概率分布的过程(就是利用 Schur 补减少优化参数的过程)。边缘化是将丢掉的帧封装成先验信息,加入到新的非线性优化问题中作为一部分误差。

Part.II 简单使用

Chap.I Ceres 中主要函数简介

这部分主要来源于网络中前辈们的总结 2,笔者根据自己的理解进行了一些调整。Ceres 中的优化需要两步:

  1. 构建优化问题:包括构建优化的残差函数 CostFunction、在每次获取到数据后添加残差块(用到 Problem 类 AddResidualBlock 方法等)
  2. 求解优化问题:设置方程怎么求解,求解过程是否输出等(会调用 Solve 方法)

CostFunction 类:构建优化的残差函数

与其他非线性优化工具包一样,ceres 的性能很大程度上依赖于导数计算的精度和效率。这部分工作在 ceres 中称为 CostFunction,ceres 提供了许多种 CostFunction 模板,较为常用的包括以下三种:

  • 自动导数:AutoDiffCostFunction,由 ceres 自行决定导数的计算方式,最常用的求导方式。
  • 数值导数:NumericDiffCostFunction,由用户手动编写导数的数值求解形式,通常在残差函数的计算使用无法直接调用的库函数,导致调用AutoDiffCostFunction 类构建时使用;但手动编写的精度和计算效率不如模板类,因此不到不得已,官方并不建议使用该方法。
  • 解析导数:SizedCostFunction,当导数存在闭合解析形式时使用,用于可基于 SizedCostFunction 基类自行编写;但由于需要自行管理残差和雅克比矩阵,除非闭合解具有具有明显的精度和效率优势,否则同样不建议使用。

Problem 类:构建优化问题

构建最小二乘问题的相关方法均包含在 Ceres::Problem 类中,涉及的成员函数主要包括:

  • Problem::AddResidualBlock():向 Problem 类传递残差模块的信息,传递的参数主要包括:代价函数模块(CostFunction *cost_function)、损失函数模块(LossFunction *loss_function)和参数模块(const vector<double *> parameter_blocks)。
  • Problem::AddParameterBlock():显式地向 Problem 传递参数模块,其实用户在调用 AddParameterBlock()以前已经隐式地向 Problem 传递了参数模块,但是在一些情况下需要用户显示地向 Problem 传递参数模块,比如需要对优化参数进行重新参数化的情况(因为这个时候优化的参数已经变了),这个时候就需要使用 AddParameterBlock() 显示地向 Problem 传递参数模块。
  • Problem::SetParameterBlockConstant():设定对应的参数模块在优化过程中保持不变。
  • Problem::SetParameterBlockVariable():设定对应的参数模块在优化过程中可变
  • Problem::SetParameterUpperBound()Problem::SetParameterLowerBound():设定优化上下界
  • Problem::Evaluate():该函数紧跟在参数赋值后,在给定的参数位置求解Problem,给出当前位置处的 cost、梯度以及 Jacobian 矩阵;

Solver 类:求解优化问题

ceres::Solve函数是 Ceres 求解最小二乘问题的核心函数,函数原型如下:

void Solve(const Solver::Options& options, Problem* problem, Solver::Summary* summary)

函数传入的参数包括:

  • Solver::Options:求解选项,是 Ceres 求解的核心,包括消元顺序、分解方法、收敛精度等在内的求解器所有行为均由 Solver::Options 控制。
  • Solver::Summary:求解报告,只用于存储求解过程中的相关信息,并不影响求解器性能。
  • Problem:求解问题,即上面所述的优化问题。

Solver::Options

Solver::Options 中含有的参数种类繁多,绝大多数参数都会使用 Ceres 的默认设置,这里列出一些常用或较为重要的参数。

  • minimizer_type:迭代求解方法,可选线性搜索方法(LINEAR_SEARCH)、信赖域方法(TRUST_REGION),默认为TRUST_REGION 方法;由于大多数情况我们都会选择 LM 或 DOGLEG 方法,该选项一般直接采用默认值;
  • trust_region_strategy_type:信赖域策略,可选LEVENBERG_MARQUARDTDOGLEG,默认为LEVENBERG_MARQUARDT,没有高斯牛顿选项;
  • linear_solver_type:信赖域方法中求解线性方程组所使用的求解器类型,默认为 DENSE_QR
  • linear_solver_ordering:线性方程求解器的消元顺序,默认为 NULL,即由 Ceres 自行决定消元顺序;在以 BA 为典型代表的,对消元顺序有特殊要求的应用中,可以通过成员函数 reset 设定消元顺序,稍后将详细说明;
  • min_linear_solver_iteration / max_linear_solver_iteration:线性求解器的最小/最大迭代次数,默认为 0/500,一般不需要更改;
  • max_num_iterations:求解器的最大迭代次数;
  • max_solver_time_in_seconds:求解器的最大运行秒数;
  • num_threads:Ceres 求解时使用的线程数,在老版本的 Ceres 中还有一个针对线性求解器的线程设置选项 num_linear_solver_threads,最新版本的 Ceres 中该选项已被取消;虽然为了保证程序的兼容性,用户依旧可以设置该参数,但 Ceres 会自动忽略该参数,并没有实际意义;
  • minimizer_progress_to_stdout:是否向终端输出优化过程信息,该选型默认为 false,即根据 vlog 设置等级的不同,只会在向 STDERR 中输出错误信息;若设置为 true 则会向程序的运行终端输出优化过程的所有信息,根据所设置优化方法的不同,输出的参数亦不同。

在实际应用中,上述参数中对最终求解性能最大的就是线性方程求解器类型 linear_solver_type 和线程数 num_threads,如果发现最后的求解精度或求解效率不能满足要求,应首先尝试更换这两个参数。

Chap.II 一个简单的实例

基于上述先验知识,我们一起来用 Ceres 求解一个简单的问题 3

  • 问题:已知某二维曲线 y = e a x 2 + b x + c y=e^{ax^2+bx+c} y=eax2+bx+c 上 1000 个点的坐标(有噪声),求参数 a , b , c a, b, c a,b,c 的值。
  • 思路:首先构造代价函数结构体,然后生成在[0,1] 之间均匀分布的 x,把这些 x 代入待拟合曲线(我们就令 a = 3 , b = 2 , c = 1 a=3, b=2, c=1 a=3,b=2,c=1)式子中,得到 y_tmp,在加上方差为1的随机噪声,得到 y,如此便得到 1000 个 (x,y) 这样的数据点;用这些数据点来求参数 a , b , c a, b, c a,b,c 的值, a , b , c a, b, c a,b,c 3 , 2 , 1 3, 2, 1 3,2,1 越接近说明得到的结果越准确。
  • ps:上面我们得到数据点的过程说白了就是一个模拟观测的过程,实际处理问题过程中,数据点肯定是由观测得到的;我们事先并不知道 a , b , c a, b, c a,b,c 的值。

首先构造代价函数:

//构建代价函数结构体,abc为待优化参数,residual为残差。
struct CURVE_FITTING_COST
{CURVE_FITTING_COST(double x, double y) :_x(x), _y(y) {}template <typename T>bool operator()(const T* const abc, T* residual)const{// y = exp(ax^2 + bx + c)residual[0] = _y - ceres::exp(abc[0] * _x * _x + abc[1] * _x + abc[2]);return true;}const double _x, _y;
};

然后就是模拟观测生成数据点、构造优化问题、求解优化问题,函数如下:

int fitting_curve(double a, double b, double c)
{
#pragma region 生成数据,模拟观测//参数初始化设置,abc初始化为0,白噪声方差为1(使用 OpenCV 的随机数产生器)。RNG rng;double w = 1;double abc[3] = { 0,0,0 };//生成待拟合曲线的数据散点,储存在Vector里,x_data,y_data。vector<double> x_data, y_data;for (int i = 0; i < 1000; i++){double x = i / 1000.0;x_data.push_back(x);y_data.push_back(std::exp(a * x * x + b * x + c) + rng.gaussian(w));}
#pragma endregion#pragma region 构建优化问题//反复使用 AddResidualBlock 方法(逐个散点,反复1000次)//将每个点的残差累计求和构建最小二乘优化式//不使用核函数,待优化参数是 abcceres::Problem problem;for (int i = 0; i < 1000; i++){problem.AddResidualBlock(new ceres::AutoDiffCostFunction<CURVE_FITTING_COST, 1, 3>(new CURVE_FITTING_COST(x_data[i], y_data[i])),nullptr,abc);}
#pragma endregion#pragma region 求解优化问题//配置求解器并求解,输出结果ceres::Solver::Options options;options.linear_solver_type = ceres::DENSE_QR;options.minimizer_progress_to_stdout = true;ceres::Solver::Summary summary;ceres::Solve(options, &problem, &summary);cout << "a= " << abc[0] << endl;cout << "b= " << abc[1] << endl;cout << "c= " << abc[2] << endl;
#pragma endregionreturn 0;
}

结果如下:

iter      cost      cost_change  |gradient|   |step|    tr_ratio  tr_radius  ls_iter  iter_time  total_time0  5.277388e+06    0.00e+00    5.58e+04   0.00e+00   0.00e+00  1.00e+04        0    2.05e-04    3.98e-041  4.287886e+238   -4.29e+238    0.00e+00   7.39e+02  -8.79e+231  5.00e+03        1    3.15e-04    7.20e-032  1.094203e+238   -1.09e+238    0.00e+00   7.32e+02  -2.24e+231  1.25e+03        1    1.98e-04    7.68e-033  5.129910e+234   -5.13e+234    0.00e+00   6.96e+02  -1.05e+228  1.56e+02        1    1.43e-04    8.13e-034  1.420558e+215   -1.42e+215    0.00e+00   4.91e+02  -2.97e+208  9.77e+00        1    1.03e-04    8.65e-035  9.607928e+166   -9.61e+166    0.00e+00   1.85e+02  -2.23e+160  3.05e-01        1    9.73e-05    9.17e-036  7.192680e+60   -7.19e+60    0.00e+00   4.59e+01  -2.94e+54  4.77e-03        1    1.16e-04    9.62e-037  5.061060e+06    2.16e+05    2.68e+05   1.21e+00   2.52e+00  1.43e-02        1    2.55e-04    1.03e-028  4.342234e+06    7.19e+05    9.34e+05   8.84e-01   2.08e+00  4.29e-02        1    2.29e-04    1.09e-029  2.876001e+06    1.47e+06    2.06e+06   6.42e-01   1.66e+00  1.29e-01        1    2.41e-04    1.15e-0210  1.018645e+06    1.86e+06    2.58e+06   4.76e-01   1.38e+00  3.86e-01        1    2.55e-04    1.22e-0211  1.357731e+05    8.83e+05    1.30e+06   2.56e-01   1.13e+00  1.16e+00        1    3.85e-04    1.27e-0212  2.142986e+04    1.14e+05    2.71e+05   8.60e-02   1.03e+00  3.48e+00        1    2.86e-04    1.34e-0213  1.636436e+04    5.07e+03    5.94e+04   3.01e-02   1.01e+00  1.04e+01        1    2.83e-04    1.40e-0214  1.270381e+04    3.66e+03    3.96e+04   6.21e-02   9.96e-01  3.13e+01        1    3.35e-04    1.46e-0215  6.723500e+03    5.98e+03    2.68e+04   1.30e-01   9.89e-01  9.39e+01        1    2.57e-04    1.50e-0216  1.900795e+03    4.82e+03    1.24e+04   1.76e-01   9.90e-01  2.82e+02        1    3.14e-04    1.55e-0217  5.933860e+02    1.31e+03    3.45e+03   1.23e-01   9.96e-01  8.45e+02        1    2.72e-04    1.59e-0218  5.089437e+02    8.44e+01    3.46e+02   3.77e-02   1.00e+00  2.53e+03        1    2.34e-04    1.62e-0219  5.071157e+02    1.83e+00    4.47e+01   1.63e-02   1.00e+00  7.60e+03        1    2.30e-04    1.68e-0220  5.056467e+02    1.47e+00    3.03e+01   3.13e-02   1.00e+00  2.28e+04        1    2.50e-04    1.73e-0221  5.046313e+02    1.02e+00    1.23e+01   3.82e-02   1.00e+00  6.84e+04        1    2.77e-04    1.78e-0222  5.044403e+02    1.91e-01    2.23e+00   2.11e-02   9.99e-01  2.05e+05        1    2.33e-04    1.83e-0223  5.044338e+02    6.48e-03    1.38e-01   4.35e-03   9.98e-01  6.16e+05        1    2.32e-04    1.88e-02
a= 3.01325
b= 1.97599
c= 1.01113

麻雀虽小,五脏俱全。可以看到笔者将 a = 3 , b = 2 , c = 1 a=3, b=2, c=1 a=3,b=2,c=1 初值都赋为了 0,共迭代了 23 次,代价从 1 0 238 10^{238} 10238 量级降到了 1 0 2 10^{2} 102 量级,最后求出 a = 3.01325 , b = 1.97599 , c = 1.01113 a=3.01325, b=1.97599, c=1.01113 a=3.01325,b=1.97599,c=1.01113,与 a = 3 , b = 2 , c = 1 a=3, b=2, c=1 a=3,b=2,c=1 非常接近了。

值得注意的是,这个算例中的代码用到了 opencv,头文件引用可以参看 3,笔者将其简单封装了一下。


结合上面的算例,绘制 Ceres 解决优化问题的通用流程图如下所示:

Reference


  1. Ceres Solver 官方文档 ↩︎

  2. Ceres Solver:Google高效的非线性优化库 ↩︎

  3. Ceres 实战案例 ↩︎ ↩︎

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/116852.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

springboot+vue开发的视频弹幕网站动漫网站

springbootvue开发的视频弹幕网站动漫网站 演示视频 https://www.bilibili.com/video/BV1MC4y137Qk/?share_sourcecopy_web&vd_source11344bb73ef9b33550b8202d07ae139b 功能&#xff1a; 前台&#xff1a; 首页&#xff08;猜你喜欢视频推荐&#xff09;、轮播图、分类…

28、Flink 的SQL之DROP 、ALTER 、INSERT 、ANALYZE 语句

Flink 系列文章 1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接 13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的ta…

cookie过大导致request 400 错误研究

问&#xff1a;get请求太长报400的错误&#xff0c;如何解决&#xff1f;生成系统中经常偶现此问题 问&#xff1a;get请求URL的长度是谁限制的&#xff1f; 问&#xff1a;每一个cookie的value的大小还是同域下cookie的个数做的限制&#xff1f; 现象&#xff1a;出现 400 Ba…

【Python · PyTorch】数据基础

数据基础 1. 数据操作1.1 入门1.2 运算符1.3 广播机制1.4 索引和切片1.5 节省内存1.6 转化为其他Python对象 2. 数据预处理2.1 读取数据集2.2 处理缺失值2.3 转换为张量格式 本文介绍了PyTorch数据基础&#xff0c;Python版本3.9.0&#xff0c;代码于Jupyter Lab中运行&#xf…

人工智能之深度学习

1. 引言 时至今日&#xff0c;人们常用的计算机程序几乎都是软件开发人员从零编写的。 比如&#xff0c;现在开发人员要编写一个程序来管理网上商城。 经过思考&#xff0c;开发人员可能提出如下一个解决方案&#xff1a; 首先&#xff0c;用户通过Web浏览器&#xff08;或移动…

Elasticsearch的聚集统计,可以进行各种统计分析

说明&#xff1a; Elasticsearch不仅是一个大数据搜索引擎&#xff0c;也是一个大数据分析引擎。它的聚集(aggregation)统计的REST端点可用于实现与统计分析有关的功能。Elasticsearch提供的聚集分为三大类。 度量聚集(Metric aggregation)&#xff1a;度量聚集可以用于计算搜…

MyBatisPlus的使用【详细】

目录 Mybatis MybatisPlus特性 MybatisPlus的使用 常见注解 TableName TableId TableField MP常见配置 条件查询器Wrapper QueryWrapper UpdateWrapper LambdaQueryWrapper 自定义SQL Service接口 批量添加数据 MP的代码生成 MP静态工具 MP扩展功能之逻辑删除…

C++栈、队列、优先级队列模拟+仿函数

目录 一、栈的模拟和deque容器 1.deque 1.1deque结构 1.2deque优缺点 2.stack模拟 二、队列的模拟 三、priority_queue优先级队列 1.优先级队列模拟 2.添加仿函数 一、栈的模拟和deque容器 在之前&#xff0c;我们学过了C语言版本的栈&#xff0c;可以看这篇文章 栈和…

【刷题篇】笔试真题

文章目录 复数乘法一年中的第几天字符串相加字符串相乘 复数乘法 复数 可以用字符串表示&#xff0c;遵循 “实部虚部i” 的形式&#xff0c;并满足下述条件&#xff1a; 实部 是一个整数&#xff0c;取值范围是 [-100, 100] 虚部 也是一个整数&#xff0c;取值范围是 [-100, 1…

MySQL字段加密方案 安当加密

要通过安当KSP密钥管理系统实现MySQL数据库字段的加密&#xff0c;您可以按照以下步骤进行操作&#xff1a; 安装和配置安当KSP密钥管理系统&#xff1a;首先&#xff0c;您需要安装安当KSP密钥管理系统&#xff0c;并按照说明进行配置。确保您已经正确地设置了密钥管理系统的用…

C语言知识回顾

链接&#xff1a;https://pan.baidu.com/s/1CiB1Ydm4LTV6hZE8wx0VFw?pwdna4z 提取码&#xff1a;na4z --来自百度网盘超级会员V6的分享

判断过/欠拟合和学习率

一、说明 这篇博客是判断是否过拟合和学习率大小的问题&#xff0c;并没有给出解决办法。因为每个人的网络模型不一样&#xff0c;解决办法也不同。因此&#xff0c;如果需要解决办法的话&#xff0c;请参考其他博客。 二、拟合问题 1.train_loss 不断下降&#xff0c;test_los…

【Linux系统编程:信号】产生信号 | 阻塞信号 | 处理信号 | 可重入函数

写在前面 通过学习信号可以理解进程与进程的一个相对关系&#xff0c;还能理解操作系统与进程的关系。要注意的是进程间通信中的信号量与这里的信号没有半毛钱关系&#xff0c;就像老婆和老婆饼。 本文要点&#xff1a; 掌握 Linux 信号的基本概念掌握信号产生的一般方式理解…

Unity之ShaderGraph如何实现触电电流效果

前言 之前使用ASE做过一个电流效果的shader&#xff0c;今天我们通过ShaderGraph来实现一个电流效果。 效果如下&#xff1a; 关键节点 Simple Noise&#xff1a;根据输入UV生成简单噪声或Value噪声。生成的噪声的大小由输入Scale控制。 Power&#xff1a;返回输入A的结果…

统信UOS技术开放日:四大领域全面接入AI大模型能力

1024是程序员的节日&#xff0c;10月24日&#xff0c;统信举办2023统信UOS技术开放日暨deepin Meetup北京站活动&#xff0c;发布与大模型同行的UOS AI、浏览器AI助手、邮箱AI助手、自然语言全局搜索、畅写在线等多项最新AI技术与产品应用。 统信软件高级副总经理、CTO、深度社…

周记之马上要答辩了

“ 要变得温柔和强大&#xff0c;就算哪天突然孤身一人&#xff0c;也能平静地活下去&#xff0c;不至于崩溃。” 10.16 今天提前写完了一篇六级阅读&#xff0c;积累了一些词组&#xff1a; speak out against 公然反对&#xff0c;印象最深刻的就这个&#xff1b; 先了解…

opencv dnn模块 示例(19) 目标检测 object_detection 之 yolox

文章目录 0、前言1、网络介绍1.1、输入1.2、Backbone主干网络1.3、Neck1.4、Prediction预测输出1.4.1、Decoupled Head解耦头1.4.2、Anchor-Free1.4.3、标签分配1.4.4、Loss计算 1.5、Yolox-s、l、m、x系列1.6、轻量级网络研究1.6.1、轻量级网络1.6.2、数据增强的优缺点 1.7、Y…

app专项测试:app弱网测试

弱网测试背景 用户体验 APP使用过程中&#xff0c;弱网的高延迟和高丢包&#xff0c;在实时性要求非常高的场景&#xff0c;容易伤害用户体验 非正常情况下&#xff0c;Bug出现几率会增加 在解决日常支持需求中&#xff0c;经常出现一些用户反馈的Bug无法复现&#xff0c;有…

库的操作【MySQL】

文章目录 创建数据库字符集和校验规则概念分类例子 查看数据库显示创建语句修改数据库删除数据库备份和恢复备份恢复 创建数据库 SQL: CREATE DATABASE [IF NOT EXISTS] db_name [[DEFAULT] CHARSETcharset_name] [[DEFAULT] COLLATEcollation_name];其中&#xff0c;大写的单…

xhadmin多应用Saas框架之超级SEO应用介绍

xhadmin是什么&#xff1f; xhadmin 是一套基于最新技术的研发的多应用 Saas 框架&#xff0c;支持在线升级和安装模块及模板&#xff0c;拥有良好的开发框架、成熟稳定的技术解决方案、提供丰富的扩展功能。为开发者赋能&#xff0c;助力企业发展、国家富强&#xff0c;致力于…