Linux多核CPU启动内核调试（详细）总结

- 一、综述
- 二、调试流程简介
- - 2.1 大体流程
  - 2.2 spin-table简介
- 三、uboot和内核配置
- - 3.1 uboot配置
  - 3.2 timer配置
  - 3.3 GIC中断配置
  - 3.4 驱动确认
  - 3.5 SMP配置
  - 3.6 内核config配置
- 四、其他相关链接
- - 1、[交叉编译linux内核总结](https://blog.csdn.net/Luckiers/article/details/124531266)
  - 2、[uboot方式启动硬盘手动制作的根文件系统方案](https://blog.csdn.net/Luckiers/article/details/122476023)
  - 3、[Linux下设备树dts内容总结](https://blog.csdn.net/Luckiers/article/details/124772722)

一、综述

本文主要工作中围绕ARM A55的EVB版多核启动问题进行分析，涉及到timer、gic中断模块，详细整理了整个过程。
目标机器：ARM A55 8核CPU
交叉编译环境：Ubuntu 22.04.2 LTS
内核版本：5.15.79

二、调试流程简介

2.1 大体流程

本文重点讲述内核调试过程，uboot部分讲述相关配置，本次使用spin-table方式启动多核、涉及ARM通用时钟模块，GIC500中断，整体过程如下：
1、uboot编译；
2、内核相关配置打开；
3、内核相关模块驱动确认；
4、内核编译；
5、linux系统定制；
在这里插入图片描述

2.2 spin-table简介

spin-table方式的多核启动方式，顾名思义在于自旋，主处理器和从处理器上电都会启动，主处理器先启动，从处理器在spin_table_secondary_jump处wfe睡眠，主处理器通过修改设备树的cpu节点的cpu-release-addr属性为spin_table_cpu_release_addr，这是从处理器的释放地址所在的地方，主处理器进入内核后，会通过smp_prepare_cpus函数调用spin-table 对应的cpu操作集的cpu_prepare方法从而在smp_spin_table_cpu_prepare函数中设置从处理器的释放地址为secondary_holding_pen这个内核函数，然后通过sev指令唤醒从处理器，从处理器继续从secondary_holding_pen开始执行（从处理器来到了内核的世界），发现secondary_holding_pen_release不是自己的处理编号，然后通过wfe继续睡眠，当主处理器完成了大多数的内核组件的初始化之后，调用smp_init来来开始真正的启动从处理器，最终调用spin-table 对应的cpu操作集的cpu_boot方法从而在smp_spin_table_cpu_boot将需要启动的处理器的编号写入secondary_holding_pen_release中，然后再次sev指令唤醒从处理器，从处理器得以继续执行（设置自己异常向量表，初始化mmu等），最终在idle线程中执行wfi睡眠。其他从处理器也是同样的方式启动起来，同样最后进入各种idle进程执行wfi睡眠，主处理器继续往下进行内核初始化，直到启动init进程，后面多个处理器都被启动起来，都可以调度进程，多进程还会被均衡到多核。

三、uboot和内核配置

3.1 uboot配置

1、配置时钟频率，影响uboot中uart时钟和启动linux内核timer时钟
#define SCFG_SYS_CLOCK 100000000
在这里插入图片描述

#define COUNTER_FREQUENCY 200000000 // 200 MHz generic timer clock
在这里插入图片描述

2、设置CPU_RELEASE_ADDR地址
该地址为DDR中一段地址即可，不可与uboot、内核加载地址重合，建议放在内存的后面部分
/* #define CPU_RELEASE_ADDR infa_slave_cores_halt */
#define CPU_RELEASE_ADDR 0x9b0000000
uboot在启动后将该值存放在X1寄存器中，后续传给内核。

该地址的作用：
芯片上电后primary cpu开始执行启动流程，而secondary cpu则将自身设置为WFE睡眠状态，并且为内核准备了一块内存，用于填写secondary cpu的入口地址。
uboot负责将这块内存的地址写入devicetree中，当内核初始化完成，需要启动secondary cpu时，就将其内核入口地址写到那块内存中，然后唤醒cpu。
secondary cpu被唤醒后，检查该内存的内容，确认内核已经向其写入了启动地址，就跳转到该地址执行启动流程。
在这里插入图片描述
注：因为该芯片为公司基于ARM自研的芯片，部分配置进行了定制，配置信息可参考相应修改。

3、config配置

CONFIG_ARMV8_MULTIENTRY=y

3.2 timer配置

1、修改dts

		timer {compatible = "arm,armv8-timer";interrupts = <GIC_PPI 13 IRQ_TYPE_LEVEL_HIGH>,<GIC_PPI 14 IRQ_TYPE_LEVEL_HIGH>,<GIC_PPI 11 IRQ_TYPE_LEVEL_HIGH>,<GIC_PPI 10 IRQ_TYPE_LEVEL_HIGH>;};

2、确定驱动
该timer驱动为ARM通用驱动模块，中断号一般都是固定的
在这里插入图片描述

3.3 GIC中断配置

1、dts配置

		gic: interrupt-controller@3A000000 {compatible = "arm,gic-v3";#interrupt-cells = <3>;interrupt-controller;reg = <0x0 0x3A000000 0x0 0x020000>,  /* GICD */<0x0 0x3A100000 0x0 0x100000>;  /* GICR */#address-cells = <2>;#size-cells = <2>;ranges;gic_its: gic-its@3A400000{compatible = "arm,gic-v3-its";reg = <0x0 0x3A020000 0x0 0x10000>;socionext,synquacer-pre-its = <0x3A400000 0x400000>;msi-controller;#msi-cells = <1>;};

注：该gic中断对应的基地址与具体芯片有关。

3.4 驱动确认

在这里插入图片描述

3.5 SMP配置

1、修改dts新增多核CPU配置

主要是cpu-release-addr = <0x9 0xb0000000>要与uboot下设置的值一致，同时reg = <0x0 0x0>;中通过MPIDR方式记录cpu核的id，本块板子是用MPIDR[23:8]进行记录，所以cpu1是偏移8bit从0x100开始的。
在这里插入图片描述
dts内容如下：

	cpus {#address-cells = <2>;#size-cells    = <0>;cpu0: cpu@0 {device_type = "cpu";compatible = "arm,armv8";reg = <0x0 0x0>;enable-method = "spin-table";cpu-release-addr = <0x9 0xb0000000>;next-level-cache = <&l2_cluster0>;clock-frequency = <1600000000>;};cpu1: cpu@1 {device_type = "cpu";compatible = "arm,armv8";reg = <0x0 0x100>; /*should be 0x100,0x200.....MPIDR[23:8] is ID*/enable-method = "spin-table";cpu-release-addr = <0x9 0xb0000000>; /*just used to save Secondary CPU Start Addr*/next-level-cache = <&l2_cluster0>;clock-frequency = <1600000000>;};cpu2: cpu@2 {device_type = "cpu";compatible = "arm,armv8";reg = <0x0 0x200>; /*should be 0x100,0x200.....MPIDR[23:8] is ID*/enable-method = "spin-table";cpu-release-addr = <0x9 0xb0000000>; /*just used to save Secondary CPU Start Addr*/next-level-cache = <&l2_cluster0>;clock-frequency = <1600000000>;};cpu3: cpu@3 {device_type = "cpu";compatible = "arm,armv8";reg = <0x0 0x300>;enable-method = "spin-table";cpu-release-addr = <0x9 0xb0000000>;next-level-cache = <&l2_cluster0>;clock-frequency = <1600000000>;};cpu4: cpu@4 {device_type = "cpu";compatible = "arm,armv8";reg = <0x0 0x400>; /*should be 0x100,0x200.....MPIDR[23:8] is ID*/enable-method = "spin-table";cpu-release-addr = <0x9 0xb0000000>; /*just used to save Secondary CPU Start Addr*/next-level-cache = <&l2_cluster0>;clock-frequency = <1600000000>;};cpu5: cpu@5 {device_type = "cpu";compatible = "arm,armv8";reg = <0x0 0x500>; /*should be 0x100,0x200.....MPIDR[23:8] is ID*/enable-method = "spin-table";cpu-release-addr = <0x9 0xb0000000>; /*just used to save Secondary CPU Start Addr*/next-level-cache = <&l2_cluster0>;clock-frequency = <1600000000>;};cpu6: cpu@6 {device_type = "cpu";compatible = "arm,armv8";reg = <0x0 0x600>; /*should be 0x100,0x200.....MPIDR[23:8] is ID*/enable-method = "spin-table";cpu-release-addr = <0x9 0xb0000000>; /*just used to save Secondary CPU Start Addr*/next-level-cache = <&l2_cluster0>;clock-frequency = <1600000000>;};cpu7: cpu@7 {device_type = "cpu";compatible = "arm,armv8";reg = <0x0 0x700>; /*should be 0x100,0x200.....MPIDR[23:8] is ID*/enable-method = "spin-table";cpu-release-addr = <0x9 0xb0000000>; /*just used to save Secondary CPU Start Addr*/next-level-cache = <&l2_cluster0>;clock-frequency = <1600000000>;};