tuned-adm 性能调优分析

徐小东 (a.k.a toy)

(xxdlhy@gmail.com)

2017.04

tuned-adm 简介

RHEL 自带的性能调优工具，通过针对特定应用场景提供配置 (profile) 来改善系统性能

性能调优方向

CPU: governor、energy_perf_bias、min_perf_pct

性能调优方向

CPU: governor、energy_perf_bias、min_perf_pct

内存: transparent_hugepages、vm.{dirty_ratio,dirty_background_ratio,swappiness}

性能调优方向

CPU: governor、energy_perf_bias、min_perf_pct

内存: transparent_hugepages、vm.{dirty_ratio,dirty_background_ratio,swappiness}

磁盘: readahead、scheduler、kernel.sched_{min_granularity_ns,wakeup_granularity_ns,migration_cost_ns}

性能调优方向

CPU: governor、energy_perf_bias、min_perf_pct

内存: transparent_hugepages、vm.{dirty_ratio,dirty_background_ratio,swappiness}

磁盘: readahead、scheduler、kernel.sched_{min_granularity_ns,wakeup_granularity_ns,migration_cost_ns}

文件系统 (ext4): relatime/noatime、barrier/nobarrier、discard/nodiscard

性能调优方向

CPU: governor、energy_perf_bias、min_perf_pct

内存: transparent_hugepages、vm.{dirty_ratio,dirty_background_ratio,swappiness}

磁盘: readahead、scheduler、kernel.sched_{min_granularity_ns,wakeup_granularity_ns,migration_cost_ns}

文件系统 (ext4): relatime/noatime、barrier/nobarrier、discard/nodiscard

网络: net.ipv4.{tcp_rmem,tcp_wmem,udp_mem}、net.core.busy_{read,poll}、net.ipv4.tcp_fastopen

性能调优场景

throughput-performance (侧重于吞吐量)

性能调优场景

throughput-performance (侧重于吞吐量)

latency-performance (侧重于低延迟)

性能调优场景

throughput-performance (侧重于吞吐量)

latency-performance (侧重于低延迟)

network-throughput (侧重于网络吞吐量)

性能调优场景

throughput-performance (侧重于吞吐量)

latency-performance (侧重于低延迟)

network-throughput (侧重于网络吞吐量)

network-latency (侧重于更低的网络延迟)

性能调优场景

throughput-performance (侧重于吞吐量)

latency-performance (侧重于低延迟)

network-throughput (侧重于网络吞吐量)

network-latency (侧重于更低的网络延迟)

virtual-host (侧重于优化虚拟主机)

性能调优场景

throughput-performance (侧重于吞吐量)

latency-performance (侧重于低延迟)

network-throughput (侧重于网络吞吐量)

network-latency (侧重于更低的网络延迟)

virtual-host (侧重于优化虚拟主机)

virtual-guest (侧重于优化虚拟客户机)

CPU: governor

CPU 时钟频率的管理模式

performance (性能)：强制 CPU 尽可能使用最高的时钟频率

CPU: governor

CPU 时钟频率的管理模式

performance (性能)：强制 CPU 尽可能使用最高的时钟频率

powersave (省电)：强制 CPU 尽可能使用最低的时钟频率

CPU: governor

CPU 时钟频率的管理模式

performance (性能)：强制 CPU 尽可能使用最高的时钟频率

powersave (省电)：强制 CPU 尽可能使用最低的时钟频率

ondemand (按需)：系统负载高时，CPU 使用最高的时钟频率；系统空闲时，CPU 使用最低的时钟频率

CPU: governor

CPU 时钟频率的管理模式

performance (性能)：强制 CPU 尽可能使用最高的时钟频率

powersave (省电)：强制 CPU 尽可能使用最低的时钟频率

ondemand (按需)：系统负载高时，CPU 使用最高的时钟频率；系统空闲时，CPU 使用最低的时钟频率

userspace (用户态)：允许用户或用户态程序自行设置时钟频率

CPU: governor

CPU 时钟频率的管理模式

performance (性能)：强制 CPU 尽可能使用最高的时钟频率

powersave (省电)：强制 CPU 尽可能使用最低的时钟频率

ondemand (按需)：系统负载高时，CPU 使用最高的时钟频率；系统空闲时，CPU 使用最低的时钟频率

userspace (用户态)：允许用户或用户态程序自行设置时钟频率

conservative (保守)：类似 ondemand，区别是它根据是否适合负载来调整时钟频率，而不是简单的在最高和最低之间选择

查询 governor (目前支持)

$ cpupower --cpu all frequency-info --governors

analyzing CPU 0:

available cpufreq governors: performance powersave

analyzing CPU 1:

available cpufreq governors: performance powersave

analyzing CPU 2:

available cpufreq governors: performance powersave

analyzing CPU 3:

available cpufreq governors: performance powersave

查询 governor (正在使用)

$ cpupower --cpu all frequency-info --policy

analyzing CPU 0:

current policy: frequency should be within 400 MHz and 3.20 GHz.

The governor "powersave" may decide which speed to use

within this range.

analyzing CPU 1:

current policy: frequency should be within 400 MHz and 3.20 GHz.

The governor "powersave" may decide which speed to use

within this range.

analyzing CPU 2:

current policy: frequency should be within 400 MHz and 3.20 GHz.

The governor "powersave" may decide which speed to use

within this range.

analyzing CPU 3:

current policy: frequency should be within 400 MHz and 3.20 GHz.

The governor "powersave" may decide which speed to use

within this range.

设置 governor

方法一：

$ sudo cpupower frequency-set --governor performance

方法二：

/sys/devices/system/cpu/cpu*/cpufreq/scaling_available_governors

/sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

CPU: energy_perf_bias

Energy Performance Bias(能耗/性能偏差)

performance(性能)：处理器不为了节省能源而牺牲性能

CPU: energy_perf_bias

Energy Performance Bias(能耗/性能偏差)

performance(性能)：处理器不为了节省能源而牺牲性能

normal(正常)：处理器为了可能明显的节省能源而容许牺牲较小的性能

CPU: energy_perf_bias

Energy Performance Bias(能耗/性能偏差)

performance(性能)：处理器不为了节省能源而牺牲性能

normal(正常)：处理器为了可能明显的节省能源而容许牺牲较小的性能

powersave(省电)：处理器为了最有效率的节省能源而接受可能明显的性能减少

查询 energy_perf_bias

$ sudo x86_energy_perf_policy -r

cpu0: 0x0000000000000006 # 代表 normal

cpu1: 0x0000000000000006

cpu2: 0x0000000000000006

cpu3: 0x0000000000000006

NOTE:

{kernel-source}/tools/power/x86/x86_energy_perf_policy

设置 energy_perf_bias

$ sudo x86_energy_perf_policy performance

cpu0 msr0x1b0 0x0000000000000006 -> 0x0000000000000000

cpu1 msr0x1b0 0x0000000000000006 -> 0x0000000000000000

cpu2 msr0x1b0 0x0000000000000006 -> 0x0000000000000000

cpu3 msr0x1b0 0x0000000000000006 -> 0x0000000000000000

CPU: min_perf_pct

Intel 处理器 P-State(Performance States，性能状态) 的最小值，指最大化性能级别的百分比

max_perf_pct：P-State 的最大值，指可用性能的百分比

num_pstates：硬件支持的 P-State 数

查询 min_perf_pct

/sys/devices/system/cpu/intel_pstate

内存: transparent_hugepages

Transparent Huge Pages (透明巨页)，内核自动分配巨页给进程

always：尝试为任意进程分配巨页

内存: transparent_hugepages

Transparent Huge Pages (透明巨页)，内核自动分配巨页给进程

always：尝试为任意进程分配巨页

madvise：利用 madvise() 系统调用只为个别进程分配巨页

内存: transparent_hugepages

Transparent Huge Pages (透明巨页)，内核自动分配巨页给进程

always：尝试为任意进程分配巨页

madvise：利用 madvise() 系统调用只为个别进程分配巨页

never：禁用透明巨页

查询/设置 transparent_hugepages

cat /sys/kernel/mm/transparent_hugepage/enabled # 查看

echo "always" > /sys/kernel/mm/transparent_hugepage/enabled # 设置

内存: vm.*

vm.dirty_background_ratio: 设置 dirty pages 开始后台回写时的百分比

vm.dirty_ratio: 设置 dirty pages 开始回写时的百分比

vm.swappiness: 控制从物理内存换出到交换空间的相对权重，取值为 0 到

100。更低的值导致避免交换，而更高的值导致尝试使用交换空间

磁盘: readahead

读取文件列表的内容到内存，以便当实际需要时可从缓存读取

/sys/block/sda/queue/read_ahead_kb

NOTE: 替换块设备 sda

磁盘: scheduler

I/O 调度器

cfq：Completely Fair Queueing(完全公平队列)调度器，它将进程分为实时、尽其所能和空闲三个独立的类别。实时类别的进程先于尽其所能类别的进程执行，而尽其所能类别的进程总是在空闲类别的进程之前执行。默认情况下分配到尽其所能类别的进程

deadline：尝试为 I/O 请求提供有保障的延迟。适用于大多数情况，尤其是读取操作比写入操作更频繁的请求

noop：执行简单的 FIFO(先进先出)调度算法，并实现请求合并。适合使用快速存储的 CPU 计算密集型系统

blk-mq：即 Multi-Queue Block IO Queuing Mechanism(多队列块 IO 队列机制)，它利用具有多核的 CPU 来映射 I/O 队列到多队列。与传统的 I/O 调度器相比，通过多线程及多个 CPU 核心来分发任务，从而能够加速读写操作。该调度器适合高性能的闪存设备(如 PCIe SSD)

查看/设置 scheduler

cat /sys/block/sda/queue/scheduler # 查看当前使用的 I/O 调度器

echo "deadline" > /sys/block/sda/queue/scheduler # 临时将 I/O 调度器设为 deadline

追加 elevator=deadline 内核参数 # 永久设置

scsi_mod.use_blk_mq=y dm_mod.use_blk_mq=y # 注意启用 blk-mq 后，将禁用所有别的 I/O 调度器

NOTE: 替换块设备 sda

kernel.sched_*

kernel.sched_min_granularity_ns: 针对 CPU 计算密集型任务设置调度器的最小抢占粒度

kernel.sched_wakeup_granularity_ns: 设置调度器的唤醒粒度，这将延迟抢占效应，并减少过度调度

kernel.sched_migration_cost_ns: 调度器认为迁移的进程“cache hot”因而更少可能被重新迁移的总时间

文件系统 (ext4)

挂载参数

relatime/noatime: 对于如何更新 inode 访问时间的策略

barrier=<0|1>(barrier/nobarrier): 该选项开启或禁用在 jbd 代码中使用写入 barrier

discard/nodiscard: 控制是否执行 discard/TRIM 命令，对 SSD 设备有用

网络: net.ipv4.{tcp_rmem,tcp_wmem,udp_mem}

tcp_rmem：用于 autotuning 函数，设置 TCP 接收缓冲的最小、默认及最大字节数

tcp_wmen：用于 autotuning 函数，设置 TCP 发送缓冲的最小、默认及最大字节数

udp_mem：设置 UDP 队列的页数

网络: net.core.busy_{read,poll}

net.core.busy_read: 针对 socket 读取设置低延迟 busy poll 超时

net.core.busy_poll: 针对 poll 和 select 设置低延迟 busy poll 超时

net.ipv4.tcp_fastopen: TCP 快速打开(TFO)

common

governor=performance

energy_perf_bias=performance

min_perf_pct=100

transparent_hugepages=always *

readahead=>4096

scheduler=deadline *

* 视情况而定

throughput-performance

kernel.sched_min_granularity_ns = 10000000

kernel.sched_wakeup_granularity_ns = 15000000

vm.dirty_ratio = 40

vm.dirty_background_ratio = 10

vm.swappiness = 10

latency-performance

kernel.sched_min_granularity_ns = 10000000

kernel.sched_migration_cost_ns = 5000000

vm.dirty_ratio = 10

vm.dirty_background_ratio = 3

vm.swappiness = 10

network-throughput

在 throughput-performance 基础上增加网络调优

kernel.sched_min_granularity_ns = 10000000

kernel.sched_wakeup_granularity_ns = 15000000

vm.dirty_ratio = 40

vm.dirty_background_ratio = 10

vm.swappiness = 10

net.ipv4.tcp_rmem = 4096 87380 16777216

net.ipv4.tcp_wmem = 4096 16384 16777216

net.ipv4.udp_mem = 3145728 4194304 16777216

network-latency

在 latency-performance 基础上增加网络调优

transparent_hugepages=never

kernel.sched_min_granularity_ns = 10000000

kernel.sched_migration_cost_ns = 5000000

vm.dirty_ratio = 10

vm.dirty_background_ratio = 3

vm.swappiness = 10

net.core.busy_read = 50

net.core.busy_poll = 50

net.ipv4.tcp_fastopen = 3

virtual-host

kernel.sched_min_granularity_ns = 10000000

kernel.sched_wakeup_granularity_ns = 15000000

kernel.sched_migration_cost_ns = 5000000

vm.dirty_ratio = 40

vm.dirty_background_ratio = 5

vm.swappiness = 10

virtual-guest

kernel.sched_min_granularity_ns = 10000000

kernel.sched_wakeup_granularity_ns = 15000000

vm.dirty_ratio = 30

vm.dirty_background_ratio = 10

vm.swappiness = 30

总结

scheduler: 相比 cfq 的表现，deadline 无论在读还是在写上都更有优势。对于具有固态存储设备的场景而言，blk-mq 值得一试

kernel.sched_min_granularity_ns: 比默认值调得更大一些，推荐设为 10000000(1 毫秒)，从而稍微延迟抢占，具有更好的性能表现。该参数值适合上述所有场景

kernel.sched_wakeup_granularity_ns: 比默认值调大，从而避免过度调度，推荐设为 15000000(1.5 毫秒)。仅在注重吞吐量的情况下设置该参数，低延迟的情况不要设置

kernel.sched_migration_cost_ns: 比默认值调大，从而减少任务的重新迁移，推荐设为 5000000(0.5 毫秒)。仅在注重低延迟的情况下设置该参数，高吞吐量的情况不要设置

总结 (续)

vm.dirty_ratio: 高吞吐量的情况一般设置为 40，低延迟的情况通常设置为 10

vm.dirty_background_ratio: 高吞吐量的情况可设为 10，低延迟的情况可设为 3

vm.swappiness: 一般设为 10，从而避免过多 swap 交换。仅在作为虚拟客户机的情况下可设高一些(30)

总结 (续)

毫无疑问 noatime 应该作为默认挂载参数，nobarrier 在写上的性能优势十分明显，discard 适合 SSD 的场合

noatime

nobarrier

discard

总结 (续)

仅在注重网络吞吐量的情况下调节

net.ipv4.tcp_rmem

net.ipv4.tcp_wmem

net.ipv4.udp_mem

仅在注重网络低延迟的情况下调节

net.core.busy_read

net.core.busy_poll

net.ipv4.tcp_fastopen