之前的内核调试,我觉得应该再加上下面的东西,只有好好把下面的几个问题研究透了,你可能才是一个真正的内核高手,或者说,你还不是一个高手,就是一个内核的普通工程师,这个是我和Z总聊天说的,我当时问他,你对Linux内核熟悉吗?Z总给我说了一句,还可以吧。然后,这些内容都是他给我总结的,这些内容,我觉得,没有经过多年的项目捶打,光靠看书看报,百度搜狗出来是没有用的,现在总结出来,希望给正在一线的同学们一些帮助和建议。
性能优化方式总结:
多核多队列并行处理
将多个任务分发绑定在不同核上,减少任务调度切换上下文的开销,提升了cache命中率,并行处理提升性能
将不同任务间的资源分离,不要共享,比如每个核有单独的首发队列,避免竞争
负载均衡,设备端处理后的数据散列到不同的CPU收发队列中,均衡各core的负载
DMA
使用设备的DMA引擎,降低CPU占用率,提升性能
负载均衡,CPU给不同的DMA引擎收发队列散列差不多的数据,保证各个DMA引擎负载均衡
中断聚合
保证时延的情况下将设备的多个中断汇聚成1个中断,在一次中断函数中处理,减少中断抢占带来的开销
中断中处理读写BD时,尽量按照cache lin对齐的方式,比如一个BD是16字节,cacheline是 64字节,那就一次处理4个BD,提升cache命中率
设置中断亲和性,是中断处理绑定在指定的core上,可以通过cat /proc/interrupts命令查看中断在各个CPU上的分布
降低TLB miss
可以采用huge page,采用huge page的虚拟地址和物理地址的转换映射条目就比较少,而且TLB中有专门的条目保存huge page映射,保证在huge page的命中率,减少了进程页表的频繁读取,提升了性能
减少内存拷贝
用户态驱动用mmap将物理地址映射到用户态虚拟地址,减少内核态与用户态数据的拷贝
提升cache命中率
代码中少用静态变量和全局变量,因为他们保存在数据段和BSS段,不在栈内(栈使用频繁,一般都会cache命中),频繁的访问静态变量和全局变量就需要多次对cache换入换出,影响性能。
cache line
数据结构cache line对齐,因为CPU每次按照cache line大小从内存取数据,不对齐就需要取2次,对齐就只要取1次
多核共享的数据,尽量将只读数据和可写数据分开,因为某个core写数据后与其他core的cache中数据不一致了,就需要将数据刷入内存,其他core从内存读,才能保证数据一致性
分支预测
代码中if else分支用likely/unlikely这样的宏,这样编译时就把likely分支和前面的代码靠近,提升指令cache的命中率同时减少跳转指令的开销。