【 CDN 最佳实践】CDN 命中率优化思路

摘要: CDN 在静态资源的加速场景中是将静态资源缓存在距离客户端较近的CDN 节点上,然后客户端访问该资源即可通过较短的链路直接从缓存中获取资源,而避免再通过较长的链路回源获取静态资源。因此 CDN的缓存命中率的高低直接影响客户体验,而保证较高的命中率也成为了站长的核心命题。

点此查看原文:https://yq.aliyun.com/articles/288084?spm=a2c41.11181499.0.0

CDN 在静态资源的加速场景中是将静态资源缓存在距离客户端较近的CDN 节点上,然后客户端访问该资源即可通过较短的链路直接从缓存中获取资源,而避免再通过较长的链路回源获取静态资源。因此 CDN的缓存命中率的高低直接影响客户体验,而保证较高的命中率也成为了站长的核心命题。在本文中我们就一起探讨 CDN 缓存命中率的概念、影响因素以及优化策略。

1、缓存命中率的概念

CDN 的缓存命中率包括两种:字节缓存命中率和请求缓存命中率。其中字节缓存命中率是指 CDN 缓存命中 Response 的字节数除以 CDN所有请求 Response 的字节数。而请求缓存命中率是指 CDN 缓存命中的请求的个数除以 CDN 所有的请求数。
从上面的描述中可以查看到字节缓存命中率可以表征回源流量的大小,回源流量越高那么源站的流出流量也就越大,这样对于源站的带宽资源以及其他的负载都会越大,因此回源流量代表了源站服务器接收到的负载压力。而我们在业务使用中也主要关心字节缓存命中率。
查看缓存命中率主要包括控制台、 CDN 日志和 API/SDK 查看两种方式。现在 CDN 控制台上提供的命中率监控均是字节缓存命中率,如图1 中所示即是控制台监控信息中命中率的详情。

图片描述 图 1. 控制台命中率监控示意图

在CDN的请求日志中,CDN记录了所有的CDN请求的缓存命中状态,详细的日志格式请参考CDN日志格式,其中“cache命中状态”字段为HIT即表示命中,而MISS即表示未命中的状态。这里特别需要注意的一点是这里的命中状态仅表征CDN的L1节点的命中状态,当CDN的L1节点未命中缓存但是L2节点命中缓存的情况下这里仍然会显示MISS。
而API/SDK的方式CDN分别提供了DescribeDomainHitRateData和DescribeDomainReqHitRateData两个接口分别查询的CDN的字节缓存命中率和请求缓存命中率。该接口是可以查看到历史90天内的所有的数据。

2、影响因素及优化建议

CDN的缓存规则同时按照CDN上的缓存规则、源站配置的Cache-Control等response头、文件类型等综合考虑,具体的缓存规则解读建议查阅【 CDN 最佳实践】CDN 缓存策略解读和配置策略。那么按照上述的缓存规则会影响命中率的因素主要有以下:

1. 文件类型是否适合于在CDN上缓存。

CDN在业务架构中负责加速静态资源,因此如果动态资源也经过CDN的话是会导致CDN的命中率下降的。CDN判断动态文件和静态文件的标准是该文件的response头中是否带有Etag头和Last-modified头。这两个头在HTTP协议中分别通过文件内容和文件最后修改时间表征文件的修改情况。

因此建议用户使用过程中优化点:
网站架构是否适合于动静分离。动静分离是常见的网站优化的策略,主要是通过将静态资源和动态资源分离成两个站点提供服务。静态资源由于长时间不会发生变化,因此可以使用CDN加速;而动态资源因为需要实时获取源站的资源并且可能源站加载需要一段时间(CDN回源获取数据有严格的的回源超时时间,动态文件响应较慢可能导致CDN回源直接抛出504错误)而直接解析到源站服务器拉取资源。

静态文件文件是否在response头中返回Etag头和Last-modified头。在CDN上没有配置缓存规则的情况下,静态文件没有返回Etag头和Last-modified头也同样会导致该静态资源不在CDN节点上缓存。如图2中所示,x-swift-cachetime头即表示该文件在CDN上的缓存时间(单位是秒)。该文件其实为静态文件,但是由于response头中没有Etag和Last-modified导致CDN并不会该文件进行缓存。

图片描述
图 2. CDN 缓存时间示意图

配置合理的源站缓存规则。源站服务器可以针对于资源配置其缓存规则。当源站配置了以下response头时CDN将不会对该文件进行缓存:
1)有s-maxage=0,no-cache,no-store,private其中一种
2)如果没有s-maxage或者s-maxage=0,并且有max-age=0.
3)带Pragma: no-cache

配置缓存规则。上面所指的没有包括Etag和Last-modified头而导致CDN缓存时间为0的场景是CDN控制台上没有配置缓存配置时会出现这种情况,因此如果用户的静态资源确实无法配置上述两个response头的话是可以考虑针对该文件配置缓存规则,这样该文件即可在CDN上按照缓存规则进行缓存。

2. CDN的刷新和预热功能
CDN提供了刷新缓存和预热缓存两个操作。两个操作都会对缓存命中率有影响,但是两个操作的影响是完全相反的。因此用户是需要了解两个操作的概念以及使用场景。
刷新功能是指将特定URL或者目录下的所有历史缓存的内容清除掉,该操作常用于源站进行同名更新后导致CDN缓存内容已为历史脏数据,刷新后将使URL下次访问时直接回源。因此会导致命中率下降。

预热功能是将URL提前上传到CDN的L2节点上,这样下次访问的时候就不需要从源站再拉取资源了,因此预热是没有直接导致L1的命中率升高,但提升了CDN的真实命中率。

因此建议用户使用过程中优化点:
慎重使用刷新功能。刷新功能肯定是会导致命中率出现下降的,特别是对于加速域名根目录的刷新任务会导致加速域名下的所有缓存均无效,势必会导致后续出现大量回源请求导致源站服务器负载升高。因此请用户在实际线上环境特别是高峰期进行刷新操作。另外建议客户尽量避免执行静态资源同名更新,可以尝试通过添加queryString的方式进行版本更替(例如url中带有?version=1.1等方式)。

业务高峰前预热热门资源。预热可以提前将资源预热到CDN的L2节点,避免业务高峰对于源站产生压力,也同时保证了CDN的真实命中率。但是预热的请求次数每天客户均是有条数限制的,因此建议客户可以根据历史的热门资源统计得要待预热的资源URL进行操作。

3. CDN缓存规则是否合理

CDN上是可以针对于目录或者后缀名设置缓存配置的。而在CDN和源站同时配置缓存规则时是会以CDN上的缓存规则优先的(除非源站设置了不允许缓存的规则),因此建议用户在CDN控制台中设置合理的缓存规则,避免走默认的缓存规则导致频繁回源(默认缓存经常缓存3600秒过期)。另外特别注意CDN控制台上配置的缓存时间为0秒时该资源并不是客户端直接请求到源站的,而是客户端请求仍然会先到CDN节点,然后由CDN节点触发回源请求到源站获取资源,并且流出流量仍然会计算CDN的流出流量。

4. 可变参数导致命中率下降
客户请求的URL中常带有queryString,例如上面所说的请求URL中为了区分版本带上?version=1.1等参数或者CDN回源到私有读写类型的bucket时会带上OSS私有访问需要的OSSAccessKeyId、Expires和Signature参数。在CDN处理的过程中默认的处理逻辑是对于同样的URL而带有不同queryString的请求会认为完全不同的请求,因此缓存也对应的是不同份,这就会导致如果queryString参数发生变化时会导致重新回源,因此命中率会出现下降的情况。

因此建议用户使用过程中优化点:
业务系统允许的情况下使用“过滤参数”功能。开启过滤参数功能后,CDN接收到queryString的URL替换成没有带参数的URL。例如请求URL为http://www.aliyun.com/1.jpg?version=1,开启过滤参数后将替换URL为http://www.aliyun.com/1.jpg,这样讲查看是否存在有http://www.aliyun.com/1.jpg的缓存,如果有的话将直接返回客户端;如果没有缓存的话就会按照http://www.aliyun.com/1.jpg请求回源站。因此业务系统允许queryString不敏感的情况下可以开启该功能。但是对于一些系统需要queryString进行传参或者设置跳转逻辑的话就不能开启该功能。

对于CDN加速OSS的场景建议使用“私有bucket回源”功能。当OSS设置为私有时不可以开启过滤参数并且当签名querystring发生变化时还会影响CDN缓存命中率。而“私有bucket回源”功能将使CDN的请求回源OSS的时候自动带上签名querystring参数,而不需要客户自己在请求CDN的时候设置。这样即实现了OSS本身资源的安全防护而又不影响CDN的缓存命中率。

5. CDN加速域名流量较低
CDN节点作为所有使用CDN的用户公用的节点资源,因此CDN配置的缓存规则表示了该资源在CDN上的缓存最长时间,如果用户在CDN上的缓存资源的热度较低的话是有可能被提前踢出CDN节点的缓存的。因此可以理解为缓存按照热度属性采取末尾淘汰制,所谓热度就是该文件在该节点上被访问的频率,文件热度不够即被提前剔除。

因此建议用户使用过程中优化点:
对于流量较低的域名可以提前定期将热度资源预热到CDN节点上,避免影响业务使用。
建议用户考虑对于流量较低的域名可以不使用CDN加速,这样的域名的加速效果并不明显。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/522877.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

首帧秒开+智能鉴黄+直播答题,阿里云直播系统背后技术大起底

摘要: 想要快速实现直播能力,并对原有业务不产生任何影响,依托如阿里云一样的直播平台,来搭建移动直播系统,将技术难题交给阿里云,把更多的精力放在核心业务的本身,是最为稳妥和高效的选择。本文…

《云栖社区2017年度内容特辑》新鲜出炉!800+份大会PPT、20+技术专题、100+话题...快抱走!...

回首2017,云栖社区承载了太多的精彩内容,这一年大量的优秀团队入驻社区,600博主成为云栖专家,他们为读者奉献了无数精彩的内容——100W博文,300场直播,用户互动问答数超过6W;与此同时&#xff0…

K8S精华问答 | K8S 是什么?不是什么?

kubernetes,简称K8S,是用8代替8个字符“ubernete”而成的缩写。是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应…

FaaS如何在云2.0时代发挥优势,又将走向何方?

摘要: 过去十年,云服务深刻地改变了社会获取和使用计算能力的方式,云服务自身也以极快的速度演进。在基础设施云化之后,容器、Serverless等技术迅猛发展,开始推动业务能力的云化,云计算进入2.0时代。 点此查…

解锁新姿势 | 如何用配置中心实现全局动态流控?

摘要: 当资源成为瓶颈时,服务框架需要对消费者做限流,启动流控保护机制。流量控制有多种策略,比较常用的有:针对访问速率的静态流控、针对资源占用的动态流控、针对消费者并发连接数的连接控制和针对并行访问数的并发控…

53K!拿下阿里Python岗,这些技术点全考了!

Python又上热搜了!”,最近笔者在逛脉脉时,发现这样的一条信息:看完后,我相信大家和我一样,what,Python这么时候值钱了?本篇文章,我将帮大家搞定两大疑问:1. P…

用WEB技术栈开发NATIVE应用:WEEX SDK原理详解

摘要: WEEX依旧采取传统的web开发技术栈进行开发,同时app在终端的运行体验不输native app。其同时解决了开发效率、发版速度以及用户体验三个核心问题。那么WEEX是如何实现的?目前WEEX已经完全开源,并捐给Apache基金会&#xff0c…

什么是java枚举_什么是java枚举

什么是java枚举?java 枚举的定义与用法一、枚举的定义:枚举是一种特殊的数据类型,之所以特殊是因为它既是一种类(class)类型却又比类型多了些特殊的约束,但是这些约束的存在也造就了枚举类型的简洁,安全性以及便捷性。…

基于阿里云Serverless架构下函数计算的最新应用场景详解(一)

摘要: Serverless概念是近年来特别火的一个技术概念,基于这种架构能构建出很多应用场景,适合各行各业,只要对轻计算、高弹性、无状态等场景有诉求的用户都可以通过本文来普及一些基础概念,看看这些场景是否对用户有一些…

浪潮云完成6亿元B轮融资,正推进上市;VMware收购AI初创公司Bitfusion;小爱同学App在苹果应用商店下架……...

关注并标星星CSDN云计算极客头条:速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 华为Mate30 Lite贴膜曝光&am…

基于阿里云Serverless架构下函数计算的最新应用场景详解(二)

摘要: Serverless概念是近年来特别火的一个技术概念,基于这种架构能构建出很多应用场景,适合各行各业,只要对轻计算、高弹性、无状态等场景有诉求的用户都可以通过本文来普及一些基础概念,看看这些场景是否对用户有一些…

增长黑客系列:今天比昨天增长多少?快使用环比函数来分析日志

摘要: 增长黑客系列:今天比昨天增长多少?快使用环比函数来分析日志 在我们平时分析业务时,一个最重要的指标就是,今天比昨天增长多少,本周比上周增长多少;或者同上一个周期相比增长最大的分类是…

云计算将会让数据中心消失?

戳蓝字“CSDN云计算”关注我们哦!作者 | 王洪鹏出品 | CSDN云计算(ID:CSDNcould)近年来企业应用云化明显,越来越多的企业开始将自己的公司业务转移到云平台之上,可能是迁到公有云,也可能是私有云…

巧用 Img / JavaScript 采集页面数据

摘要: 当我们有一个新内容时(例如新功能、新活动、新游戏、新文章),作为运营人员总是迫不及待地希望能尽快传达到用户,因为这是获取用户的第一步、也是最重要的一步。 点此查看原文:http://click.aliyun.com/m/40929/…

时间序列数据的存储和计算 - 开源时序数据库解析

摘要: Prometheus 开源时序数据库解析的系列文章在之前已经完成了几篇,对比分析了Hbase系的OpenTSDB、Cassandra系的KairosDB、BlueFlood及Heroic,最后是tsdb ranking top 1的InfluxDB。 点此查看原文:http://click.aliyun.com/m/…

flowable modler为任务节点增加自定义属性

如何在modler设计器中为任务节点,添加自定义的属性。 文章目录1、modler设计器中所有元素的定义2、flowable如何处理stencilset_bpmn.json文件3、为UserTask任务节点添加一个扩展属性3.1. 添加属性的名称3.2. 为任务节点添加扩展属性3.3. 查看效果1、modler设计器中…

微软对OpenAI投资10亿美元欲开发AI技术;华晨宝马宣布建成全球首个5G汽车生产基地;传苹果将收购英特尔调制解调器芯片业务...

关注并标星星CSDN云计算极客头条:速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 索尼Xperia 1R信息曝光&…

java se 与j2se_javaSE和 j2SE的区别?

javaSE和 j2SE的区别?关注:71 答案:4 mip版解决时间 2021-01-28 18:29提问者耍硪ミ倪配么2021-01-27 20:19javaSE和 j2SE的区别?最佳答案二级知识专家自然卷的气质2021-01-27 21:53JavaEE 比 se多了许多包,用于开发大规模的,分布式的Java应用/服务器…

[高速通道进阶一]如何理解高速通道的就近接入和一点接入连接全球

摘要: 经常有用户问,我在上海有个IDC,在北京有个VPC,我想通过专线把IDC和VPC连接起来,我是不是要找运营商直接拉一根上海到北京的专线?其实不是这样的,用户只需要接入到最近的接入点即可。高速通…

Flowable决策任务(decision task)

摘要:Flowable中引入了一个decision task(我们可以将其称之为决策任务)。在讲解decision task之前,我们不妨看一下dmn引擎。因为如果大家不了解dmn,那肯定不知道如何使用decision task了。 dmn是decision Modeling Not…