Linux memcached
memcached是一套分布式的高速缓存系统,使用key-value来缓存数据,是由LiveJournal的Brad Fitzpatrick开发,目前被许多网站使用。这是一套开放源代码软件,以BSD license授权发布。memcached缺乏认证以及安全管制,所以应该将memcached服务器放置在防火墙后。
一般memcached会和mysql数据库结合从而提高响应速度;memcached可以将SQL语句进行hash之后作为key,将查询到的数据作为value,然后存储在memcached的内存中,进而提高查询速度;
memcached特点:
协议简单:使用基于文本格式的协议;
基于libevent进行事件处理
基于内存进行数据存储:基于LRU算法进行缓存的存储;
memcached支持互不通信的集群:分布式
安装:编译安装
出现下面错误时才进行这些操作:
安装前准备:在官网下载libevent
wget https://github.com/libevent/libevent/releases/download/release-2.1.8-stable/libevent-2.1.8-stable.tar.gz
tar xf libevent-2.1.8-stable.tar.gz
cd libevent-2.1.8-stable/
./configure
make & make install
ln -sv /usr/local/lib/libevent-2.1.so.6 /usr/lib64/libevent-2.1.so.6
tar xf memcached-1.4.15.tar.gz
cd memcached-1.4.15/
./configure --prefix=/usr/local/memcached 或
./configure --prefix=/usr/loca/memcache --with-libevent=/usr/local/lib/libevent-2.1.so.6 感觉这个就算指定了也没什么用
make
make install
运行memcached:
cd /usr/local/memcached/bin
./memcached -d -u root
帮助信息:./memcached -h
安装时的报错:
checking for libevent directory... configure: error: libevent is required. You can get it from http://www.monkey.org/~provos/libevent/
If it's already installed, specify its path using --with-libevent=/dir/
可以通过下面的图片来对memcached进行操作:
首先需要用telnet登录监听在11211端口的memcached:
telnet localhost 11211
图片来自:https://blog.csdn.net/qq_14927217/article/details/73692582
数据查找过程:
memcached是一个旁挂式缓存,当应用程序第一次到mysql查找数据时,mysql会直接将数据返回给应用程序,接着由应用程序自己将刚在mysql返回给自己的数据保存至memcached中,然后将数据返回给客户端;当以后客户端请求相同的数据时,应用程序会首先查找memcached,如果memcached还存有这个数据,就直接返回给应用程序,从而响应给客户端,如果缓存不存在了,就还要自己去mysql查找,然后再存一份到memcached中,再返回给客户端;然后以此类推!
memcached的内存存储:
机制:slab allocation,整理内存以进行复用;
工作方式:slab allocator
memcached会将自己的内存分成一些固定大小的块(chunk),然后将大小相同的块再分成组;比如:分100个2字节的块,再分200个4字节的块,再分400个4k的块,然后将这些相同大小的块再分成组(slab class);
page:分配给slab用于进行分割为chunk的内存空间;
chunk:用于存储缓存对象的空间;
slab class:特定大小的chunk组合而成的组空间;
Note:在memcached启动时,这些内存空间就已经被切割好了,当有缓存数据需要进行缓存时,就可以直接存储了,节省了很多时间;但是无法避免内存碎片;
可以通过./memcached -u root -vv来查看chunk的大小;
可以通过./memcached -u root -vv -f number来设置chunk的增长因子的大小;增长因子指的是按大小排序,后一种chunk的大小是前一种chunk大小的多少倍;默认为1.25倍,且最小的chunk的大小为96字节;
状态查看:
~]# memcached-tool 127.0.0.1
# Item_Size Max_age Pages Count Full? Evicted Evict_Time OOM
1 96B 28s 1 1 yes 0 0 0
标题解释:
#:slab class的编号;
Max_age:已缓存时长;
Pages:分配个slab的内存页数量;
Item_Size:chunk的大小;
Count:slab中记录的缓存总数;
full?:slab中是否还有空闲chunk;
Evicted:缓存被清除之前的宽限存储时间;
OOM:slab class无法存储的新数据的次数;
使用memcached缓存Tomcat的session信息:
简介:https://github.com/magro/memcached-session-manager/wiki
1.拓扑结构:一台Centos7作为前端负载均衡器,两台Centos6作为后端的memcached和tomcat服务器;关于前端负载均衡的配置在上一篇博客中有具体演示,此处不在赘述!
2.需要使用安装组件来支持这个功能:
memcached-session-manager-${version}.jar
memcached-session-manager-tc${6,7,8}-${version}.jar
spymemcached-${version}.jar 序列化工具,能够将Tomcat的内存对象进行序列化以后存储在memcached的内存中;
msm-javolution-serializer-${version}.jar
javolution-${version}.jar
组件下载地址:
https://code.google.com/archive/p/memcached-session-manager/downloads
http://repo1.maven.org/maven2/de/javakaffee/msm/
https://github.com/magro/memcached-session-manager/wiki/SetupAndConfiguration
http://www.java2s.com/Code/Jar/j/Downloadjavolution5431jar.htm
3.将上述.jar包放置到$CATALINA_HOME/lib/中;
cp memcached-session-manager-1.7.0.jar memcached-session-manager-tc7-1.7.0.jar msm-javolution-serializer-1.7.0.jar javolution-5.4.3.1.jar spymemcached-2.11.1.jar /usr/share/tomcat/lib/
4.添加配置内容: 不知道问什么使用tomcat8.5做这个操作不成功,所以接下来的都是在tomcat7中完成的,上面.jar包也是7版本的;使用yum直接安装tomcat7即可;
vim conf/service.xml
<Host name="www|mail.guowei.com" appBase="/data/webapps" autoDeploy="true">
<Context path="/apps" docBase="/data/webapps/ROOT">
#docBase要使用绝对路径
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
#memcached备份管理器的类名
memcachedNodes="n1:192.168.80.131:11211,n2:192.168.80.134:11211"
#n1为主机标识,可以更改;
failoverNodes="n1"
#指定备用主机节点
requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
#指定忽略的数据类型
transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory"
#指定序列化工具
/>
</Context>
</Host>
Note:配置中提到的是两台memcached主机(n1:192.168.80.131:11211,n2:192.168.80.134:11211),此处只列出一端的配置,另一端几乎相同(不同之处已使用”|”标记),就不在赘述!
5.启动tomcat服务:
service tomcat start
6.访问测试:
http://192.168.80.139/apps
Note:此配置是衔接上面一篇博客的,有些配置没有给出,具体请看上一篇文章;
实现session server:
常用架构示例:
1.拓扑结构:
2.流程:客户端访问某一网站的某一动态内容时,首先会经过负载均衡器的调度,将其调度至某一台后端的Tomcat服务器(TomcatA)上,然后Tomcat会将客户端的会话信息进行序列换,然后保存至后端的额memcached服务器中;如果此客户端在下一次访问此网站时,如果调度器将其调度至其他Tomcat服务器(TomcatB)上,Tomcat就会到memcached服务器中查找session信息,这样就实现了session共享;聪明的你已经发现,这个memcached服务器是一个单点,如果其发生故障,那么所有session信息都会丢失,所以我们需要搭建一个备份memcached服务器,以备不时之需!memcached备份服务器可以在主memcached故障时,顶替其继续工作,并且当Tomcat往主memcached服务器中写数据时,还会降数据再往备份memcached服务器中写一份,从而可以实现无缝衔接!
3.配置过程:
大写的略!!!
因为配置跟上面的差不多!!!
注:根据马哥视频做的学习笔记,如有错误,欢迎指正;侵删;