第３７卷第９Ａ期２０１０年９月计算机科学ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅＶ０１．３７Ｎｏ．９ＡＳｅｐ２０１０缓存技术在基于Ｗｅｂ架构信息系统中的应用高勃北京１０００４４）（北京交通大学信息中心摘要随着互联网规模快速增大，对于Ｗｅｂ服务高性能要求也不断提高。介绍Ｗｅｂ应用中常用的缓存技术（Ｓｑｕｉｄ，Ｍｅｍｃａｅｈｅｄ），并应用缓存技术对原有系统架构进行改造，以提高Ｗｅｂ请求处理能力．关键词缓存技术，高性能，网站榘构中图法分类号ＴＰ３６８．５文献标识码ＣＡｐｐｌｉｃａｔｉｏｎｏｆＣａｃｈｉｎｇＴｅｃｈｎｏｌｏｇｙｉｎＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍＢａｓｅｄＧＡ０１３０（ＩｎｆｏｒｍａｔｉｏｎＣｅｎｔｅｒ，ＢｅｉｊｉｎｇＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，ＢｅｉｊｉＩｎｇ１０００４４，Ｃｈｉｎａ）ｏｎＷｅｂＡｂｓｔｒａｃｔＴｈｅｆａｓｔｇｒｏｗｔｈｏｆｔｈｅＩｎｔｅｒｎｅｔｄｅｍａｎｄｓＷｅｂｓｅｒｖｉｃｅｓｗｉｔｌｌｂｅｔｔｅｒｐｅｒｆｏｒｍａｎｃｅ．ＴｈｉｓａｒｔｉｃｌｅｉｎｔｒｏｄｕｃｅｄａｎｄＷｅｂ∞ｃｈｉｎｇｔｅｃｈｎｉｑｕｅｓ（ＳｑｕｉｄＭｅｍｃａｃｈｅｄ）。ｗｈｉｃｈｈａｖｅｂｅｅｎｗｉｄｅｌｙａｄｏｐｔｅｄｔｏｉｎＷｅｂｃａｃｈｈ嚷ｉｎｔｏｔｈｅｏｒｉｇｉｎａｌａｒｃｈｉｔｅｃｔｕｒｅｏｆｔｈｅｓｙｓｔｅｍｒｅｑｕｅＳｔｓ．Ｋｅｙｗｏｒｆｌｓｉｍｐｒｏｖｅｔｈｅｓｙｓｔｅｍ’ｓｐｅｒｔｏ粼ｅＷｅｂａｐｐｌｉｃａｔｉｏｎｓ．Ｗｅｍｔｅｇｒａｔｅｄｉｎｐｒｏｃｅｓｓｉｎｇ靶删ｉｏｅＣａｃｈｉｎｇｔｅｃｈｎｏｌｏｇｙ，Ｈｉｇｈｐｅｒｆｏｒｍａｎｃｅ，Ａｒｃｈｉｔｅｃｔｕｒｅｏｆｗｅｂｓｉｔｅ１前言如今，互联网规模不断扩大，应用不断增多，网存。Ｈｔｍｌ页面缓存：一般可采用静态页面生成技术或建设Ｓｑｕｉｄ服务器，两种方式均可有效提高Ｗｅｂ服务器并发处理能力。新浪、搜狐等大型门户网站即采用Ｓｑｕｉｄ缓存类似架构。Ｗｅｂ程序开发方面的缓存、Ｌｉｎｕｘ上提供的Ｍｅｍｅａｅｈｅｄ是常用的缓存方案，包括ｐｙｔｈｏｎ，ｐｈｐ，ｐｅｒｌ，Ｃ和ｊａｖａ在内的多种Ｗｅｂ开发语言均提供Ｍｅｍｃａｃｈｅｄ访问接口，可以实时将数据、对象等内络已经深入到我们生活的各方面，给我们日常生活带来极大的方便。随着信息系统的业务扩展，系统用户增加，历史数据不断积累，系统响应速度、请求处理能力开始下降，ＣＰＵ、Ｉ／Ｏ处理能力成为瓶颈，用户批评逐渐增多。如何在有限的硬件投入前提下，提高系统性能就成为我们研究的问题。为提供高性能Ｗｅｂ服务，可采用包括负载均衡、数据库集群、ＨＴＭＬ页面静态化、缓存等多方面技术方案。通过统计发现，很多特定信息系统的请求都是重复冗余的。这也就意味着我们的系统在重复计算、传输着相同的内容。采用缓存技术，可提高Ｗｅｂ请求并发处理能力及处理速度。容进行缓存，非常灵活。Ｌｉｖｅ］ｏｕｒｎａｌ等大型社区使用了这样的架构。２．１Ｓｑｕｉｄ反向代理反向代理就是通常所说的Ｗｅｂ服务器加速，它通过在繁忙的Ｗｅｂ服务器和Ｉｎｔｅｒｎｅｔ之间增加一个高速的Ｗｅｂ缓冲服务器（即：Ｗｅｂ反向代理服务器）来降低实际的Ｗｅｂ服务器的负载。代理Ｃａｃ－ｈｉｎｇ，针对一台或多台特定Ｗｅｂ服务器。具体实施反向代理时，将Ｓｑｕｉｄ服务器放置在一台或多台Ｗｅｂ服务器前端。当互联网用户访问某个Ｗｅｂ服务器时，通过ＤＮＳ服务器解析后的ｌＰ地址是Ｓｑｕｉｄ反向代理服务器的ＩＰ地址，而非原始２缓存技术缓存技术在计算机科学中应用非常广泛。对于Ｗｅｂ缓存来说，就是将通过相对高负荷计算的结果保存下来，以备下次需要时取用，从而节省了计算时间；其主要包括Ｈｔｍｌ页面缓存与Ｗｅｂ程序开发缓膏勃（１９８０一），男，硕士．工程师，主要研究方向为信息化技术，Ｅ－ｍａｉｌ：ｇａｏｂｏ＠ｂｊｔｕ．ｅｄｕ．∞．・７８・Ｗｅｂ服务器的ＩＰ地址，此时Ｓｑｕｉｄ充当Ｗｅｂ服务器，浏览器可以与它连接，无需再直接与Ｗｅｂ服务器相连。因此，大量Ｗｅｂ服务工作量被卸载到反向代理服务上，不但能够防止外部网主机直接和Ｗｅｂ服务器通信带来的安全隐患，而且能够很大程度上减轻Ｗｅｂ服务器的负担，提高访问速度。Ｓｑｕｉｄ默认通过检测ＨＴＴＰ协议头的某些字段来决定缓存行为，Ｌａｓｔ—Ｍｏｄｉｆｉｅｄ：告诉反向代理页面什么时间被修改；Ｅｘｐｉｒｅｓ：告诉反向代理页面什么时间应该从缓冲区中删除；Ｃａｃｈｅ－Ｃｏｎｔｒｏｌ：告诉反向代理页面是否应该被缓冲。在实际应用中，通过配置ａｐａｃｈｅ的ｍｏｄ—ｅｘｐｉｒｅｓ模块，让ａｐａｃｈｅ自动地给每一个网页加上过期时间；或显式地在服务器端脚本中输出ＨＴＴＰ头，Ｐｙｔｈｏｎ／Ｄｊａｎｇｏ框架中具有专门的Ｃａｃｈｅ插件用于设置缓存参数；对于静态内容，如图片、视频文件、供下载的软件等，可针对文件类型（扩展名），用Ｓｑｕｉｄ的ｒｅｆｒｅｓｈ—ｐａｔｔｅｒｎ来指定缓存时间。Ｓｑｕｉｄ运行的时候，默认会在硬盘上建两层ｈａｓｈ目录，用来存储缓存的Ｏｂｊｅｃｔ。它还会在内存中建立一个ＨａｓｈＴａｂｌｅ，用来记录硬盘中Ｏｂｊｅｃｔ分布的情况。如果Ｓｑｕｉｄ配置成为一个Ｓｑｕｉｄ集群中的一个的话，它还会建立一个ＤｉｇｅｓｔＴａｂｌｅ（摘要表），用来存储其它Ｓｑｕｉｄ上的Ｏｂｊｅｃｔ摘要。当本地硬盘上没有用户端想要的资料时，可以很快地知道应该去集群中的哪一台机器获得。在硬盘空间快要达到配置限额的时候，可以配置使用某种策略（默认使用ＬＲＵ：ＬｅａｓｔＲｅｃｅｎｔｌｙＵｓｅｄ，最近最少用）删除一些Ｏｂｊｅｃｔ，从而腾出空间。默认配置的Ｓｑｕｉｄ，没有经过任何优化的时候，一般可以达到５０％的命中率。如果需要，还可以通过参数优化、拆分业务、优化文件系统等办法，使得Ｓｑｕｉｄ达到９０％以上的缓存命中率。Ｓｑｕｉｄ处理ＴＣＰ连接消耗的服务器资源比真正的Ｈ１ｖｒＰ服务器要小得多，若Ｓｑｕｉｄ分担了大部分连接，网站的承压能力就大大增强了。２．２Ｍｅｍｃａｃｈｅｄ内存对象缓存Ｍｅｍｃａｃｈｅｄ是ｄａｎｇａ．ｃｏｍ（运营ＬｉｖｅＪｏｕｒｎａｌ的技术团队）开发的一套优秀的分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。和Ｓｑｕｉｄ的前端缓存加速不同，它通过基于内存的对象缓存来减少数据库查询，改善网站的性能，而其中最吸引入的一个特性就是支持分布式部署；也就是说可以在一群机器上建立一堆Ｍｅｍｃａｃｈｅｄ服务，每个服务可以根据具体服务器的硬件配置使用不同大小的内存块，这样，理论上可以建立一个无限大的基于内存的缓存系统。Ｍｅｍｃａｃｈｅｄ是以守护程序方式运行于一个或多个服务器中，随时接受客户端的连接操作，ｐｙ—ｔｈｏｎ，ｐｈｐ，ｐｅｒｌ，Ｃ和ｊａｖａ在内的多种Ｗｅｂ开发语言均有Ｍｅｍｃａｃｈｅｄ访问接口。每个被存取的对象都有一个唯一的标识符ｋｅｙ，存取操作均通过这个ｋｅｙ进行。Ｍｅｍｃａｃｈｅｄ将对象保存在一个巨大的Ｈａｓｈ表中，它还使用ＮｅｗＨａｓｈ算法来管理Ｈａｓｈ表，从而获得进一步的性能提升。客户端在与Ｍｅｍｃａｃｈｅｄ服务建立连接之后，存取对象。保存到Ｍｅｍｃａｃｈｅｄ中的对象实际上是放置在内存中的，并不是保存在ｃａｃｈｅ文件中的。所以当分配给Ｍｅｍ－ｃａｃｈｅｄ的内存足够大时，Ｍｅｍｃａｃｈｅｄ的时间消耗基本上只是网络Ｓｏｃｋｅｔ连接了。正因如此，Ｍｅｍ－ｃａｃｈｅｄ能够高效快速地存取对象，但这些对象并不是持久的，服务停止之后，里边的数据就会丢失。３系统部署３．１系统架构某内容发布系统（ＣＭＳ），采用Ｐｙｔｈｏｎ编写，后台数据库为ＭｙＳＱＬ，Ｎｇｉｎｘ作为Ｗｅｂ服务器，均部署在Ｌｉｎｕｘ系统下。原系统架构如图１所示：分为数据库层、应用服务器层和Ｗｅｂ服务器层，属于传统的三层架构。困咽咽图１原系统架构图随着系统涵盖的业务不断扩大，后台数据量不断增加，用户访问量逐渐增多。为保证系统在高峰时段正常工作，应用缓存技术，修改系统架构，如图２所示：在原ＮｇｉｎｘＷｅｂ服务器层前加入Ｓｑｕｉｄ缓存服务器，数据库层与应用服务器层间加入Ｍｅｍ－ｃａｃｈｅｄ缓存服务器。Ｓｑｕｉｄ服务器提供Ｗｅｂ反向代理服务，Ｍｅｍｃａｃｈｅｄ提供数据缓存服务。｛觥Ｈ勰器｝一溜搿Ｈ黼ｌ图２加入缓存技术的系统架构图内容发布系统中存在大量可缓存的图片、ＣｓＳ文件、页面内容。针对同一ＵＲＬ请求，Ｓｑｕｉｄ缓存服务器会首先检查是否已经存在于缓存中，若不存在或缓存过期，Ｓｑｕｉｄ将请求转发至ＮｇｉｎｘＷｅｂ服・７９・务器。对于常用的数据字典、用户信息、热门信息公告等字段内容，存人Ｍｅｍｃａｃｈｅｄ内存，应用系统首先检查数据缓存中是否存有数据，若不存在或缓存过期，应用系统将到数据库中查询。通过加入缓存技术，可减少对Ｗｅｂ服务器的访问和对数据库的操作，提高系统整体性能。３．２能，安全性不足。我们可以将Ｍｅｍｃａｃｈｅｄ服务绑定在内网ＩＰ上，通过Ｌｉｎｕｘ防火墙进行防护。４测试结果及分析内容发布系统加入缓存技术后，网站可提供正常Ｗｅｂ服务。用ｓｉｅｇｅ软件进行压力测试，与原系Ｓｑｕｉｄ反向代理配置Ｓｑｕｉｄ统进行比较，在并发２００下，请求处理速度变化不大，均保持在３００ｍｓ左右。分析原因如下：１）缓存系统在中、小负荷的Ｗｅｂ应用下效果不明显，甚至可能会降低原应用程序的运行效率；２）原应用程序对于数据库操作计算量要求不ｃＩＩ２．６版本，ｓｑｕｉｄ．ｃｏｎＩ中与反向代理相关的配置如下：ｈｔｔｐ＿ｐｏｒｔ８０ｖｈｏｓｔｃａｃｈｅ—ｐｅｅｒ１２７．０．０．１ｐａｒｅｎｔ８０８１０ｎｏ－ｑｕｅｒｙｏｎｇｍ一跎ｒｖｅｒｗｅｉｇｈｔ－－－－１ｎａｍｅ－－－－－ｃａｅｈｅＯｃａｃｈｅ＿ｐｅｅｒ＿ｄｏｍａｉｎｃａｃｈｅＯｓｑｕｎｎｊｔｕ．ｅｄｕ大，计算结果缓存后收效不明显；３）ＭｙＳＱＬ数据库本身已经做过较好的优化，数据库缓存已经较好地发挥了作用；４）测试地址中，含有的静态元素（包括ｊＳ，ＣＳＳ文件等）较多，对于静态文件的处理，Ｗｅｂ服务器的处由Ｓｑｕｉｄ反向代理服务器程序监听８０端口，Ｎｇｉｎｘ作为Ｗｅｂ服务器监听８０８１端口，当访问应用系统的请求发送到８０端１２１时，Ｓｑｕｉｄ检查缓存数据，若没有对应数据就将请求转发到本机８０８１端口，由Ｎｇｉｎｘ处理。３．３理相对Ｓｑｕｉｄ会更具优势。在并发１０００情况下，原系统已经有６０％左右的请求无法处理，新系统可提供正常服务。Ｍｅｍｃａｃｈｅｄ部署、使用应用系统操作环境是ＤｅｂｉａｎＬｉｎｕｘ，安装、运行Ｍｅｍｃａｃｈｅｄ服务均通过Ｄｅｂｉａｎ软件管理，操作简便。所有的数据基本上都是保存在数据库当中的，每次频繁的存取数据库，导致数据库性能急剧下降，无法同时服务更多的用户，比如ＭｙＳＱＬ，特别频繁结束语Ｗｅｂ高性能服务是一个涉及面广泛的研究课题，涵盖网络架构、系统架构、应用程序开发、数据库优化等多方面技术。本文仅从缓存方面对应用程序、架构进行改进。下一步可结合集群技术（Ｗｅｂ集群、Ｓｑｕｉｄ集群、Ｍｅｍｅａｃｈｅｄ集群、数据库集群等）对系统进行改造，使其实现高性能、高可靠性。参考文献Ｅ１３Ｍｅｍｃａｃｈｅｄ的使用和协议分析详解［ＥＢ／ＯＬ３．ｈｔｔｐ：／／ｂｌｏｇ．ｃｓ－ｄｒＬｎｅｔ／ｈｅｉｙｅｓｈｕｗｕ／ａｒｃｈｉｖｅ／２００６／１１／１３／１３８０８３８．ａｓｐｘ的锁表。Ｍｅｍｅａｃｈｅｄ可用来分担数据库的压力。我们需要对ｗｅｂ程序进行的改动比较小，且不会以大规模改变前端的方式来改变目前的架构。Ｐｙｔｈｏｎ／Ｄｊａｎｇｏ框架中的Ｃａｃｈｅ、Ｓｅｓｓｉｏｎ框架，可以灵活配置，控制到单个Ｖｉｅｗ，决定其是否缓存至Ｍｅｍｃａｃｈｅｄ中。其Ｓｅｓｓｉｏｎ也可以使用Ｍｅｍ－ｃａｃｈｅｄ服务，从而实现多台Ｗｅｂ服务器共享Ｓｅｓ－ｓｉｏｎ，方便实现Ｗｅｂ的集群，解决多Ｗｅｂ服务器间数据共享问题。需要注意的是，Ｍｅｍｃａｅｈｅｄ以ｒｏｏｔ权限运行，而且Ｍｅｍｅａｃｈｅｄ本身没有任何权限管理和认证功Ｅｚ］Ｓｑｕｉｄ中文权威指南［ＥＢ／ＯＬ］．ｈｔｔｐ：／／ｂｉｏｇ．ｓ１３５．ｏ＝＝Ｉ／ｂｏｏｋ／ｓｑｕｉｄ／［３］Ｄｊａｎｇｏ官方站点［ＥＩＶＯＬ］．ｈｔｔｐ：／／们哪：ｄｊａｎｇｏｐｒｏｊｅｃｔ．００ｍ／［４３Ｓｑｕｉｄ官方站点［ＥＢ／０Ｌ］．ｈｔｔｐ：／／ｗ帆ｓｑｕｉｄ－ｃａｃｈｅ．ｏｒｇ／ｍｃａｃｈｅｄ／［５］Ｍｅｍｅａｅｈｅｄ官方站点［ＥＢ／ｏＬ］．ｈｔｔｐ：／／ｗｗｗ．ｄ锄弘ｏｏ州ｒ／１ｅ－（上接第７４页）最后用ｃｒｏｎ工具每５分钟执行一次生成一次统计页面。ｃｒｏｎｔａｂ添加以下条目：＊／Ｓ＊＊＊＊ｐｅｒｌ／ｖａｒ／ｗｗｗ／ｄｈｃｐｐｅｒｌ／ｄｈｃｐ—ｓｔａｔｓ．ｐｌ＞／ｖａｒ／ｗｗｗ／ｄｈｃｐｐｅｒｌ／ｉｎｄｅｘ．ｈｔｍｌ最终实现的部分查询界面如图３所示。结束语下一步我们计划把ＤＨＣＰ和ｍａｃ认外计划开展基于ＩＰｖ６的ＤＨＣＰ分配的研究。我们相信，随着对ＤＨＣＰ研究的深入，会给管理者提供更多更好的工具以把ＤＨＣＰｓｅｒｖｅｒ管理得更好。参考文献［１］Ｒ．ＦＣ２１３１．Ｄ帅ａｍｉｃＨｏｓｔＣｏｎｆｉｇｕｒａｔｉｏｎＰｒｏｔｏｃｏｌ［２］Ｌｉｎｕｘ下帮助文档．ｍａｒｌＤＨＣＰ＆ｅｏｎｆ；ｍａｎＤＨＣＰ．１ｅａｓｅ［３］Ｈ３Ｃ公司．Ｈ３Ｃ￥５５００－ＥＩ系列以太网交换机操作手册－Ｒｅ．１ｅａｓｅ２２０２（ＶＩ．０３）：０２证结合起来，逐步做到基于认证用户的地址分配，另・８０・ＩＰ业务分册－０３ＤＨＣＰ配置缓存技术在基于Web架构信息系统中的应用
作者：作者单位：
高勃
北京交通大学信息中心 北京 100044
本文链接：http://d.g.wanfangdata.com.cn/Conference_7403291.aspx