用C语言,php的扩展的书写格式(ZEND API)写PHP扩展的步骤:
我用的php环境 php 5.2.5,完成最基本功能 helloword

cd /php5.2.5/ext

生成骨架 ./ext_skel --extname=cltest 会在当前目录建立一个cltest的目录

进入该目录 cd cltest

修改 配置文件config.m4
vi cltest/config.m4 

注释3个dnl [dnl代表注释,对应shell的#]
PHP_ARG_WITH(my_module, for my_module support,
Make sure that the comment is aligned:
[ --with-my_module Include my_module support])

修改完毕。

vi cltest.c
改成这样:
function_entry my_module_functions[] = {
PHP_FE(say_hello, NULL) /* ?添加这一行代码   注册函数say_hello() */
PHP_FE(confirm_my_module_compiled, NULL) /* For testing, remove later. */
{NULL, NULL, NULL} /* Must be the last line in my_module_functions[] */
};

另外在文件的最后添加下列代码 函数程序主体
PHP_FUNCTION(say_hello)
{
        RETURN_STRINGL("hello world",100,1);
}

修改完毕。

 

vi php_cltest.h

在文件中PHP_FUNCTION(confirm_my_module_compiled);一行前面添加下面的代码 函数定义
PHP_FUNCTION(say_hello);

修改完毕。

 

找到这个执行文件phpize ,在cltest目录下执行命令,用于加载动态链接库

/usr/local/php/bin/phpize
./configure --enable-cltest --with-apxs2=/usr/local/apache2/bin/apxs --with-php-config=/usr/local/php/bin/php-config

make
会在当前的目录下生成一个目录叫modules他的下面就放着你要的cltest.so文件

make install
会cp modules/cltest.so /usr/local/php/include/php/ext/
其余的就是修改 php.ini加载该.so webserver要生效需要重启。

posted @ 2009-08-31 17:55 小马歌 阅读(316) | 评论 (0)编辑 收藏
 
2009-8-3 15:56:41 文/IT.com.cn 出处:IT.com.cn(IT世界网)

前段时间,迅雷又进行了一次改版。这次改版可以说决心非常大,舍弃了近30%的非视频类流量后,迅雷握紧拳头全力进入了视频门户的行列。

  靠下载起家的迅雷,一直有着做门户的梦想。先是下载门户,但是觉得太单薄;然后就是想做资讯门户,但是一直都不受网友待见;直到迅雷看看的推出,迅雷才仿佛找到主心骨一样在互联网视频点播领域尝到了很大的甜头,从而也逐步确立迅雷的门户方向:中国最高清的影视视频门户,正版发行平台!

  在迅雷正式转型之前,虽然,迅雷靠视频赚了大把的银子,但是迅雷还是不敢大声宣布自己的视频门户决定,因为,其中有个重要的制约因素――电影版权。这个是中国互联网最为缺乏的东西,就像尚方宝剑一样,你没有,就会被拿着宝剑的人欺负;你有,就可以给你带来大把好处;而且,这把剑还不是人人都可以拿在手上耀武扬威的。迅雷就被这个版权困扰了很久,虽然有GOUGOU搜索在规避部分版权,但在最赚的时候,迅雷还是被电影版权方告得焦头烂额。

  那为什么现在迅雷敢打出视频门户的招牌,难道他已经解决了所有的版权问题?这还要从另外一家公司――深圳市快播科技有限公司说起。

  快播是一家提供高清视频在线点播P2P技术的公司,本来也是一家默默无闻的公司,但是就在快播默默发展的3年中,中国互联网有近5万家中小电影网站使用了他们的技术,每天有近2000万互联网用户使用他们的快播软件(QvodPlayer)。快播本身专注于技术,只是为中小网站提供流媒体点播技术,但是诸多中小影视网站的丰富高清片源加上稳定的QVOD点播技术,用户体验不输于看看,只是没有成为一个完整的视频平台而已。

  迅雷看看在09年意识到了这个威胁,但同时也获得了启发――这种模式可以解决迅雷头疼多年的版权问题。仿造快播的qvod,迅雷立马推出了一个gvod;于是,有版权的电影用迅雷看看播,没有版权的用GOUGOU搜索带到使用gvod的电影站去播,完美的互联网视频点播流程宣告成立,迅雷也迫不及待的改版了。

  迅雷的新门户化战略貌似胸有成竹了,不过有些人可就要操心了。

  先是微视频类网站,对于他们来说迅雷看看的高清视频点播简直就是大杀器。虽然土豆CEO王微在接受采访的时候对土豆的前景表示乐观,但也不得不承认:“目前的视频网站格局未来很有可能会被新的进入者打破,将会对现有的各家产生很大的影响”。明眼人可以判断王微所指的无疑就是迅雷。

  然后是帮助迅雷解决版权问题的中小电影网站。中小电影网站对迅雷的作用可以这样来描述:现在,帮助迅雷渡过版权问题的难关,在版权谈不拢的这段时间,中小电影网站的GVOD点播仍然为迅雷狗狗用户提供了完整的内容体验;随后,成为迅雷和电影版权方谈判的筹码,使用GVOD技术的众多影视网站已经被迅雷控制,迅雷可以帮助版权方从源头上打击控制他们,实现迅雷+版权方的利益最大化。

  迅雷看看高清点播技术加迅雷用户基础,狗狗搜索+GVOD在内容和片源上又不受目前不成熟的中国版权形势的制约,高清、点播、版权、流量,这四大要素,对于已经抛弃用户原创短视频价值而挺进高清影视内容运营的三大视频门户来说,消化掉这个新进者的强大竞争压力的市场代价会落到哪一家头上还不好说,但是对于显然无力解决版权问题的中国互联网中小视频网站来说,迅雷必将成为他们的掘墓人,这点是毫无疑问的。

posted @ 2009-08-18 18:09 小马歌 阅读(237) | 评论 (0)编辑 收藏
 
本文将讨论在PHP4环境下如何运用进程间通讯机制——IPC(INTER-PROCESS-COMMUNICATION)。本文讨论的软件环境是LINUX+PHP4.0.4或更高版本。首先,我们假设你已经装好了PHP4和UNIX, 为了使得PHP4可以运用共享内存和信号量,必须在编译PHP4顺序时激活SHMOP和SYSVSEM这两个扩展模块。
实现方法:在PHP设定(CONFIGURE)时加入如下选项。
--ENABLE-SHMOP --ENABLE-SYSVSEM  
这样就使得你的PHP系统可以处理相关的IPC函数了。
IPC是什么?
IPC (INTER-PROCESS COMMUNICATION) 是一个UNIX标准通讯机制,它提供了使得在同一台主机不同进程之间可以互相通讯的方法。基本的IPC处理机制有3种:它们分别是共享内存、信号量和消息队列。本文中我们次要讨论共享内存和信号量的运用。关于消息队列,笔者在不久的将来还会专门介绍。
在PHP中运用共享内存段
在不同的处理进程之间运用共享内存是一个实现不同进程之间相互通讯的好方法。如果你在一个进程中向所共享的内存写入一段信息,那么所有其他的进程也可以看到这段被写入的数据。非常方便。在PHP中有了共享内存的帮助,你可以实现不同进程在运行同一段PHP脚本时返回不同的结果。或实现对PHP同时运行数量的实时查询等等。
共享内存允许两个或者多个进程共享一给定的存储区。因为数据不需要在客户机和服务器之间复制,所以这是最快的一种IPC。运用共享内存的唯一诀窍是多个进程对一给定存储区的同步存取。
如何建立一个共享内存段呢?下面的代码可以帮你建立共享内存。
$SHM_ID = SHMOP_OPEN($KEY, $MODE, $PERM, $SIZE);
注意,每个共享内存段都有一个唯一的ID, 在PHP中,SHMOP_OPEN会把建立好的共享内存段的ID返回,这里我们用$SHM_ID记录它。而$KEY是一个我们逻辑上表示共享内存段的KEY值。不同进程只要选择同一个KEY ID就可以共享同一段存储段。习惯上我们用一个串(类似文件名一样的东西)的散列值作为KEY ID. $MODE指明了共享内存段的运用方式。这里由于是新建,因此值为’C’ –取CREATE之意。如果你是访问已经建立过的共享内存那么请用’A’,-- 取ACCESS(小型网站之最爱)之意。$PERM参数定义了访问的权限,8进制,关于权限定义请看UNIX文件系统帮助。$SIZE定义了共享内存的大小。尽管有点象FOPEN(文件处理)你可不要当它同文件处理一样。后面的描述你将看到着一点。
例如:
$SHM_ID = SHMOP_OPEN(0XFF3, "C", 0644, 100);
这里我们打开了一个共享内存段 键值0XFF3 –RW-R—R—格式,大小为100字节。
如果需要访问已有的共享内存段,你必须在调用SHMOP_OPEN中设第3、4个参数为0。
IPC工作状态的查询
在UNIX下,你可以用一个命令行顺序IPCS查询系统所有的IPC资源状态。不过有些系统要求需要超级用户方能执行。下图是一段IPCS的运行结果。  


上图中系统显示了4个共享内存段,注意其中第4个键值为0X00000FF3的就是我们刚刚运行过的PHP顺序所创建的。关于IPCS的用法请参考UNIX用户手册。
如何释放共享内存呢
释放共享内存的办法是调用PHP指令:SHMOP_DELETE($ID)
SHMOP_DELETE($ID);
$ID 就是你调用SHMOP_OPEN所存的SHMOP_OP的返回值。还有一个办法就是用UNIX的管理指令:
IPCRM ID, ID就是你用IPCS看到的ID.和你顺序中的$ID不一样。不过要小心,如果你用IPCRM直接删除共享内存段那么有可能导致其他不知道这一情况的进程在引用这个已经不复存在的共享内存器时出现一些不可预测的错误(往往结果不妙)。
如何运用(读写)共享内存呢
运用如下所示函数向共享内存写入数据
INT SHMOP_WRITE (INT SHMID, STRING DATA, INT OFFSET)
其中SHMID是用SHMOP_OPEN返回的句柄。$DATA变量存放了要存放的数据。$OFFSET描述了写入从共享内存的开始第一个字节的位置(以0开始)。

/Files/xiaomage234/shmop.rar
posted @ 2009-08-13 11:36 小马歌 阅读(114) | 评论 (0)编辑 收藏
 
许多 PHP 开发人员认为,由于标准的 PHP 缺少线程功能,因此实际 PHP 应用程序不可能执行多任务处理。例如,如果应用程序需要其他 Web 站点的信息,那么在远程检索完成之前它都必须停止。这是错误的!通过本文了解如何使用 stream_select 和 stream_socket_client 实现进程内 PHP 多任务处理。

PHP 不支持线程。尽管如此,与前述大多数 PHP 开发人员所相信的想法形成对比的是,PHP 应用程序可以 执行多任务处理。让我们开始尽可能清晰地描述一下 “多任务” 和 “线程” 对于 PHP 编程的意义。

并发的种类

首先抛开几个和主题无关的例子。PHP 与多任务或并发的关系十分复杂。在较高层次上,PHP 经常涉及多任务:以多任务方式使用 标准的服务器端 PHP 安装 —— 例如,作为 Apache 模块。换句话说,若干个客户机 —— Web 浏览器 —— 可以同时请求同一个 PHP 解释的页面,而 Web 服务器将差不多同时返回所有这些页面。

一个 Web 页面不会妨碍其他 Web 页面的发送,尽管可能会由于诸如服务器内存或网络带宽之类的受限资源而使它们相互之间略有妨碍。这样,实现并发 的系统级需求可能适合使用基于 PHP 的解决方案。就实现而言,PHP 允许它的管理 Web 服务器负责实现并发。

Ajax 名下的客户端并发近几年来也已成为开发人员关注的焦点。虽然 Ajax 的含义已经变得十分模糊,但是它的一个方面是浏览器显示可以同时执行计算和 保留对诸如选择菜单项之类的用户操作的响应。这实际上就是某种 多任务。用 PHP 编码的 Ajax 就是这样 —— 但是不涉及任何特定的 PHP;用于其他语言的 Ajax 框架均以完全相同的方法操作。

只粗略地涉及 PHP 的第三个并发实例是 PHP/TK。PHP/TK 是 PHP 的扩展,用于为核心 PHP 提供可移植图形用户界面(GUI)绑定。PHP/TK 允许用 PHP 编写代码构造桌面 GUI 应用程序。其基于事件的特性将模拟一种易于掌握并且比线程更少出错的并发形式。此外,并发是 “继承” 自一项辅助技术,而不是 PHP 的基本功能。

向 PHP 本身添加线程支持的试验已经做过多次。据我所知,没有一次是成功的。但是,Ajax 框架和 PHP/TK 的面向事件的实现表明事件可能比线程能更好地体现 PHP 的并发。PHP V5 证明事实确实如此。

PHP V5 将提供 stream_select()

使用标准的 PHP V4 和更低版本,必须按顺序执行 PHP 应用程序的所有工作。例如,如果程序需要在两个商业站点检索商品的价格,则请求第一个站点的价格,等待至响应到达,再请求第二个站点的价格,然后再次等待。

如果程序请求同时完成若干项任务会怎么样?总体来看,程序将在一段时间内完成,在这段时间内,将始终进行连续处理。

第一个示例

新的 stream_select 函数及它的几个助手使这成为可能。请考虑以下示例。

清单 1. 同时请求多个 HTTP 页面

<?php
echo "Program starts at ". date('h:i:s') . ".\n";

$timeout=10;
$result=array();
$sockets=array();
$convenient_read_block=8192;

/* Issue all requests simultaneously; there's no blocking. */
$delay=15;
$id=0;
while ($delay > 0) {
$s=stream_socket_client("phaseit.net:80", $errno,
$errstr, $timeout,
STREAM_CLIENT_ASYNC_CONNECT|STREAM_CLIENT_CONNECT);
if ($s) {
$sockets[$id++]=$s;
$http_message="GET /demonstration/delay?delay=" .
$delay . " HTTP/1.0\r\nHost: phaseit.net\r\n\r\n";
fwrite($s, $http_message);
} else {
echo "Stream " . $id . " failed to open correctly.";
}
$delay -= 3;
}

while (count($sockets)) {
$read=$sockets;
stream_select($read, $w=null, $e=null, $timeout);
if (count($read)) {
/* stream_select generally shuffles $read, so we need to
compute from which socket(s) we're reading. */
foreach ($read as $r) {
$id=array_search($r, $sockets);
$data=fread($r, $convenient_read_block);
/* A socket is readable either because it has
data to read, OR because it's at EOF. */
if (strlen($data) == 0) {
echo "Stream " . $id . " closes at " . date('h:i:s') . ".\n";
fclose($r);
unset($sockets[$id]);
} else {
$result[$id] .= $data;
}
}
} else {
/* A time-out means that *all* streams have failed
to receive a response. */
echo "Time-out!\n";
break;
}
}
?>

如果运行此清单,您将看到如下所示的输出。

清单 2. 从清单 1 中的程序获得的典型输出

Program starts at 02:38:50.
Stream 4 closes at 02:38:53.
Stream 3 closes at 02:38:56.
Stream 2 closes at 02:38:59.
Stream 1 closes at 02:39:02.
Stream 0 closes at 02:39:05.

了解这其中的工作原理至关重要。在较高层次上,第一个程序将发出几个 HTTP 请求并接收 Web 服务器发送给它的页面。虽然生产应用程序将很可能寻找若干个 Web 服务器的地址 —— 可能是 google.com、yahoo.com、ask.com 等 —— 但是此示例将把它的所有请求发送到位于 Phaseit.net 的企业服务器上,只为降低复杂度。

Web 页面请求在延迟(可变)后返回结果,如下所示。如果程序按顺序发出请求,则需花费大约 15+12+9+6+3 (45) 秒钟才能完成。如清单 2 所示,它实际上花费 15 秒钟完成。性能提高了三倍。

使这成为可能的是 PHP V5 的新 stream_select 函数。请求都是以常规方法发起,方法为打开几个 stream_socket_client 并向对应于 http://phaseit.net/demonstration/delay?delay=$DELAY 的每个 stream_socket_client 写入 GET。如果您通过浏览器请求此 URL,则在几秒钟之后,您将看到:

Starting at Thu Apr 12 15:05:01 UTC 2007.
Stopping at Thu Apr 12 15:05:05 UTC 2007.
4 second delay.

延迟服务器将作为 CGI 实现,如下所示:

清单 3. 延迟服务器实现

#!/bin/sh

echo "Content-type: text/html

<HTML> <HEAD></HEAD> <BODY>"

echo "Starting at `date`."
RR=`echo $REQUEST_URI | sed -e 's/.*?//'`
DELAY=`echo $RR | sed -e 's/delay=//'`
sleep $DELAY
echo "<br>Stopping at `date`."
echo "<br>$DELAY second delay.</body></html>"

虽然清单 3 的特殊实现特定于 UNIX?,但是本文中几乎所有实现都将很好地应用于 Windows?(尤其是 Windows 98 以后的版本)或 PHP 的 UNIX 安装。特别地,清单 1 可以托管在任意一个操作系统中。因此,Linux? 和 Mac OS X 都是 UNIX 变体,因此这里所有的代码都可以在两者的任意一种中运行。

按照以下顺序向延迟服务器发出请求。

清单 4. 进程启动顺序

delay=15
delay=12
delay= 9
delay= 6
delay= 3

stream_select 的作用是尽可能快速地接收结果。在这种情况下,它执行的顺序与发出结果的顺序刚好相反。3 秒后,第一个页面已经准备好读取。程序的这一部分也符合常规 PHP —— 在本例中,使用 fread。就像在其他 PHP 程序一样,读取可以很好地通过 fgets 完成。

处理将以同样的方法继续。程序将在 stream_select 停止,直至数据就绪。重要的一点是,只要任何 连接具有数据,不管顺序怎样,程序都将开始读取。这是程序进行多任务处理或并发处理来自多个请求的结果的方法。

注意,这没有对主机 CPU 造成任何负担。经常会遇到这样一些连网程序,以 CPU 使用率急速上升至 100% 的方式在 while 中使用 fread。那种情况不会出现在这里,因为 stream_select 拥有支持立即响应所需的属性(只要有任何读取信息),但是它将在各读取操作间隙的等待时间内产生可忽略的 CPU 负载。

必备的 stream_select() 知识

诸如此类的基于事件的编程并不是最基本的。虽然清单 1 被简化到只包含最基本要素,但是涉及作为多任务应用程序必要元素的回调或协调的任何编码,比简单的程序顺序更让人觉得陌生。在这种情况下,大多数挑战集中 在 $read 数组上。注意,它是一个引用;stream_select 将通过改变 $read 的内容返回重要信息。就像指针是 C 的最大绊脚石一样,引用似乎是 PHP 中最让程序员感到棘手的一部分。

您可以使用这项技术向任意个外部 Web 站点发出请求,确信您的程序会尽快收到所有结果,而无需等待其他请求。实际上,该技术将正确处理所有 TCP/IP 连接,而不只是 Web 端口 80 上的连接,因此您可以大体上管理 LDAP 检索、SMTP 传输、SOAP 请求等。

但那不是全部。PHP V5 将管理 “流” 之类的各种连接,而不仅是简单的套接字。PHP 的 Client URL library (CURL) 支持 HTTPS 证书、FTP 上传、cookie 等。(CURL 允许 PHP 应用程序使用各种协议连接至服务器)。由于 CURL 将提供流接口,因此从程序的角度来看,连接是透明的。下一个部分将展示 stream_select 如何多路传输本地计算。

对于 stream_select 还有几点需要注意。它还在进行文档整理,因为即使最新的 PHP 书籍都没有涉列它。可在 Web 上获得的几个代码示例完全不能工作或者让人产生混淆。stream_select 的第二个和第三个参数用于管理与清单 1 的 read 通道相对应的 write 和 exception 通道,应当始终为 null。除了少数例外情况,在可写通道或异常通道中选择这两个参数是错误的。除非您有经验,否则请坚持可读选择。

此外,至少在 PHP V5.1.2 之前,stream_select 还明显存在错误。最重要的是,不能信任函数的返回值。虽然我尚未调试过实现,但是经验告诉我,可以安全地测试清单 1 中的 count($read),但是测试 stream_select 本身的返回值并不 安全(尽管有官方文档)。

本地 PHP 并发

示例及上面的大部分讨论主要讨论了如何同时管理若干个远程资源并接收到达的结果,而不是按照最初请求的顺序等待处理各个请求。这肯定是 PHP 并发的重要应用。实际应用程序的速度有时候可以提高 10 倍或更多。

如果出现性能衰退怎么办?有没有一种方法可以提升受限于本地处理的 PHP 结果的速度?方法有多种。要说有什么不同的话,这些方法不如清单 1 中的面向套接字的方法有名。造成这种情况的原因有很多,包括:

大多数 PHP 页面已经足够快 —— 更好的性能会是一种优势,但是还不值得对新代码进行投入。
在 Web 页面中使用 PHP 可以放弃部分无关紧要的性能提升 —— 当惟一的价值标准是交付整个 Web 页面需要的时间时,那么重新安排计算以更快地获得中间结果并不重要。

PHP 不能控制本地瓶颈 —— 用户可能会为花 8 秒的时间提取帐户记录的详细信息而抱怨,但是那很可能是数据库处理或某种其他 PHP 外部资源的约束。即使将 PHP 处理降至零,单是查找就仍需要花费超过 7 秒的时间。

甚至很少有约束是并行的 —— 假定某特定页面将为具体列出的普通股计算建议交易价格,并且计算十分复杂,需要花费一段时间。计算在本质上可能是顺序执行的。没有一种明显的方法可以将其划分为 “团队协作”。

很少有 PHP 程序员能够认识到 PHP 实现并发的潜力。在具有使用并行实现性能需求的少数人当中,我遇到的大多数人全都说 PHP “不支持线程”,并且甘于使用现有的计算模型。

可是,有时我们可以做得更好。假定 PHP 页面需要计算两只股票价格,可能还需要将两者相比较,并且底层主机刚好是多处理器。在这种情况下,通过将两个截然不同并且十分耗时的计算分配给不同处理器,可能会提高几乎两倍的性能。

在所有 PHP 计算领域中,此类实例很少见。但是,由于我发现到处都没有对它的精确记录,因此需要在这里包括用于此类加速的模型。

清单 5. 延迟服务器实现

<?php
echo "Program starts at ". date('h:i:s') . ".\n";

$timeout=10;
$streams=array();
$handles=array();

/* First launch a program with a delay of three seconds, then
one which returns after only one second. */
$delay=3;
for ($id=0; $id <= 1; $id++) {
$error_log="/tmp/error" . $id . ".txt"
$descriptorspec=array(
0 => array("pipe", "r"),
1 => array("pipe", "w"),
2 => array("file", $error_log, "w")
);
$cmd='sleep ' . $delay . '; echo "Finished with delay of ' .
$delay . '".';
$handles[$id]=proc_open($cmd, $descriptorspec, $pipes);
$streams[$id]=$pipes[1];
$all_pipes[$id]=$pipes;
$delay -= 2;
}

while (count($streams)) {
$read=$streams;
stream_select($read, $w=null, $e=null, $timeout);
foreach ($read as $r) {
$id=array_search($r, $strea**ms);
echo stream_get_contents($all_pipes[$id][1]);
if (feof($r)) {
fclose($all_pipes[$id][0]);
fclose($all_pipes[$id][1]);
$return_value=proc_close($handles[$id]);
unset($streams[$id]);
}
}
}
?>

此程序将生成如下输出:

Program starts at 10:28:41.
Finished with delay of 1.
Finished with delay of 3.

这里的关键在于 PHP 启动了两个独立子进程,取回待完成的第一个进程的输出,然后取回第二个进程的输出,即使后者启动得较早。如果主机是多处理器计算机,并且操作系统已正确配 置,则操作系统本身负责将各个子程序分配给不同的处理器。这是在多处理器主机中良好应用 PHP 的一种方法。

PHP 支持多任务。PHP 不按照诸如 Java 编程语言或 C++ 等其他语言所采用的方法支持线程,但是以上示例表明 PHP 具有更多的超乎想象的加速潜力。
/Files/xiaomage234/thread.rar
posted @ 2009-08-13 11:33 小马歌 阅读(137) | 评论 (0)编辑 收藏
 
arnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid,

性能比以前更好。
varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一,他认为现在的计算机比起1975年已经复杂许多。在1975年时,储存媒介只有两

种:内存与硬盘。但现在计算机系统的内存除了主存外,还包括了cpu内的L1、L2,甚至有L3快取。硬盘上也有自己的快取装置,因此squid

cache自行处理物件替换的架构不可能得知这些情况而做到最佳化,但操作系统可以得知这些情况,所以这部份的工作应该交给操作系统处理,

这就是 Varnish cache设计架构。

varnish项目:http://varnish.projects.linpro.no/
varnish 中文WIKI:http://zh.wikipedia.org/wiki/Varnish_cache
posted @ 2009-08-08 09:50 小马歌 阅读(208) | 评论 (0)编辑 收藏
 
from: http://blog.s135.com/post/313/

我曾经写过一篇文章──《初步试用Squid的替代产品──Varnish Cache网站加速器》,但当时仅仅是用着玩,没做深入研究。

今天写的这篇关于Varnish的文章,已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少,中文资料更是微乎其微,希望本文能够吸引更多的人研究、使用Varnish。

在我看来,使用Varnish代替Squid的理由有三点:
1、Varnish采用了“Visual Page Cache”技术,在内存的利用上,Varnish比Squid具有优势,它避免了Squid频繁在内存、磁盘中交换文件,性能要比Squid高。
2、Varnish的稳定性还不错,我管理的一台图片服务器运行Varnish已经有一个月,没有发生过故障,而进行相同工作的Squid服务器就倒过几次。
3、通过Varnish管理端口,可以使用正则表达式快速、批量地清除部分缓存,这一点是Squid不能具备的。

点击在新窗口中浏览此图片


下面来安装Varnish网站缓存加速器(Linux系统):
1、创建www用户和组,以及Varnish缓存文件存放目录(/var/vcache):
/usr/sbin/groupadd www -g 48
/usr/sbin/useradd -u 48 -g www www
mkdir -p /var/vcache
chmod +w /var/vcache
chown -R www:www /var/vcache


2、创建Varnish日志目录(/var/logs/):
mkdir -p /var/logs
chmod +w /var/logs
chown -R www:www /var/logs


3、编译安装varnish:
wget http://blog.s135.com/soft/linux/varnish/varnish-1.1.2.tar.gz
tar zxvf varnish-1.1.2.tar.gz
cd varnish-1.1.2
./configure --prefix=/usr/local/varnish
make && make install


4、创建Varnish配置文件:
vi /usr/local/varnish/vcl.conf

输入以下内容:
引用
backend myblogserver {
       set backend.host = "192.168.0.5";
       set backend.port = "80";
}

acl purge {
       "localhost";
       "127.0.0.1";
       "192.168.1.0"/24;
}

sub vcl_recv {
       if (req.request == "PURGE") {
               if (!client.ip ~ purge) {
                       error 405 "Not allowed.";
               }
               lookup;
       }

       if (req.http.host ~ "^blog.s135.com") {
               set req.backend = myblogserver;
               if (req.request != "GET" && req.request != "HEAD") {
                       pipe;
               }
               else {
                       lookup;
               }
       }
       else {
               error 404 "Zhang Yan Cache Server";
               lookup;
       }
}

sub vcl_hit {
       if (req.request == "PURGE") {
               set obj.ttl = 0s;
               error 200 "Purged.";
       }
}

sub vcl_miss {
       if (req.request == "PURGE") {
               error 404 "Not in cache.";
       }
}

sub vcl_fetch {
       if (req.request == "GET" && req.url ~ "\.(txt|js)$") {
               set obj.ttl = 3600s;
       }
       else {
               set obj.ttl = 30d;
       }
}

这里,我对这段配置文件解释一下:
(1)、Varnish通过反向代理请求后端IP为192.168.0.5,端口为80的web服务器;
(2)、Varnish允许localhost、127.0.0.1、192.168.0.***三个来源IP通过PURGE方法清除缓存;
(3)、Varnish对域名为blog.s135.com的请求进行处理,非blog.s135.com域名的请求则返回“Zhang Yan Cache Server”;
(4)、Varnish对HTTP协议中的GET、HEAD请求进行缓存,对POST请求透过,让其直接访问后端Web服务器。之所以这样配置,是因为POST请求一般是发送数据给服务器的,需要服务器接收、处理,所以不缓存;
(5)、Varnish对以.txt和.js结尾的URL缓存时间设置1小时,对其他的URL缓存时间设置为30天。

5、启动Varnish
ulimit -SHn 51200
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on


6、启动varnishncsa用来将Varnish访问日志写入日志文件:
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/varnish.log &


7、配置开机自动启动Varnish
vi /etc/rc.local

在末尾增加以下内容:
引用
ulimit -SHn 51200
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &


8、优化Linux内核参数
vi /etc/sysctl.conf

在末尾增加以下内容:
引用
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000    65000



再看看如何管理Varnish:
1、查看Varnish服务器连接数与命中率:
/usr/local/varnish/bin/varnishstat

点击在新窗口中浏览此图片

2、通过Varnish管理端口进行管理:
用help看看可以使用哪些Varnish命令:
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 help

引用
Available commands:
ping [timestamp]
status
start
stop
stats
vcl.load
vcl.inline
vcl.use
vcl.discard
vcl.list
vcl.show
param.show [-l] [
]
param.set
help [command]
url.purge
dump.pool

3、通过Varnish管理端口,使用正则表达式批量清除缓存:
(1)、例:清除类似http://blog.s135.com/a/zhangyan.html的URL地址):
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge /a/

(2)、例:清除类似http://blog.s135.com/tech的URL地址:
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge w*$

(3)、例:清除所有缓存:
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge *$


4、一个清除Squid缓存的PHP函数(清除Varnish缓存同样可以使用该函数,无需作任何修改,十分方便):
  1. <?php   
  2. function purge($ip$url)   
  3. {   
  4.     $errstr = '';   
  5.     $errno = '';   
  6.     $fp = fsockopen ($ip, 80, $errno$errstr, 2);   
  7.     if (!$fp)   
  8.     {   
  9.          return false;   
  10.     }   
  11.     else  
  12.     {   
  13.         $out = "PURGE $url HTTP/1.1\r\n";   
  14.         $out .= "Host:blog.s135.com\r\n";   
  15.         $out .= "Connection: close\r\n\r\n";   
  16.         fputs ($fp$out);   
  17.         $out = fgets($fp , 4096);   
  18.         fclose ($fp);   
  19.         return true;   
  20.     }   
  21. }   
  22.   
  23. purge("192.168.0.4""/index.php");   
  24. ?>  


附1:Varnish官方网站:http://www.varnish-cache.org/

附2:2007年12月10日,我写了一个每天0点运行,按天切割Varnish日志,生成一个压缩文件,同时删除上个月旧日志的脚本(/var/logs/cutlog.sh):
/var/logs/cutlog.sh文件内容如下:
引用
#!/bin/sh
# This file run at 00:00
date=$(date -d "yesterday" +"%Y-%m-%d")
pkill -9 varnishncsa
mv /var/logs/youvideo.log /var/logs/${date}.log
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &
mkdir -p /var/logs/youvideo/
gzip -c /var/logs/${date}.log > /var/logs/youvideo/${date}.log.gz
rm -f /var/logs/${date}.log
rm -f /var/logs/youvideo/$(date -d "-1 month" +"%Y-%m*").log.gz

设置在每天00:00定时执行:
/usr/bin/crontab -e
或者
vi /var/spool/cron/root
输入以下内容:
引用
0 0 * * * /bin/sh /var/logs/cutlog.sh



Tags: , , ,
技术大类 » Cache与存储 | 评论(42) | 引用(0) | 阅读(24422)
Jacky
2007-12-3 10:28
varnish如何做到在不重启的情况下重新载入配置文件
Jacky
2007-12-3 10:29
用varnish做反向代理的时候,登录一般的网站没有任何问题。登录DZ论坛的后台出现无法登录,没有任何提示。用squid就没有这样的问题,不知道那位老大遇到过这样的问题。
张宴 回复于 2007-12-5 19:08
出问题是肯定的,因为本文中的Varnish配置将缓存所有类型的文件,而你使用squid之所以正常,是因为在squid配置文件中没有配置去缓存php文件。同样,对于Varnish,你可以选择不缓存.php文件,修改vcl.conf配置文件:
if (req.request != "GET" && req.request != "HEAD") {
  pipe;
}
elseif(req.url ~ "\.(php|cgi)($|\?)") {
  pass;
}
else {
  lookup;
}
itsea
2007-12-4 23:42
张兄,今天测了一下varnish,原来用nginx+squid ESTAB连接大概在1700的机器换了varnish后连接数只有300多了,访问起来一切正常,cacti查看到流量也是正常的,难道varnish就强在这shock?配置是按您的配置做的。
另外还有个问题vcache这个目录是用来保存cache文件的是吗?我在ll vcache里什么文件都没有。
还有用varnish这个方法还解决了一直让我头疼的squid不支持iis compress问题,实在太感谢了grin
张宴 回复于 2007-12-5 20:02
TCP连接数Varnish要比Squid少,因为Varnish的TCP连接释放要比Squid快。

但同时处理的请求数Varnish要比Squid高一些,这是我在F5 BIG-IP下的两台服务器,一台Varnish、另一台Squid,F5 BIG-IP分给它们的连接数相同,Varnish实时处理的请求数比Squid多1倍,平均处理的请求数也比Squid多100余个:

/usr/local/webserver/varnish/bin/varnishstat
-----------------------------------------------------------
   70979868       580.97       356.55 Client requests received
   70897998       580.97       356.14 Cache hits

/usr/local/squid/bin/squidclient -p 80 mgr:5min
-----------------------------------------------------------
client_http.requests = 248.425264/sec
client_http.hits = 245.135282/sec


如果正常的话,vcache这个目录里只有一个大小为1G的文件:varnish_cache.data
itsea
2007-12-5 10:06
今天遇到的问题貌似跟楼上说的一样,varnish做反向代理后dvbbs登陆不正常,用户登陆后显示同一个用户名,验证码不变。
张宴 回复于 2007-12-5 19:21
同理,有些URL是实时的,不需要被缓存,可以自己修改配置文件,用req.url ~过滤掉这些URL。

不过,不建议对discus!、dvbbs等别人写的论坛程序使用Squid、Varnish做缓存,因为这些程序本身就没有用PURGE指令去刷新Squid、Varnish缓存的功能。

就连Discuz!的官方论坛www.discuz.net,也只不过对图片、css、js文件用squid进行了缓存,php等其他文件都是MISS透过:

http://www.discuz.net/
Via  1.0 www1.discuz.net:80 (squid)
X-Cache  MISS from www1.discuz.net
X-Powered-By  PHP/5.2.4

http://www.discuz.net/register.php
Via  1.0 www1.discuz.net:80 (squid)
X-Cache  MISS from www1.discuz.net
X-Powered-By  PHP/5.2.4

http://www.discuz.net/forumdata/cache/style_1.css
Via  1.0 www1.discuz.net:80 (squid)
X-Cache  HIT from www1.discuz.net

http://www.discuz.net/images/default/logo.gif
Via  1.0 www1.discuz.net:80 (squid)
X-Cache  HIT from www1.discuz.net
minuteman
2007-12-6 16:20
正好这两天我在自己的BLOG上也做了varnish缓存的实验
用varnishncsa输出日志,但发现里面有不少日志条目是127.0.0.1来的访问,觉得比较奇怪,是不是varnishd工作时候产生的?上网找也没找到相关的解释。
老大你有没有相关知识分享一下?嘿嘿
leftleg
2007-12-7 12:50
discuz 做缓存的话 ,可以试试使用缓存帖子分页。
Jacky
2007-12-7 14:12
varnish可以实现类似于squid那样的父子节点关系吗?
itsea
2007-12-7 14:51
今天在另外一个平台上使用varnish测试
增加了
if (req.request != "GET" && req.request != "HEAD") {
                   pipe;
                 }
              elseif(req.url ~ "\.(aspx|asp|shtml|vimg)($|\?)") {
                   pass;
                 }
              else {
                   lookup;
                 }
}
后还是偶尔有用户登陆后显示别人的用户名
而且程序员更新js文件后不能马上看到
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge *$
purge所有后也不行,还发现一个小问题执行 varnishadm后容易使varnishd父进程吃cpu 100%一直下不来
我的访问量在 350 request/sec
e文的理解能力比较查在man跟官方faq里似乎没看到类似情况
minuteman
2007-12-7 17:57
缓存不该缓存的对象的问题
也许可以通过在recv里
   if (req.http.Cache-Control ~ "no-cache") {
       pass;
   }
在fetch里加
   if (obj.http.Pragma ~ "no-cache" || obj.http.Cache-Control ~ "no-cache" || obj.http.Cache-Control ~ "private") {
       pass;
   }
leftleg
2007-12-10 16:00
ping [timestamp]
status
start
stop
stats
vcl.load <configname> <filename>
vcl.inline <configname> <quoted_VCLstring>
vcl.use <configname>
vcl.discard <configname>
vcl.list
vcl.show <configname>
param.show [-l] [<param>]
param.set <param> <value>
help [command]

telnet 管理有个 vcl.load 应该可以 不重启的情况下重新载入配置文件
小春
2007-12-20 12:02
张老师,我装好了,一切正常,只提到的管理这些功能不正常:
[root@linux1 ~]# /usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500
usage: varnishadm -T [address]:port command [...]

上面命令明明没有问题,端口监听也正常.

[root@linux1 ~]# /usr/local/varnish/bin/varnishstat
Cannot open /usr/local/varnish/var/varnish/www.38hao.org/_.vsl: No such file or directory
但是我的,这_.vsl文件明明是在/data/cache目录下,他非到 /usr/local/varnish/var/varnish/下读!
张宴 回复于 2007-12-20 21:31
/usr/local/varnish/bin/varnishstat -n /data/vcache
jack
2007-12-21 09:59
[root@localhost root]# cat start_cache.sh
ulimit -SHn 51200
/usr/local/varnish/sbin/varnishd -n /home/cache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:81 -s file,/home/cache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on
/usr/local/varnish/bin/varnishncsa -n /home/cache -w /home/logs/www.log &
[root@localhost root]# sh start_cache.sh
file /home/cache/varnish_cache.data size 1073741824 bytes (262144 fs-blocks, 262144 pages)
Using old SHMFILE
[root@localhost root]# netstat -untl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State      
tcp        0      0 0.0.0.0:199                 0.0.0.0:*                   LISTEN      
tcp        0      0 0.0.0.0:80                  0.0.0.0:*                   LISTEN      
tcp        0      0 0.0.0.0:21                  0.0.0.0:*                   LISTEN      
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN      
udp        0      0 0.0.0.0:161                 0.0.0.0:*  

服务启动时也不报错,就是看不到varnish监听的端口,如何debug? 实在看不出什么问题,
请张老师指点一下!
coffee
2007-12-21 16:49
(1)、Varnish通过反向代理请求后端IP为192.168.0.5,端口为80的web服务器;
backend.host  如果有多台的话 是否也可以象 SQUID 那样设置在 hosts文件里面,
(3)、Varnish对域名为blog.s135.com的请求进行处理,非blog.s135.com域名的请求则返回“Zhang Yan Cache Server”;  
squid 可以根据到目的IP是否符合在判断是否可以使用 这样就不用判断域名 不知道在 Varnish 也可以这样设置
阿木
2007-12-23 08:34
张老师,我服务器上用varnish+nginx在同一台机器上跑,运行没有三分钟的时候,就开始卡,仍后几乎网页打不开。不知道什么原因,而我在本地虚拟环境测试一点问题都没有,只是本地的是varnish+apache,而线上服务器是varnish+nginx,有点不解,请张老师指点一下,有遇到想关问题的朋友指点一下!
原来本地是squid+nginx速度飞快,现在是varnish+nginx就卡得不行...
varnish
2008-1-4 17:41
问下varnish 怎么配置 泛域名 的主机,我很很多二级域名,比如 xx.abc.com    ,一个一个加好麻烦。。。squid 或者nginx 都支持 .abc.com 的
张宴 回复于 2008-1-4 21:24
if (req.http.host ~ "^blog.s135.com") {
改成
if (req.http.host ~ ".abc.com") {
aiqingno
2008-1-5 11:38
张老师,我连菜鸟都算不上。。
想问问如何,把访问的地址的IP更换成www.XXXXX.com的类型呢?
需要什么才可以的吗?
antiaiqingno
2008-1-6 16:56
需要反向DNS
xia_you_mu Email
2008-1-6 18:30
问个问题,如果要做个全国性的网站负载均衡,可否搭配varnish+F5 bigip实现
1.varnish专门做cache  Server
2.F5 Bigip用做服务器负载均衡
张宴 回复于 2008-1-7 08:16
F5 BIGIP + Varnish是可行的,但是Varnish的缓存基本上在内存中,如果Varnish进程停止再启动,Varnish就会重新访问后端Web服务器。
还有种方案就是F5 BIGIP + Squid,Squid的缓存会保持在磁盘和内存,虽然Squid性能没有Varnish高,但它停止、重启的时候,可以直接先从磁盘读取缓存数据。
代码罐头
2008-1-9 15:36
引用
F5 BIGIP + Varnish是可行的,但是Varnish的缓存基本上在内存中,如果Varnish进程停止再启动,Varnish就会重新访问后端Web服务器。
还有种方案就是F5 BIGIP + Squid,Squid的缓存会保持在磁盘和内存,虽然Squid性能没有Varnish高,但它停止、重启的时候,可以直接先从磁盘读取缓存数据。


这样的话.重启Varnish会导致边缘节点访问一定时间内卡一下吧?
内存方式虽然快.但是这点上会很郁闷了.
powerv
2008-1-16 01:45
张老师:我出现如下错误
101 32      
all commands are in lower-case.

我的配置是这样的 Varnish 和 nginx 同在一台机器上,没办法,只有一台机器。我把Varnish配置为公网的80,如 210.21.21.21:80 这样,nginx配置为:127.0.0.1:80 启动是正常的,但访问时出现
101 32      
all commands are in lower-case.

请教一下怎样解决。
代码罐头
2008-1-16 12:42
sub vcl_hit {
      if (req.request == "PURGE") {
              set obj.ttl = 0s;
              error 200 "Purged.";
      }
}

这段不是很理解
每次获取到以后就把生存期设置成0?
那么不是每次请求都是分发去backend了?
没有起到cache的作用了?
张宴 回复于 2008-1-16 14:50
HTTP协议通常有三种方法,GET、HEAD和POST。而PURGE是一种由Squid作者定义的非HTTP官方方法,用来清除Squid缓存,我为了兼容Squid,也沿用Squid的PURGE方法来清除Varnish缓存。

通过浏览器访问一个URL地址,发送的HTTP请求头是:
GET http://www.abc.com/test.php
当遇到GET或HEAD方法,Varnish会从缓存中返回网页:

当从浏览器提交表单时(请求头中的方法为POST),需要透过Varnish将信息传递给后端Web服务器上的PHP程序处理,下面这几行表示如果请求头中的方法不是GET和HEAD,则透过Varnish访问后端Web服务器:
if (req.request != "GET" && req.request != "HEAD") {
pipe;
}

当遇到PURGE方法时,Varnishd会set obj.ttl = 0s;使某个URL的缓存失效,从而达到刷新Varnish缓存的目的。Varnish配置了只接收并处理以下IP发送PURGE请求:
acl purge {
      "localhost";
      "127.0.0.1";
      "192.168.1.0"/24;
}
代码罐头
2008-1-16 17:21
谢谢.今天看到varnish没有txt格式的help和sample.
倒是man里面非常详细.
powerv
2008-1-19 18:30
不知道大家DZ后台登陆问题解决没有,有的话请给个方案。我按
if (req.request != "GET" && req.request != "HEAD") {
 pipe;
}
elseif(req.url ~ "\.(php|cgi)($|\?)") {
 pass;
}
else {
 lookup;
}
也还是没解决。PHP是没被缓存,但还是无法登陆后台。
25hours
2008-2-1 15:18
看你的数据,跑得相当不错
我测试了下,当varnish创建了100多个worker后
varnishlog -i debug出现大量的 Create worker thread failed 12 Cannot allocate memory错误,还没发现该如何解决,我的环境是dell2950 4g mem/rhel4u4
1
2008-2-26 18:14
有没有加速网页刷新后不变的加速器
鸡尾酒
2008-3-16 22:01
squid可以批量删除,需要安装purge
然后squid用acl给purge的权限。
geminis
2008-3-17 17:19
这个软件不知道是否支持 反向代理??
gerry
2008-4-1 18:20
sir,我发现varnish在日志操过2G的时候就不写日志了,哪个参数可以修改?
redhat9
2008-6-20 11:10
张哥
请教你个问题
我采用单机做下载服务器,本机varnish运行在80端口,nginx在81
下载的文件夹中的exe文件很快,但是下载其它的文件,比如:zip\dat\等文件就很慢,时常报
503 Service Temporarily Unavailable

还有就是dat文件我是要下载,但在IE中打开绝对路径.却是把文件中的内容给解释出来了,
请帮帮我,应该如何配置!
谢谢
likuku Email Homepage
2008-6-20 17:59
我们试用时,发现 varnish 在将 virtual memory 占用达到 3G 时( linux 的 top 显示), cache 命中率会直接返回到 0%, 似乎是 varnish 的处理程序自动 reset 了,不知这个是个已知的 bug 还是什么其他问题?

这个故障在我这里是反复出现。
网友一个
2008-6-24 16:34
张老师你好。我按照你这个成功建立了。
但是,有写命令却用不了。比如/usr/local/varnish/bin/varnishstat,好像是没有编译好。不知道为什么
Kevin Homepage
2008-7-2 16:36
您好,请问Varnish配置生效除了重启以外没有别的办法么?
另外,vcl.conf控制访问的时候不支持非运算么?
我想实现除了所有的静态文件都转发到后台的web服务器,但是好像失败了
if (req.http.host ~ ".test.com") {
              set req.backend = webserver;
              if (req.request != "GET" && req.request != "HEAD") {
                      pipe;
              }
               elseif(req.url !~ "\.(jpg|jpeg|gif|png|ico|css|zip|tgz|gz|rar|bz2|doc|xls|exe|pdf|ppt|txt|tar|mid|midi|wav|bmp|rtf|js|htm|html)($|\?)") {
                      pass;
              }
              else {
                      lookup;
              }
      }
yyjun2008 Email
2008-8-28 11:59
varnish 做代理服务cache 怎么实现?
yyrjw
2008-8-29 09:50
varnish 2.0出来了,不知道张大哥对其参数设置有没有做过测试,想把1.2升到2.0,具体的参数调优不大清楚
freeke Email
2008-9-4 10:25
强烈支持张老师再将这个版本更新V2
dell
2008-9-11 18:05
/usr/local/varnish/bin/varnishstat  执行这个命令的时候.全是0.怎么回事
chaing
2008-10-10 16:22
引用
/usr/local/varnish/bin/varnishstat  执行这个命令的时候.全是0.怎么回事

说明varnish没有起作用,查看下配置文件
hello
2008-10-30 09:49
请问如何缓存动态网页?
meikuai Email
2008-11-26 18:32
请问 varnish只用内存做缓存, 机器 如果内存只有2G, 但缓存的内容 有几十G,是不是就不合适用它呢, 另外大的(超过2m)文件,也不适合用它吧。 这点还是squid 比较合适。
张宴 回复于 2008-11-26 18:41
是的。
key
2008-12-30 18:24
我的网站架构是:
前端是一个LVS,后端是apache+tomcat,假设域名www.dayan.com指向LVS的59.141.45.67这个IP
例如:
TCP  59.141.45.67:80 wlc persistent 900
 -> 192.168.1.116:80            
 -> 192.168.1.113:80          
后端的192.168.1.116和192.168.1.113是用的apache+tomcat,准备加varnish cache
现在已经是把动态和静态分开了,现在就是想把静态的做varnish cache

不知道这样的架构varnish cache 加在什么地方,是LVS上,还是其他的机器上
比如说我的域名是www.dayan.com指向的是LVS的IP,当我访问www.yan.com的时候它首先访问LVS,
然后通过LVS分到两台realserver,那cache是怎么样调用的呢,这块有点迷惑

请张宴老师指点指点!!!!
狂乱
2009-5-12 12:28
有最新版的说明么?现在最新2.0.4没有办法按照你的安装
一刀砍死
2009-7-21 17:09
引用
网友一个2008-6-24 16:34
张老师你好。我按照你这个成功建立了。
但是,有写命令却用不了。比如/usr/local/varnish/bin/varnishstat,好像是没有编译好。不知道为什么

没有ncurses-devel


posted @ 2009-08-08 09:42 小马歌 阅读(983) | 评论 (0)编辑 收藏
 
from http://user.qzone.qq.com/174658021/blog/1249104620

Linux系统出现问题时,我们不仅需要查看系统日志信息,而且还要使用大量的性能监测工具来判断究竟是哪一部分(内存、CPU、硬盘……)出了问题。在Linux系统中,所有的运行参数保存在虚拟目录/proc中,换句话说,我们使用的性能监控工具取到的数据值实际上就是源自于这个目录,当涉及到系统高估时,我们就可以修改/proc目录中的相关参数了,当然有些是不能乱改的。下面就让我们了解一下这些常用的性能监控工具。
1、uptime
uptime命令用于查看服务器运行了多长时间以及有多少个用户登录,快速获知服务器的负荷情况。

uptime的输出包含一项内容是load average,显示了最近1,5,15分钟的负荷情况。它的值代表等待CPU处理的进程数,如果CPU没有时间处理这些进程,load average值会升高;反之则会降低。
load average的最佳值是1,说明每个进程都可以马上处理并且没有CPU cycles被丢失。对于单CPU的机器,1或者2是可以接受的值;对于多路CPU的机器,load average值可能在8到10之间。
也可以使用uptime命令来判断网络性能。例如,某个网络应用性能很低,通过运行uptime查看服务器的负荷是否很高,如果不是,那么问题应该是网络方面造成的。
以下是uptime的运行实例:
9:24am up 19:06, 1 user, load average: 0.00, 0.00, 0.00
也可以查看/proc/loadavg和/proc/uptime两个文件,注意不能编辑/proc中的文件,要用cat等命令来查看,如:
liyawei:~ # cat /proc/loadavg
0.00 0.00 0.00 1/55 5505

2、dmesg
dmesg命令主要用来显示内核信息。使用dmesg可以有效诊断机器硬件故障或者添加硬件出现的问题。
另外,使用dmesg可以确定您的服务器安装了那些硬件。每次系统重启,系统都会检查所有硬件并将信息记录下来。执行/bin/dmesg命令可以查看该记录。
dmesg输入实例:
ReiserFS: hda6: checking transaction log (hda6)
ReiserFS: hda6: Using r5 hash to sort names
Adding 1044184k swap on /dev/hda5. Priority:-1 extents:1 across:1044184k
parport_pc: VIA 686A/8231 detected
parport_pc: probing current configuration
parport_pc: Current parallel port base: 0×378
parport0: PC-style at 0×378 (0×778), irq 7, using FIFO [PCSPP,TRISTATE,COMPAT,ECP]
parport_pc: VIA parallel port: io=0×378, irq=7
lp0: using parport0 (interrupt-driven).
e100: Intel(R) PRO/100 Network Driver, 3.5.10-k2-NAPI
e100: Copyright(c) 1999-2005 Intel Corporation
ACPI: PCI Interrupt 0000:00:0d.0[A] -> GSI 17 (level, low) -> IRQ 169
e100: eth0: e100_probe: addr 0xd8042000, irq 169, MAC addr 00:02:55:1E:35:91
usbcore: registered new driver usbfs
usbcore: registered new driver hub
hdc: ATAPI 48X CD-ROM drive, 128kB Cache, UDMA(33)
Uniform CD-ROM driver Revision: 3.20
USB Universal Host Controller Interface driver v2.3

3、top
top命令显示处理器的活动状况。缺省情况下,显示占用CPU最多的任务,并且每隔5秒钟做一次刷新。
Process priority的数值决定了CPU处理进程的顺序。LIUNX内核会根据需要调整该数值的大小。nice value局限于priority。priority的值不能低于nice value(nice value值越低,优先级越高)。您不可以直接修改Process priority的值,但是可以通过调整nice level值来间接地改变Process priority值,然而这一方法并不是所有时候都可用。如果某个进程运行异常的慢,可以通过降低nice level为该进程分配更多的CPU。
Linux 支持的 nice levels 由19 (优先级低)到-20 (优先级高),缺省值为0。
执行/bin/ps命令可以查看到当前进程的情况。

4、iostat
iostat由Red Hat Enterprise Linux AS发布。同时iostat也是Sysstat的一部分,可以下载到,网址是
http://perso.wanadoo.fr/sebastien.godard/
执行iostat命令可以从系统启动之后的CPU平均时间,类似于uptime。除此之外,iostat还对创建一个服务器磁盘子系统的活动报告。该报告包含两部分:CPU使用情况和磁盘使用情况。
iostat显示实例:
avg-cpu: %user %nice %system %iowait %steal %idle
0.16 0.01 0.03 0.10 0.00 99.71
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
hda 0.31 4.65 4.12 327796 290832
avg-cpu: %user %nice %system %iowait %steal %idle
1.00 0.00 0.00 0.00 0.00 100.00
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
hda 0.00 0.00 0.00 0 0
avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 0.00 0.00 0.00 99.01
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
hda 0.00 0.00 0.00 0 0
CPU占用情况包括四块内容
%user:显示user level (applications)时,CPU的占用情况。
%nice:显示user level在nice priority时,CPU的占用情况。
%sys:显示system level (kernel)时,CPU的占用情况。
%idle: 显示CPU空闲时间所占比例。
磁盘使用报告分成以下几个部分:
Device: 块设备的名字
tps: 该设备每秒I/O传输的次数。多个I/O请求可以组合为一个,每个I/O请求传输的字节数不同,因此可以将多个I/O请求合并为一个。
Blk_read/s, Blk_wrtn/s: 表示从该设备每秒读写的数据块数量。块的大小可以不同,如1024, 2048 或 4048字节,这取决于partition的大小。
例如,执行下列命令获得设备/dev/sda1 的数据块大小:
dumpe2fs -h /dev/sda1 |grep -F “Block size”
输出结果如下
dumpe2fs 1.34 (25-Jul-2003)
Block size: 1024
Blk_read, Blk_wrtn: 指示自从系统启动之后数据块读/写的合计数。
也可以查看这几个文件/proc/stat,/proc/partitions,/proc/diskstats的内容。

5、vmstat
vmstat提供了processes, memory, paging, block I/O, traps和CPU的活动状况
procs ———–memory———- —swap– —–io—- -system– —–cpu——
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 0 513072 52324 162404 0 0 2 2 261 32 0 0 100 0 0
0 0 0 513072 52324 162404 0 0 0 0 271 43 0 0 100 0 0
0 0 0 513072 52324 162404 0 0 0 0 255 27 0 0 100 0 0
0 0 0 513072 52324 162404 0 0 0 28 275 51 0 0 97 3 0
0 0 0 513072 52324 162404 0 0 0 0 255 21 0 0 100 0 0
各输出列的含义:
Process
– r: The number of processes waiting for runtime.
– b: The number of processes in uninterruptable sleep.
Memory
– swpd: The amount of virtual memory used (KB).
– free: The amount of idle memory (KB).
– buff: The amount of memory used as buffers (KB).
Swap
– si: Amount of memory swapped from the disk (KBps).
– so: Amount of memory swapped to the disk (KBps).
IO
– bi: Blocks sent to a block device (blocks/s).
– bo: Blocks received from a block device (blocks/s).
System
– in: The number of interrupts per second, including the clock.
– cs: The number of context switches per second.
CPU (these are percentages of total CPU time)
- us: Time spent running non-kernel code (user time, including nice time).
– sy: Time spent running kernel code (system time).
– id: Time spent idle. Prior to Linux 2.5.41, this included IO-wait time.
– wa: Time spent waiting for IO. Prior to Linux 2.5.41, this appeared as zero.

6、sar
sar是Red Hat Enterprise Linux AS发行的一个工具,同时也是Sysstat工具集的命令之一,可以从以下网址下载:
http://perso.wanadoo.fr/sebastien.godard/
sar用于收集、报告或者保存系统活动信息。sar由三个应用组成:sar显示数据、sar1和sar2用于收集和保存数据。
使用sar1和sar2,系统能够配置成自动抓取信息和日志,以备分析使用。配置举例:在/etc/crontab中添加如下几行内容
同样的,你也可以在命令行方式下使用sar运行实时报告。如图所示:
从收集的信息中,可以得到详细的CPU使用情况(%user, %nice, %system, %idle)、内存页面调度、网络I/O、进程活动、块设备活动、以及interrupts/second
liyawei:~ # sar -u 3 10
Linux 2.6.16.21-0.8-default (liyawei) 05/31/07
10:17:16 CPU %user %nice %system %iowait %idle
10:17:19 all 0.00 0.00 0.00 0.00 100.00
10:17:22 all 0.00 0.00 0.00 0.33 99.67
10:17:25 all 0.00 0.00 0.00 0.00 100.00
10:17:28 all 0.00 0.00 0.00 0.00 100.00
10:17:31 all 0.00 0.00 0.00 0.00 100.00
10:17:34 all 0.00 0.00 0.00 0.00 100.00

7、KDE System Guard
KDE System Guard (KSysguard) 是KDE图形方式的任务管理和性能监视工具。监视本地及远程客户端/服务器架构体系的中的主机。

8、free
/bin/free命令显示所有空闲的和使用的内存数量,包括swap。同时也包含内核使用的缓存。
total used free shared buffers cached
Mem: 776492 263480 513012 0 52332 162504
-/+ buffers/cache: 48644 727848
Swap: 1044184 0 1044184

9、Traffic-vis
Traffic-vis是一套测定哪些主机在IP网进行通信、通信的目标主机以及传输的数据量。并输出纯文本、HTML或者GIF格式的报告。
注:Traffic-vis仅仅适用于SUSE LINUX ENTERPRISE SERVER。
如下命令用来收集网口eth0的信息:
traffic-collector -i eth0 -s /root/output_traffic-collector
可以使用killall命令来控制该进程。如果要将报告写入磁盘,可使用如下命令:
killall -9 traffic-collector
要停止对信息的收集,执行如下命令:killall -9 traffic-collector
注意,不要忘记执行最后一条命令,否则会因为内存占用而影响性能。
可以根据packets, bytes, TCP连接数对输出进行排序,根据每项的总数或者收/发的数量进行。
例如根据主机上packets的收/发数量排序,执行命令:
traffic-sort -i output_traffic-collector -o output_traffic-sort -Hp
如要生成HTML格式的报告,显示传输的字节数,packets的记录、全部TCP连接请求和网络中每台服务器的信息,请运行命令:
traffic-tohtml -i output_traffic-sort -o output_traffic-tohtml.html
如要生成GIF格式(600X600)的报告,请运行命令:
traffic-togif -i output_traffic-sort -o output_traffic-togif.gif -x 600 -y 600
GIF格式的报告可以方便地发现网络广播,查看哪台主机在TCP网络中使用IPX/SPX协议并隔离网络,需要记住的是,IPX是基于广播包的协议。如果我们需要查明例如网卡故障或重复IP的问题,需要使用特殊的工具。例如SUSE LINUX Enterprise Server自带的Ethereal。
技巧和提示:使用管道,可以只需执行一条命令来产生报告。如生成HTML的报告,执行命令:
cat output_traffic-collector | traffic-sort -Hp | traffic-tohtml -o output_traffic-tohtml.html
如要生成GIF文件,执行命令:
cat output_traffic-collector | traffic-sort -Hp | traffic-togif -o output_traffic-togif.gif -x 600 -y 600

10、pmap
pmap可以报告某个或多个进程的内存使用情况。使用pmap判断主机中哪个进程因占用过多内存导致内存瓶颈。
pmap
liyawei:~ # pmap 1
1: init
START SIZE RSS DIRTY PERM MAPPING
08048000 484K 244K 0K r-xp /sbin/init
080c1000 4K 4K 4K rw-p /sbin/init
080c2000 144K 24K 24K rw-p [heap]
bfb5b000 84K 12K 12K rw-p [stack]
ffffe000 4K 0K 0K —p [vdso]
Total: 720K 284K 40K
232K writable-private, 488K readonly-private, and 0K shared

11、strace
strace截取和记录系统进程调用,以及进程收到的信号。是一个非常有效的检测、指导和调试工具。系统管理员可以通过该命令容易地解决程序问题。
使用该命令需要指明进程的ID(PID),例如:
strace -p
# strace –p 2582
rt_sigprocmask(SIG_SETMASK, [], NULL, = 0
read(7, “\”\\\”\\\\\\\”\\\\\\\\\\\\\\\”\\\\\\\\\\\\\\\\\\\\\\\\”…, 16384) = 321
write(3, “}H\331q\37\275$\271\t\311M\304$\317~)R9\330Oj\304\257\327″…, 360) = 360
select(8, [3 4 7], [3], NULL, NULL) = 2 (in [7], out [3])
rt_sigprocmask(SIG_BLOCK, [CHLD], [], = 0
rt_sigprocmask(SIG_SETMASK, [], NULL, = 0
read(7, “\”\\\”\\\\\\\”\\\\\\\\\\\\\\\”\\\\\\\\\\\\\\\\\\\\\\\\”…, 16384) = 323
write(3, “\204\303\27$\35\206\\\306VL\370\5R\200\226\2\320^\253\253″…, 360) = 360
select(8, [3 4 7], [3], NULL, NULL) = 2 (in [7], out [3])
rt_sigprocmask(SIG_BLOCK, [CHLD], [], = 0
rt_sigprocmask(SIG_SETMASK, [], NULL, = 0
read(7, “\”\\\”\\\\\\\”\\\\\\\\\\\\\\\”\\\\\\\\\\\\\\\\\\\\\\\\”…, 16384) = 323
write(3, “\243\207\204\277Cw162\2ju=\205\’L\352?0J\256I\376\32″…, 360) = 360
select(8, [3 4 7], [3], NULL, NULL) = 2 (in [7], out [3])
rt_sigprocmask(SIG_BLOCK, [CHLD], [], = 0
rt_sigprocmask(SIG_SETMASK, [], NULL, = 0
read(7, “\”\\\”\\\\\\\”\\\\\\\\\\\\\\\”\\\\\\\\\\\\\\\\\\\\\\\\”…, 16384) = 320
write(3, “6\270S\3i\310\334\301\253!ys\324\’\234%\356\305\26\233″…, 360) = 360
select(8, [3 4 7], [3], NULL, NULL) = 2 (in [7], out [3])
rt_sigprocmask(SIG_BLOCK, [CHLD], [], = 0
rt_sigprocmask(SIG_SETMASK, [], NULL, = 0

12、ulimit
ulimit内置在bash shell中,用来提供对shell和进程可用资源的控制
liyawei:~ # ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
pending signals (-i) 6143
max locked memory (kbytes, -l) 32
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 6143
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
-H和-S选项指明所给资源的软硬限制。如果超过了软限制,系统管理员会收到警告信息。硬限制指在用户收到超过文件句炳限制的错误信息之前,可以达到的最大值。
例如可以设置对文件句炳的硬限制:ulimit -Hn 4096
例如可以设置对文件句炳的软限制:ulimit -Sn 1024
查看软硬值,执行如下命令:
ulimit -Hn
ulimit -Sn
例如限制Oracle用户. 在/etc/security/limits.conf输入以下行:
soft nofile 4096
hard nofile 10240
对于Red Hat Enterprise Linux AS,确定文件/etc/pam.d/system-auth包含如下行
session required /lib/security/$ISA/pam_limits.so
对于SUSE LINUX Enterprise Server,确定文件/etc/pam.d/login 和/etc/pam.d/sshd包含如下行:
session required pam_limits.so
这一行使这些限制生效。

13、mpstat
mpstat是Sysstat工具集的一部分,下载地址是
http://perso.wanadoo.fr/sebastien.godard/
mpstat用于报告多路CPU主机的每颗CPU活动情况,以及整个主机的CPU情况。
例如,下边的命令可以隔2秒报告一次处理器的活动情况,执行3次
mpstat 2 3
liyawei:~ # mpstat 2 3
Linux 2.6.16.21-0.8-default (liyawei) 05/31/07
10:23:03 CPU %user %nice %sys %iowait %irq %soft %steal %idle intr/s
10:23:05 all 0.50 0.00 0.00 1.99 0.00 0.00 0.00 97.51 271.64
10:23:07 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 261.00
10:23:09 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 261.50
Average: all 0.17 0.00 0.00 0.67 0.00 0.00 0.00 99.17 264.73
如下命令每隔1秒显示一次多路CPU主机的处理器活动情况,执行3次
mpstat -P ALL 1 3
liyawei:~ # mpstat -P ALL 1 10
Linux 2.6.16.21-0.8-default (liyawei) 05/31/07
10:23:31 CPU %user %nice %sys %iowait %irq %soft %steal %idle intr/s
10:23:32 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 273.00
10:23:32 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 272.00
10:23:33 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 254.00
10:23:33 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 254.00
10:23:34 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 271.00
10:23:34 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 271.00
10:23:35 all 0.00 0.00 0.00 1.98 0.00 0.00 0.00 98.02 254.46
10:23:35 0 0.00 0.00 0.00 1.98 0.00 0.00 0.00
posted @ 2009-08-02 20:08 小马歌 阅读(229) | 评论 (0)编辑 收藏
 

visible_hostname squid1.abc.com

#设定squid的主机名,如无此项squid将无法启动

http_port 
80 accel vhost vport

#设定squid为accel加速模式,vhost必须要加.否则将无法将主机头转发至后端服务器,访问时就会出现无法找到主机头的错误

cache_peer 
192.168.1.88 parent 80 0 no-query originserver name=contentchina

cache_peer 
192.168.1.88 parent 80 0 no-query originserver name=bbs

cache_peer 
192.168.1.1 parent 80 0 no-query originserver name=ihompy

#定义不同的父节点,将节点设为no-query以及originserver说明这些节点是实际服务器

cache_peer_domain contentchina 
aaa.abc.com

cache_peer_domain bbs bbb.abc.com

cache_peer_domain ihompy ccc.abc.com

#设定不同域名转发到不同的cache_peer上,如果没有这项.不同域名的域名可能被分发到同一台服务器上.

acl all src 
0.0.0.0/0.0.0.0

no_cache deny all

http_access allow all

#允许所有客户端访问

cache_log /var/log/squid/cache.log

#记录日志

#***********ACL存取控制*************

#acl QueryString url_regex .php?

#***********缓冲存取控制*************

#no_cache deny QueryString

#不对符合QueryString的ACL内容进行缓冲

#***********性能优化配置*************

maximum_object_size 
320010 KB

#大于此容量的对象将不会被保存在磁盘上,默认大小是4M,如果squid服务器用于缓冲flash等大型文件,建议将此值变大.否则过大的文件在下次重启后将需要重新获取

maximum_object_size_in_memory 
100 KB

#最大位于内存中的对象的大小,默认大小是8K,如果服务器内存很大.可以适当提高此值的大小,建议根据网站的80%图片的大小来定.或者根据WEB服务器实际存取文件中最常访问的文件大小来定制

#***********其他可选配置*************

#dns_nameservers 
10.0.0.1 192.172.0.4

#配置DNS服务器地址.获取后端时将从此dns获取IP地址

#cache_mgr ggg_g@tom.com

#在错误日志中出现的webmaster地址.

posted @ 2009-07-28 11:51 小马歌 阅读(1869) | 评论 (1)编辑 收藏
 
做为眼下最流行的操作系统,Linux已经越来越受到世人的关注。虽然目前Linux的软件还不是很丰富,替代WINDOWS作为普通PC机操作系统还为时过早,但是在服务器领域,Linux的稳定性,可操作性决不输于任何操作系统,并且也有优秀的软件支持。Squid就是其中之一。Linux加Squid的组合做为代理服务器,性能远远超过WINNT加MSPROXY2.0(个人观点),为几百人的小型局域网代理绰绰有余。下面,我就详细的介绍Squid 的安装及使用技巧,希望大家能够喜欢上它。
1.Squid 简介
  Squid 是一个缓存internet数据的一个软件,它接收用户的下载申请,并自动处理所下载的数据。也就是说,当一个用户象要下载一个主页时,它向Squid 发出一个申请,要Squid 替它下载,然后Squid连接所申请网站并请求该主页,接着把该主页传给用户同时保留一个备份,当别的用户申请同样的页面时,Squid 把保存的备份立即传给用户,使用户觉得速度相当快。目前,Squid 可以代理HTTP, FTP, GOPHER, SSL 和 WAIS 协议,暂不能代理POP, NNTP等协议。不过,已经有人开始修改Squid,相信不久的将来,Squid能够代理这些协议。
  Squid能够缓存任何数据吗?不是的。象缓存信用卡帐号、可以远方执行的scripts、经常变换的主页等是不合适的也是不安全的。Squid可以自动的进行处理,你也可以根据自己的需要设置Squid,使之过滤掉你不想要的东西。
  Squid可以工作在很多的操作系统中,如AIX, Digital Unix, FreeBSD, HP-UX, Irix, Linux, NetBSD, Nextstep, SCO, Solaris,OS/2等,也有不少人在其他操作系统中重新编译过Squid。
  Squid对硬件的要求是内存一定要大,不应小于128M,硬盘转速越快越好,最好使用服务器专用SCSI硬盘,处理器要求不高,400MH以上既可。
2. Squid的编译和运行
  其实现在的Linux发行套件中基本都有已经编译好的Squid,你所作的就是安装它既可。如果你手头没有现成的编译好的Squid或想使用最新的版本,去ftp:squid.nlanr.net下载一份,自己编译。
  Squid的编译是非常简单的,因为它基本上是自己配置自己。最容易出现的问题是你的系统上没有合适的编译器,这可以通过安装相应的编译器解决。如果出现其他问题,你可以问一下有经验的用户或到相应的邮件列表寻找帮助。
  编译Squid之前,最好建一个专门运行Squid的用户和组。我就在自己的服务器上建了一个名为squid的用户和组,用户目录设为/usr/local/squid。然后su为用户squid并从squid.nlanr.net下载Squid的源文件到目录 /usr/local/squid/src中,用如下命令进行解压:
  %tar xzf squid-2.0.RELEASE-src.tar.gz
  %cd /usr/local/squid/src/ squid-*.*.RELEASE /
  %./configure
  %make
  %make install
  第一个命令在目录/usr/local/squid/src中产生一个新的子目录/squid-*.*.RELEASE/。命令./configure会自动查询你的系统配置情况以及你系统中使用的头文件。不加参数的./configure会把Squid安装在目录/usr/local/squid中,如果你想使用其他目录,用如下命令./configure --prefix=/some/other/directory,这会把Squid安装在目录/some/other/directory中。make命令编译Squid,make install命令安装Squid。
  不出意外的话,目录/usr/local/squid中会出现如下目录:
  /bin
  /cache
  /etc
  /logs/
  /src (自己创建的)
  目录/bin中含有Squid可执行程序,包括Squid本身,ftpget等。
  目录/cache包含Squid缓存的数据,其中包含象/00/ /01/ /02/ 以及/03/这样的目录,这些目录中还有子目录,因为目录多了比在一个目录成千上万的文件中寻找一个文件更容易,速度更快。
  目录/etc中包含Squid的唯一的配置文件squid.conf。
  目录/logs中包含Squid的日志。
3. squid.conf文件的配置
  在安装Squid后,在目录/usr/local/squid /etc中会自动产生一个样本squid.conf文件,文件中对每一个选项都有详细的说明,用户可以通过修改该文件以满足不同的需要。
  总的来说,有如下几个重要选项:
  ?http_port:设定Squid监听的端口,你最好设一个比较好记的端口号,以便在进行客户机配置时容易记住。我的机器上端口号设的是8080。缺省为3128。
  ?cache_mem:设定Squid占用的物理内存,根据我的经验,cache_mem的大小不应超过你的服务器物理内存的三分之一,否则将会影响机器的总体性能。
  ?maximum_object_size:设定Squid可以接收的最大对象的大小。Squid缺省值为4M,我自己入认为太大,你可以根据自己的需要进行设定。
  ?cache_dir:设定缓存的位置、大小。一般看起来形式如下“cache_dir /usr/local/squid/cache 100 16 256”。 /usr/local/squid/cache代表缓存的位置;100代表缓存最大为100M;16和256代表一级和二级目录数。
  ?cache_effective_user:设定使用缓存的有效用户。缺省为用户nobody,如果你的系统中没有用户nobody,最好建一个或以非root用户运行Squid。
  下面我给出一个最简单的squid.conf文件:
  #squid.conf - a very basic config file for squid
  #Turn logging to its lowest level
  debug_options ALL,1
  #defines a group (or Access Control List) that includes all IP addresses
  acl all src 0.0.0.0/0.0.0.0
  #define RAM used
  cache_mem 32M
  #defines the cache size
  cache_dir /usr/local/squid/cache 100 16 256
  #allow all sites to use connect to us via HTTP
  http_access allow all
  #allow all sites to use us as a sibling
  icp_access allow all
  #test the following sites to check that we are connected
  dns_testnames internic.net usc.edu cs.colorado.edu mit.edu yale.edu
  #run as the squid user
  cache_effective_user squid squid
  这个配置文件允许所有人使用Squid,创建了100M缓存,使用32M内存,在缺省位置"/usr/local/squid/cache"缓存数据,所有缓存数据以组squid和用户squid身份保存,端口为3128。虽然这个配置很不安全,但是它已经能使用了。
4. 运行Squid
  首先以root身份登陆。运行如下命令:
  %/usr/local/squid/bin/squid ?z
  该命令会产生Squid所有的缓存目录。
  如果你想前台执行Squid,接着执行命令:
  %/usr/local/squid/bin/squid -NCd1
  该命令正式启动Squid。如果一切正常,你会看到一行输出
  Ready to serve requests.
  如果想后台运行Squid,把它做为一个精灵进程,执行命令:
  %/usr/local/squid/bin/squid
  观察Squid是否运行使用命令:
  % squid -k check
  输出会告诉你Squid的当前状态。
  好了,文章先写到这里,其实这里介绍的都是最基本的东西,Squid有好多高级的功能,如做WEB服务器的高速缓存,做二级代理服务器,做为防火墙,以及怎样设定过滤规则等,这里就不详述了,如果有机会再奉献给大家。
posted @ 2009-07-28 11:44 小马歌 阅读(202) | 评论 (0)编辑 收藏
 
from : http://i.yoho.cn/logview/278079.html

以前的squid都是一个同事编译安装的,所有我只知道方法,具体安装没有去时间过,这次由于网站带宽吃紧,又购买了两台dell的服务器作为squid缓存服务器,以前安装的同事由于个人原因辞职了,没办法,值得自己动手了,第一次安装基本顺利,上架试用,运行一段时间就报错“WARNING! Your cache is running out of filedescriptors”查看了squid 权威指南,说是squid用完了所有可用文件描述符,按照说明,把squid删除了,重新编译,但是还是不行,在网上找了半天,没找到原因,最后又去看squid 权威指南,终于找到了原因“,./configure会缓存它在你系统中发现的东西”,因为我第二次编译的时候偷了点懒,是在第一次减压出来的文件夹下去编译的,也没有运行“#make clean和#make distclean”所有编译后和原来的系统内核一样,下面列出我的最终编译安装步骤:

1:减压文件:# tar xzvf /some/where/squid-2.5.STABLE4-src.tar.gz

2:调整内核:(我使用的是linux)
      首先编辑/usr/include/bits/typesizes.h 文件,改变__FD_SETSIZE 的值:#define _ _FD_SETSIZE 32768
      使用命令增加内核文件描述符的限制:# echo 32768 > /proc/sys/fs/file-max
      运行#sh
      最后,增加进程文件描述符的限制,在你即将编译squid 的同一个shell 里执行:sh# ulimit -Hn 32768
     该命令必须以root 运行,仅仅运行在bash shell。不必重启机器。

3:编译、安装squid
     编译./configure设置:./configure --prefix=/usr/local/squid
                          --enable-removal-policies="heap,lru"
                         --enable-storeio="aufs,coss,diskd,null,ufs"
                         --enable-delay-pools
                         --enable-linux-netfilter
                         --enable-useragent-log
                         --enable-referer-log
                        --enable-truncate
                        --enable-underscores
                        --enable-basic-auth-helpers="NCSA"
                        --enable-err-language="Simplify_Chinese"
                        --enable-default-err-language="Simplify_Chinese"
                        --enable-stacktrace
                        --enable-auth="basic"
                        --disable-dependency-tracking
                       --disable-internal-dns
                      --with-pthreads
       编译:make
       安装:make install

4:创建squid登陆ID(useradd usrname password),创建缓存目录,赋予squid的缓存目录的权限和squid 的logs的权限(chown squid:squid  /usr/local/squid/var/logs)

5:设置配置文件,和系统hosts文件

6:创建缓存目录:
      # cd /usr/local/squid/sbin
      #./squid –z  ( 出现Creating Swap Directories提示,表示建立成功)

7:调试运行:
      #./squid –NCd1 # 成功后将出现"Ready to serve requests".否则请检查配置文件。(说明,用squid -NCd1来以debug模式启动,这样如果有错误会报出来(FATAL: ipcache_init: DNS name lookup tests failed),因为squid启动时会去检查一些常用的DNS,但是如果这时候没有接入internet,自然就出错了,所以我们需要在启动的时候不检查DNS,这就需要用加上-D选项来启动squid,命令如下:#./squid –NCDd1 # 参数Dd1的目的是禁止测试DNS的连通性并且把squid在开始运行后的一些提示信息显示在屏幕上)

8:注册squid为服务:
      编写shell脚本存放到目录 /etc/init.d/:
#!/bin/bash
# squid  This shell script takes care of starting and stopping
#  Squid Internet Object Cache
#
# chkconfig: 546 36 76
# description: a name server
#
case "$1" in
     start)
          ulimit -HSn 32768 --这句比较重要
          /usr/local/squid/sbin/squid -D
          ;;
     stop)
         /usr/local/squid/sbin/squid -k shutdown
         /usr/local/squid/sbin/squid -k shutdown
         ;;
     reload)
         /usr/local/squid/sbin/squid -k reconfig
         ;;
     info)
         /usr/local/squid/bin/squidclient -p 80 cache_object://localhost/info
         ;;
esac
添加权限和开启自动启动
chmod   +x   squid
chkconfig squid on

 

OK,安装成功,重启测试是否自动开启squid。

posted @ 2009-07-28 11:43 小马歌 阅读(317) | 评论 (0)编辑 收藏
仅列出标题
共95页: First 上一页 64 65 66 67 68 69 70 71 72 下一页 Last