qileilove

blog已经转移至github,大家请访问 http://qaseven.github.io/

自己实现的附带文件的压力测试方法

前段时间做了一个服务器端接口,是附带文件上传的;后来我们要对这个接口进行压力测试
  其实很多现成的方式可以做压力测试,但是附带文件的的压力测试缺不怎么符合我的需求,jmeter是可以做附带文件上传的压力测试的,只是它是图形界面,而我目前的需求是要在测试机器上面去跑测试,而测试服务器是不能带图形界面的,所以jmeter的方案否决掉;
  apache ab test,也是一个压力测试的好工具,只是研究了好久老搞不掂怎么做附带文件上传的压力测试(备注:在本文的最后我附带一下我研究的结果,说多了都是泪)
  好了,现在我说下我自己的这个测试工具:
  它依赖于赖于httpclient相关的包,包括:commons-codec-1.6.jar、commons-logging-1.1.3.jar、fluent-hc-4.3.4.jar、httpclient-4.3.4.jar、httpclient-cache-4.3.4.jar、httpcore-4.3.2.jar、httpmime-4.3.4.jar、httpmime-4.3.4.jar;
  大家可以到apache的官方网站:http://hc.apache.org/downloads.cgi  去下载相关的包;
import java.io.File;
import java.io.IOException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.atomic.AtomicInteger;
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.entity.ContentType;
import org.apache.http.entity.mime.MultipartEntityBuilder;
import org.apache.http.entity.mime.content.FileBody;
import org.apache.http.entity.mime.content.StringBody;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
public class ClientMultipartFormPostTest {
private static ExecutorService pool = Executors.newFixedThreadPool(300);
public static void main(String[] args) throws Exception {
final String path = args[0];//文件地址
final String url = args[1]; //调用的URL
final int i_len = Integer.parseInt(args[2]);//线程总数
final int j_len = Integer.parseInt(args[3]);//每个线程的请求数(暂时没用到)
final AtomicInteger c = new AtomicInteger(0);
final long s = System.currentTimeMillis();
for (int i = 0; i < i_len; i++) {
new Thread(new Runnable() {
@Override
public void run() {
while (true) {
try {
upLoadLogMultiThread(url,path);
int cc = c.addAndGet(1);
if (cc % 1000 == 0) {
System.out.println(String.format("c: %d, t: %d", cc, (System.currentTimeMillis() - s)));
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}).start();
}
}
public static void upLoadLogMultiThread(String url,String path) throws IOException{
CloseableHttpClient httpclient = HttpClients.createDefault();
try {
HttpPost httppost = new HttpPost(url);
FileBody bin = new FileBody(new File(path));
StringBody comment = new StringBody("A binary file of some kind", ContentType.TEXT_PLAIN);
HttpEntity reqEntity = MultipartEntityBuilder.create()
.addPart("bin", bin)
.addPart("comment", comment)
.build();
httppost.setEntity(reqEntity);
CloseableHttpResponse response = httpclient.execute(httppost);
try {
HttpEntity resEntity = response.getEntity();
EntityUtils.consume(resEntity);
} finally {
response.close();
}
} finally {
httpclient.close();
}
}
}
 测试结果,如图所示:
  我们程序的逻辑是每请求1000次,打印一次;
  上面的结果翻译的结果就是:
  1----请求1000次,耗费时间为3727毫秒;
  1----请求2000次,耗费时间为6253毫秒;
  1----请求3000次,耗费时间为8713毫秒;
  1----请求4000次,耗费时间为11028毫秒;
  1----请求5000次,耗费时间为13340毫秒;
  …
  依据上面的结果,我们可以做个预估:每秒可以承受的4000次请求;也就是说我们可以大大预估一天有3千万次请求数,这个程序都是可以应付对的;
  但是上面的结论并没说明文件,考虑到并发用户的情况,好!那我们分1个并发,10个并发,100个并发,1000个并发,(我的并发是以线程来区分级别,估计大多数测试工具也是以这样的一种方式去区分,备注:线程并非同一时刻,据本人了解,线程的区分度大概纳秒级别的,还是在同一个进程里面去处理;而进程是可以利用上多核CPU的,举例:4个核的CPU,开4个进程是可以时刻并行的运行,也就是说这4个进程是同一时刻在跑。)
  10线程并发:
  也就是说10个并非,每秒执行9千+;
  100个线程并非:
  也就是说100并非,每秒执行1.5万次;
  1000个并非:
  已经挂掉了,也就是说这个小的后端程序能够承受的并非级别是100~1000之间(一台主机的情况,如果是集群的话,100万台服务器的话,相当于并发在1亿~10亿之间,如果按照业界传闻facebook的几十万台,Google级百万台,在还没考虑主机CPU、内存的这个测试结果是非常可观,目前主机是双核2G内存的主机);
  测试方法就是:java -jar errlogClient.jar path url n c
  各个参数的标识:path = 目标文件路径 ; url = 请求的地址 ; n = 线程总数 ; c = 每个线程调用请求的次数(备注目前上面的程序我是做循环跑的,所以暂时没用上,大家觉得如果需要用上的话可以改改上面的程序)
  这个工具如果大家觉得还凑合用的话就尽管拿去用吧~

posted on 2014-07-23 09:22 顺其自然EVO 阅读(328) 评论(0)  编辑  收藏 所属分类: 测试学习专栏


只有注册用户登录后才能发表评论。


网站导航:
 
<2014年7月>
293012345
6789101112
13141516171819
20212223242526
272829303112
3456789

导航

统计

常用链接

留言簿(55)

随笔分类

随笔档案

文章分类

文章档案

搜索

最新评论

阅读排行榜

评论排行榜