2.1性能测试需求的确立

2.1.1         性能测试需求的来源

性能测试需求的来源有三个方面：TestAge 中国软件测试时代2~!nep"Vm9\ ]

1、 需求文档TestAge 中国软件测试时代W
dkH[od

2、 设计文档TestAge 中国软件测试时代dH$a S+u,nOj

3、 客户备忘录TestAge 中国软件测试时代nh I!@8b#i+E@b

 TestAge 中国软件测试时代$r4C|'MbKV0yx$o4j)q

2.1.2         确定性能测试需求的解决方法

在没有需求文档和设计文档的情况下，我们需要对TSP系统上的客户业务使用情况进行分析，提出我们所关注的性能测试需求，并告知业务人员。让业务人员来判断我们的性能需求是否能满足客户的真实要求。

在通过TSP系统分析业务使用状况时，我们可以从以下方面来关注：

1、确定当前系统的业务使用状况：通过TSP的日志记录－客户端模块使用情况了解在某个时间段内，客户执行某个操作的具体情况。TestAge 中国软件测试时代j.K5v/o6`
V

2、了解不同视角的用户性能：

ⅰ）用户视角：TestAge 中国软件测试时代2kyW%fnN,j

响应时间：用户所能感受到的响应时间，也是用户最重视的性能体验。

       确立响应时间的原则：2/5/10原则TestAge 中国软件测试时代g2oL'^*R\A

                           2：2秒钟用户会觉得是一个很好的体验。TestAge 中国软件测试时代
qMmX/Z"BX

                           5：5秒钟用户可能会觉得差了一点，还行，比较好。

                           10：10秒钟是用户所能承受的最大极限。

鉴于不同地区的网络环境，将用户所能承受的响应时间极限定为12～15秒。TestAge 中国软件测试时代(o,t|2W2O%d~D

此部分需与业务人员讨论。

稳定性：系统长时间运行不会出现错误的能力。TestAge 中国软件测试时代F+_ea2L5xE#x

验证方法：系统在满负载的运行8小时，系统是否会出现服务不可用，Connection Refused

     HTTP 404,500错误。TestAge 中国软件测试时代_[@Sr5t
^

ⅱ）系统视角：延迟，系统资源使用状况

             延迟：包括数据库延迟和网络延迟TestAge 中国软件测试时代.wK*LO6mX_eYx0w

此部分需与DBA及系统部人员讨论。TestAge 中国软件测试时代%s @/d5E2a-`$PY

             系统资源使用状况：服务器的CPU使用率是否长期高于80％，达到90％，100％的程度，整个磁盘的I/O是否达到极限。内存的使用数是否只剩下极少的几兆，几十兆。

ⅲ）开发者视角：从代码实现和数据库实现来考虑性能。看看这两方面得到实现是否足够好。TestAge 中国软件测试时代z&Ke^+ZRf9C

3、了解真正的性能测试需求TestAge 中国软件测试时代0b}4~'Bi

方法：ⅰ）识别项目干系人：指的是和项目相关的人，开发人员，设计人员，需求人员，业务人员，上层领导，了解他们对性能测试的考虑。

     ⅱ）隐藏在“性能测试”之后的实际想法，比如：是因为开发人员对所完成的代码没有信心，又不愿意做修改，要求我们对其所作的程序进行性能测试，还是设计人员使用了一项新技术，心里没低，所要求作的性能测试，等等。TestAge 中国软件测试时代\'P4I GJ

2.2确立性能测试目标

2.2.1         确立性能测试目标的原则

1、以“需求”为本

考虑系统需不需要作性能测试，性能测试的内容和范围。TestAge 中国软件测试时代B ~"}~E{!i'`;J

 TestAge 中国软件测试时代GJnL#X%u

2、测试目标确定的经济性考虑

ⅰ）投入到性能测试的人员是多少？

ⅱ）具备可以确定性能测试需求，制定性能测试方案的人员是多少？可以执行性能测试的人员是多少？TestAge 中国软件测试时代7A(F%?;P?YT7~w(h

ⅲ）这些人员需要投入多长时间？

ⅳ）所要开发系统的运行环境和设备，这些设备的配置对于性能测试的影响，比如说：tomcat4.1的应用服务器，它的配置文件缺省的jvm的使用空间是64M，一个机器的内存为1G，我们将jvm的使用空间设置为512M对性能测试的影响。TestAge 中国软件测试时代/d2mL1I
H

ⅴ）内部的人员无法满足性能测试的要求，通过外聘，采用外聘的方式，公司所能承受的成本是多高。TestAge 中国软件测试时代_K'uL pp9c0|pL~

 TestAge 中国软件测试时代7bW.^2L(]td s

3、基于风险的测试目标确定

ⅰ）系统如果不做性能测试，会有多大的风险，如果在性能指标上达不到用户的要求会有多大的风险。需要进行评估。

ⅱ）如果做性能测试会有多大的风险，性能测试的投入会有多大，会有多大的风险需要进行评估。

2.2.2         确定性能测试目标的方法

我们要确定系统的吞吐量和并发用户数的设计目标可以采用以下三种方式：TestAge 中国软件测试时代 [$LH.m] o

l        确定在某个特定时间端内，估计系统会有多少用户同时访问

l        在某个特定的时间端内，正在访问系统的用户的典型操作是什么？哪个页面的访问量最大？TestAge 中国软件测试时代@wC0wvM

l        在某个特定的时间端内，系统需要处理多少种用户场景TestAge 中国软件测试时代3GV3?x??4V~1H

这些数据可以在系统服务器的日志文件、TSP监视数据种找到，也可以通过监视数据库的活动情况来获得。

2.3不同阶段的性能测试目标

2.3.1         设计阶段的性能测试目标

设计阶段的性能测试目标为考察系统是否满足预期的性能要求。

2.3.2         开发阶段的性能测试目标

ⅰ）将开发阶段的性能测试目标作为对系统进行调优的参考：考虑在每个开发阶段，性能是否能够达到标准，考虑当前阶段的性能瓶颈，及其性能瓶颈出现的原因是在于数据库访问（SQL语句或者存储过程写的不够好）还是其他的原因。

 ⅱ）用性能测试手段发现系统存在的问题：通过模拟真实场景，发现在现场测试中可能存在的问题，比如说：用户数的突然增加，导致的应用程序崩溃，服务器崩溃的问题。

2.3.3         产品部署阶段的性能测试目标

提供部署方案的参考，确定合适的硬件设备，虽然更高的设备可以获取商业上的利益，但应考虑客户的具体情况。

2.3.4         系统维护阶段的性能测试目标

考察系统的可扩展性：从系统的视角考虑,在用户数扩大，在业务量增大的情况下，是一个怎样的表现。

3         设计阶段

3.1性能测试方案的确立

在确立性能测试方案之前，需要作的工作

1、确定测试目标和需求TestAge 中国软件测试时代BD8e7WsnP5gal

这里的灵活性比较大，与性能测试成败有很大的关系。TestAge 中国软件测试时代mk E5^ ?_

2、了解现状

ⅰ）业务使用状况TestAge 中国软件测试时代O,OQ8C$eG:]

通过日志记录，在某个时间段内，用户的操作。

ⅱ）了解环境：包括网络条件，服务器条件，软硬件条件，应用服务器环境及各种配置信息。

3、确定需要监控的指标：

ⅰ）CPU使用率TestAge 中国软件测试时代4Q$I7\.p6~/MP;S

ⅱ）内存使用情况TestAge 中国软件测试时代:M*~2L(jM!E C.t

在此应优先监控应用服务器的性能指标。对于Tomcat或者Weblogic来说，监控他的JVM使用状况，连接池的连接数量，内存使用状况等信息。对于数据库来说监控cache的命中率，索引的使用状况，数据库的连接数。

3.2用例和场景设计

用例和场景设计的步骤：TestAge 中国软件测试时代+P5h,i?6P!_+pv

1、对业务的分析和分解TestAge 中国软件测试时代,O2^%n#}h6IO/b

2、根据业务确定用例TestAge 中国软件测试时代1b5vfX2x7~-g+Iq

3、不同用例按照不同的发生比例组成场景 

4、了解每个场景的实际意义（对场景执行测试，收集结果）

了解业务的分布情况，根据业务确定用例，在设计用例的时候，根据前期收集的数据，设计不同的场景来组成用例，并了解每个场景的实际意义，执行场景，收集结果数据。

场景设计的例子（主要是根据业务的使用状况）：

l      场景1：10％登录，10％入库，30％订单，20％出库，30％查询（1000用户）——日常

l      场景2：10％登录，90％查询（400用户）——周末盘点TestAge 中国软件测试时代3@_vFL2p4S

 TestAge 中国软件测试时代:L J?~st

3.3设定需要监控的资源

设定需要监控的资源主要有一下几个方面：TestAge 中国软件测试时代.AIB7RCs0H

1、CPU利用率

2、内存使用情况TestAge 中国软件测试时代Rf5N1H7Xz_

3、数据库监控TestAge 中国软件测试时代Vp-ipXL S

4、JVM使用状况监控TestAge 中国软件测试时代NBf*`{ n!Z.\H

应优先监控应用服务器的性能指标。对于Tomcat或者Weblogic来说，监控他的JVM使用状况，连接池的连接数量，内存使用状况等信息。对于数据库来说，cache的命中率，索引的使用状况，数据库的连接数，具体的监控指标请性能测试工程师，根据性能需求确定。

4         性能测试的应用领域

4．0系统性能测试的主要应用领域是验证能力、性能调优。

1、验证能力包括TestAge 中国软件测试时代L#F1mfxzvO

ⅰ）验证新的系统，新的架构能否满足用户的需求。TestAge 中国软件测试时代KI@$wlu

ⅱ）向用户提供性能测试报告，说明系统的性能达到了预期设计的标准。

ⅲ）确定新平台的产品架构，假设以前用ASP，现在用.net，或者换到j2ee平台上，验证新系统架构是否满足性能要求，这个要求不是用户提出来的，也不是直接用户体验的，而是在架构设计过程中要确定的指标。

2、性能调优

在系统开发过程中，通过性能测试，了解当前系统瓶颈（比如说在于数据库访问，SQL语句或者存储过程写的不够好，或者说数据库设计的问题，索引做的不够好），所选择的应用服务器有问题，或者说代码这一层，业务逻辑实现的不够好，导致它性能的缺陷。以确定问题出现在应用层，数据库层，代码层。

5         实施阶段

5.1分析影响性能因素的步骤

将影响性能的因素按照以下顺序进行判断：TestAge 中国软件测试时代 ]`*n
F Vnx,}_%B

1、网络状况

2、硬件设备

3、系统/应用服务器/数据库配置

4、数据库设计和数据库访问实现（SQL和SP）TestAge 中国软件测试时代(q[(l9Z){![

5、业务的程序实现TestAge 中国软件测试时代Eu7t6V"Sof9W"B

但是在开发阶段做性能调优时关注的顺序：请更多的关注SQL一级和代码一级。

若是对于一个实际在线上运行的系统，请直接按照以上5点的顺序。TestAge 中国软件测试时代 S"GZ8A.NH

注：很多的性能问题，是由于应用服务器的配置完全不合理，比如：tomcat4.1的应用服务器，没有修改它的配置文件中缺省的jvm的使用空间。TestAge 中国软件测试时代)_i:F$B|zh$yj*b3U

 TestAge 中国软件测试时代pGgZ%^DZo

5.2开发角度性能问题的原因

1、对所使用的技术不熟悉

这是影响最大的因素。对于.net平台，j2ee平台的架构不熟悉，开发人员对于有哪些架构和哪些模式对于性能会有影响不了解，建议开发部门做一下调研。对于性能测试工程师来说，应多了解一些平台的知识，平台的性能。J2ee的平台和它的性能问题是怎么产生的，如何来调整它的性能。

 TestAge 中国软件测试时代!A
ir7aW/z/Ik:_

2、系统架构设计的不合理

3、程序员的实现错误

 TestAge 中国软件测试时代`?}2`;D z x

6         产品部署阶段

产品部署阶段的性能测试主要用来确立客户需要什么样的硬件配置。

7         维护阶段

维护阶段的性能测试主要在于考察系统的可扩展性：从系统的视角考虑,在用户数扩大，在业务量增大的情况下，系统是一个怎样的表现。TestAge 中国软件测试时代q,s1W q)s]]

 TestAge 中国软件测试时代+ab ~l;c&o$CcZ1I

 TestAge 中国软件测试时代#qB
z#o/r Ezr

 TestAge 中国软件测试时代2_(n9}uU1F:uW

8         性能测试的策略

鉴于我们当前的性能测试工作开展情况，先对3.0系统进行一个容量测试，确定现有系统所能承受的最大用户数及最大业务处理能力。并将这个结果告知用户，让用户了解当前系统条件下的运行水平，系统所能支撑的最大用户数，每个用户的响应时间是多长。并将结果作为以后进行4.0系统制定性能测试目标的一个参照标准。

 TestAge 中国软件测试时代\pp$]Da

9         各阶段所要进行的性能测试

除了需求阶段都需要进行性能测试。其他阶段的性能测试需要依据你的性能测试目标：

9.1设计阶段的性能测试

在设计阶段的性能测试主要的目的是验证你的架构。验证的方式有两种：TestAge 中国软件测试时代Sqd[e
R6qz"sP

1、在对于系统架构有一个预期的性能目标的情况下，去验证当前架构能否满足预期的性能目标。TestAge 中国软件测试时代.f K7gch2Gq

2、系统架构是基于以前的架构修改过来的，对于两者进行一个对比测试，了解两种架构各有什么优势。TestAge 中国软件测试时代?&Cj+?)U_

 TestAge 中国软件测试时代@X;d!@ @%l

 TestAge 中国软件测试时代+VI!I Zz
CmW-l

9.2实施阶段的性能测试

在实施阶段进行性能测试的目的是为了阶段性的验证系统性能，进行性能调优，并通过系统调优发现系统缺陷。

9.3产品部署阶段的性能测试

在产品部署阶段，将性能测试作为验收测试的一部分。TestAge 中国软件测试时代j,Z as(N]0j

9.4维护阶段的性能测试