软件测试工程师又一大挑战：大数据测试

一、什么是大数据

大数据是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。

二、大数据测试策略

• 大批量
• 实时性
• 可交互

三、大数据应用测试步骤

• 步骤一：数据预处理验证

在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。

1. 我们数据来源可能是关系数据库、日志系统、社交网络等等，所以我们应该确保数据能正确的加载到系统中；
2. 我们要验证加载的数据和源数据是一致的；
3. 我们要确保正确的提取和加载数据至hdfs中。

• 步骤二，Map Reduce验证 在进行大数据测试时，第二个关键步骤是“Map Reduce”验证。在本阶段，我们主要验证每一个处理节点的业务逻辑是否正确，并验证在多个运行后，确保：

1. Map Reduce过程工作正常；
2. 数据聚合、分离规则已经实现；
3. 数据key-value关系已正确生成；
4. 验证经过map reduce后数据的准确性等特性。

• 步骤三，结果验证 在本阶段主要验证在经过大数据工具/框架处理后，生成的最终数据的成果。

1. 验证数据转换规则是否正确应用；
2. 验证数据的完整性和是否成功持久化到目标系统；
3. 验证无数据损坏。

四、架构测试

Hadoop处理海量数据是非常的消耗资源的，良好的架构是确保大数据项目成功的基础。糟糕的涉及会导致性能急剧的下降，进而使得系统无法满足我们的需要，因此我们需要，或是说至少在Hadoop环境下进行性能测试、故障恢复测试，以应改进效率和应对可能的最糟糕的情况。

五、性能测试

• 数据提取、存储效率

1. 一是验证单位时间内数据的提取、加载效率。
2. 二是验证数据持久化至mongodb等库的效率等等。

• 数据处理

• 子组件性能

六、性能测试策略

1. 在性能测试前需要先初始化大数据集群环境；
2. 梳理和设计大数据性能测试场景；
3. 准备大数据性能测试脚本；
4. 执行并分析测试结果（如果指标异常，则调优相应的组件并重新测试）；
5. 优化配置。

七、性能测试基础准备

• 数据准备，我们需要在不同的节点准备什么量级数据？
• 日志预估，在测试过程中，可能会生成多大的日志，日志的可能增量是什么样的？
• 并发，在测试时，可能会有多少线程并发读和写？
• 超时设置，应对设置怎样的连接超时？查询超时？写超时等等？
• JVM参数，如何设置最优的jvm参数，heap size、GC机制等等
• Map Reduce，我们应该选择什么样的sort、merge等算法？
• 消息队列，消息队列长度会怎么样？等等。

八、必备的测试环境

• 拥有足够的存储设备来存储和处理大数据；
• 拥有集群来做分布式节点和数据处理；
• 至少拥有足够的cpu、内存来确保有高性能的处理基础。

九、大数据测试的挑战

• 自动化

自动化测试是从事大数据测试必备的技术，但自动化测试工具可能并不具备处理测试过程所引发的异常的能力，意味着现有工具可能并不适用，编程能力将是更好的一种技能。

• 虚拟化

当前业内大规模使用虚拟化技术，但虚拟机的延迟有可能造成大数据实时测试处理的异常。

对大数据而言，管理影像信息也将是一个巨大的问题。

• 海量数据集

1. 需要验证的数据量巨大，而且需要更快的处理速度；
2. 需要有效的自动化测试手段；
3. 需要尽可能的跨平台。

十、大数据性能测试的挑战

• 技术的多样化，复杂化，面对不同的大数据解决方案，我们可能需要掌握不同的技术和定制不同的测试解决方案；
• 无通用的工具，目前业界暂无通用的标准的大数据性能测试工具，这意味着我们需要根据大数据应用解决方案技术，要自行开发或整合多种相关工具才可能解决问题；
• 测试环境复杂化，因为海量的数据，我们所需要测试环境亦会更加复杂，所消耗的基础成本会更高；
• 监控解决方案，目前有的监控解决方案有限，但通过整合不同的监控工具，大致可能拥有一套相对可行的监控解决方案；
• 诊断方案，由于大数据应用所涉及的技术、环境复杂性，对于问题的诊断调优，我们需要根据实际情况来进行开发定制。

十一、小结

• 随着大数据工程和数据分析逐步的进入新的阶段，大数据测试将成为必然，也必定成为未来的一个热门的职业方向；
• 大数据处理必须是批量的、实时的、可交互的；
• 大数据应用测试的三大阶段：

1. 数据验证
2. Map Reduce 验证
3. 数据处理结果验证

• 架构测试也是非常重要的一个测试类型，糟糕的架构可能直接导致您的大数据项目的失败；
• 性能测试三大节点：

1. 数据提取、存储效率
2. 数据处理效率
3. 子组件工作效率

• 大数据测试不同于传统的测试，不仅仅是类型、策略的不同，工具等具体技术都会有区别；
• 大数据因其复杂性，其测试所面临的挑战也会不同于传统的测试；
• 大数据性能测试将会是软件测试工程师进一步艰难攻克的目标之一。