TEST 八月 11, 2024

Java 后端自动化测试

文章字数 22k 阅读约需 20 mins. 阅读次数

自动化测试相关概念

测试用例

测试用例是一组输入、执行条件和预期结果的集合,用于验证软件系统的正确性。

自动化测试

自动化测试是指使用自动化工具或脚本来执行测试用例,以减少人工测试的工作量,提高测试效率和准确性。

测试金字塔

测试金字塔 是一种指导自动化测试策略的框架,它建议在不同层次上分配不同数量和类型的测试,以确保成本效益、减轻团队负担并提高测试准确性。这个概念最初由 Mike Cohn 提出,主要分为三个层次:单元测试(Unit Tests)、服务测试(Service Tests,也称为集成测试)、以及用户界面测试(UI Tests)。越靠近塔底的测试类型执行的速度越快、越稳定(不易发生变化);越靠近塔尖的测试类型编写成本越高、收益越低。

人们对测试金字塔中测试的类型有不同的划分,但是总体的思想是一致的。

pyramid

单元测试

单元测试是金字塔的基础层,它们不依赖外部资源(如数据库、网络等)快速、独立,并且数量众多,专注于单个代码单元的行为验证。

集成测试

集成测试位于中间层,测试不同组件之间的交互,数量相对较少。

用户界面测试

UI测试或端到端测试位于金字塔的顶层,覆盖从用户角度的完整交互流程,但数量最少,因为它们成本高且维护难度大。

Mocking & Stubbing

Mocking(模拟)是指创建一个模拟对象来代替实际的依赖对象。这个模拟对象会按照测试的需要来行为,通常用于验证被测试代码是否按照预期与依赖项交互。

Stubbing(存根)与 Mocking 类似,但更侧重于提供预定义的返回值或行为,而不是验证交互。Stub 对象用于替换实际的依赖对象,以便在测试中控制或预测它们的输出。

在实际的软件开发中,Mocking 和 Stubbing 通常结合使用,以创建一个可控的测试环境。

区别

  • 目的:Mocking 主要用于验证代码与依赖项的交互,而 Stubbing 主要用于控制测试环境,提供可预测的输出。
  • 行为:Mock 可以在测试中模拟更复杂的行为,如条件返回或引发异常,而 Stub 通常只提供简单的固定返回值。
  • 验证:Mock 对象可以在测试后验证方法是否被正确调用,包括调用次数和参数,而 Stub 通常不进行这种验证。

测试覆盖率

测试覆盖率,反映了测试用例对软件代码的覆盖程度,通常以百分比来表示。

测试覆盖率是一种度量标准,用于衡量测试是否覆盖了代码的各个部分,例如语句覆盖、分支覆盖、条件覆盖、路径覆盖等。

测试覆盖率越高,意味着测试用例覆盖的代码越多,但并不意味着测试用例的质量越高,100% 的测试覆盖率也不能保证软件完全没有缺陷,所以在设计测试用例时,应该注重测试用例的质量。

测试驱动开发

测试驱动开发(Test-Driven Development,简称TDD)是一种软件开发流程,其核心理念是先编写测试用例,再编写能够通过这些测试用例的代码。TDD的目的是确保代码的可测试性、可维护性和质量。

自动化测试常用工具

Build Tool

通常情况下,构建工具(如 Maven、Gradle)会在项目构建过程中自动执行测试用例。

以 Maven 为例,可在 https://start.spring.io/ 生成一个 Spring Boot 项目,解压后可以找到一个 src/test/java/com/example/demo/DemoApplicationTests.java 测试类:

package com.example.demo;

import org.junit.jupiter.api.Test;
import org.springframework.boot.test.context.SpringBootTest;

@SpringBootTest
class DemoApplicationTests {

    @Test
    void contextLoads() {
    }

}

使用 Maven 运行测试用例:

$ mvn test
...
[INFO] -------------------------------------------------------
[INFO]  T E S T S
[INFO] -------------------------------------------------------
[INFO] Running com.example.demo.DemoApplicationTests
...
[INFO] Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 1.843 s -- in com.example.demo.DemoApplicationTests
[INFO]
[INFO] Results:
[INFO]
[INFO] Tests run: 1, Failures: 0, Errors: 0, Skipped: 0
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
...

执行 mvn package 命令时也会自动执行测试用例,如果测试用例失败,构建过程会终止。如果需要跳过测试用例,可以使用 -DskipTests 参数:

mvn package -DskipTests

JUnit

JUnit 是一个 Java 编程语言的单元测试框架,用于编写和运行重复测试。JUnit 提供了注解和断言来编写测试用例,可以方便地进行测试驱动开发。

当前 Junit 的主要版本是 JUnit 5,上一个主要版本 JUnit 4 的最后发布版 4.13.2 是 2021 年发布的。

JUnit5

不同于之前版本的 JUnit,JUnit 5 是由三个不同的子项目组成的模块化测试框架:

JUnit 5 = JUnit Platform + JUnit Jupiter + JUnit Vintage

  • JUnit Platform 负责在 JVM 中启动测试框架。它定义了 TestEngine API 用来开发可在其平台上运行的测试框架。
  • JUnit Jupiter 包含了对 JUnit 5 新注解的支持,并提供了一个能够运行 JUnit 5 测试用例的 TestEngine 实现。
  • JUnit Vintage 提供了用于运行 JUnit 3 和 JUnit 4 的测试用例的 TestEngine 实现。
JUnit 5 常用注解 作用 JUnit 4 对应注解
@Test 标记一个方法是测试方法 @Test
@BeforeEach 每个测试方法之前都执行的方法 @Before
@AfterEach 每个测试方法之后都执行的方法 @After
@BeforeAll 在所有测试方法之前执行一次的方法,需要 static @BeforeClass
@AfterAll 在所有测试方法之后执行一次的方法,需要 static @AfterClass
@Disabled 禁用测试类或方法 @Ignore

更多注解可见 2.1. Annotations

JUnit5 基础注解

package com.example.demo;

import org.junit.jupiter.api.*;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.test.context.SpringBootTest;

@SpringBootTest
class DemoApplicationTests {

    private static Logger LOGGER = LoggerFactory.getLogger(DemoApplicationTests.class);

    @BeforeAll
    static void setup() {
        LOGGER.info("@BeforeAll - executes once before all test methods in this class");
    }

    @BeforeEach
    void init() {
        LOGGER.info("@BeforeEach - executes before each test method in this class");
    }

    @AfterEach
    void tearDown() {
        LOGGER.info("@AfterEach - executed after each test method.");
    }

    @AfterAll
    static void done() {
        LOGGER.info("@AfterAll - executed after all test methods.");
    }

    @Test
    void contextLoads() {
    }

    @DisplayName("Single test successful")
    @Test
    void testSingleSuccessTest() {
        LOGGER.info("Success");
    }

    @Test
    @Disabled("Not implemented yet")
    void testShowSomething() {
    }

}
$ mvn test
...
17:34:33.848 [main] INFO com.example.demo.DemoApplicationTests -- @BeforeAll - executes once before all test methods in this class

  .   ____          _            __ _ _
 /\\ / ___'_ __ _ _(_)_ __  __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
 \\/  ___)| |_)| | | | | || (_| |  ) ) ) )
  '  |____| .__|_| |_|_| |_\__, | / / / /
 =========|_|==============|___/=/_/_/_/

 :: Spring Boot ::                (v3.3.2)

2024-08-08T17:34:34.251+08:00  INFO 35736 --- [demo] [           main] com.example.demo.DemoApplicationTests    : Starting DemoApplicationTests using Java 17.0.2 with PID 35736 (started by alphahinex in /Users/alphahinex/Desktop/demo)
2024-08-08T17:34:34.253+08:00  INFO 35736 --- [demo] [           main] com.example.demo.DemoApplicationTests    : No active profile set, falling back to 1 default profile: "default"
2024-08-08T17:34:34.957+08:00  INFO 35736 --- [demo] [           main] com.example.demo.DemoApplicationTests    : Started DemoApplicationTests in 1.063 seconds (process running for 2.405)
OpenJDK 64-Bit Server VM warning: Sharing is only supported for boot loader classes because bootstrap classpath has been appended
2024-08-08T17:34:35.904+08:00  INFO 35736 --- [demo] [           main] com.example.demo.DemoApplicationTests    : @BeforeEach - executes before each test method in this class
2024-08-08T17:34:35.911+08:00  INFO 35736 --- [demo] [           main] com.example.demo.DemoApplicationTests    : @AfterEach - executed after each test method.
2024-08-08T17:34:35.933+08:00  INFO 35736 --- [demo] [           main] com.example.demo.DemoApplicationTests    : @BeforeEach - executes before each test method in this class
2024-08-08T17:34:35.934+08:00  INFO 35736 --- [demo] [           main] com.example.demo.DemoApplicationTests    : Success
2024-08-08T17:34:35.935+08:00  INFO 35736 --- [demo] [           main] com.example.demo.DemoApplicationTests    : @AfterEach - executed after each test method.
2024-08-08T17:34:35.940+08:00  INFO 35736 --- [demo] [           main] com.example.demo.DemoApplicationTests    : @AfterAll - executed after all test methods.
[WARNING] Tests run: 3, Failures: 0, Errors: 0, Skipped: 1, Time elapsed: 2.521 s -- in com.example.demo.DemoApplicationTests
[INFO]
[INFO] Results:
[INFO]
[WARNING] Tests run: 3, Failures: 0, Errors: 0, Skipped: 1
...

从输出的日志信息可以看到,@BeforeAll@AfterAll 的日志只打印了一次,@BeforeEach@AfterEach 的日志在每个没 @Disabled@Test 方法执行前后都会打印。

JUnit5 断言

断言是测试用例最重要的组成部分。

断言可以用来验证方法的行为是否符合预期,并在断言失败时使测试用例失败,进而体现到最终的测试报告中。

可以说没有断言的测试用例没有任何意义,因为测试用例始终会执行通过。

JUnit 5 的断言都包含在 org.junit.jupiter.api.Assertions 类的静态方法中,并支持了 Lambda 表达式等 Java 新特性,常见的断言包括:

  • assertTrue:用于验证条件是否为 true
  • assertFalse:用于验证条件是否为 false
  • assertNull:用于验证对象是否为 null
  • assertNotNull:用于验证对象是否不为 null
  • assertEquals:用于验证两个对象是否相等。
  • assertNotEquals:用于验证两个对象是否不相等。
  • assertArrayEquals:用于验证两个数组是否相等。
  • assertSame:用于验证两个对象是否是同一个对象。
  • assertNotSame:用于验证两个对象是否不是同一个对象。
  • assertThrows:用于验证方法是否抛出了指定的异常。
  • assertAll:用于组合多个断言,当其中一个断言失败时,后续断言不会执行。
@Test
void groupAssertions() {
    int[] numbers = {0, 1, 2, 3, 4};
    assertNotNull(numbers);
    assertAll("numbers",
        () -> assertEquals(0, numbers[0]),
        () -> assertSame(3, numbers[3]),
        () -> assertArrayEquals(new int[]{0, 1, 2, 3, 4}, numbers)
    );
}

JUnit5 假设

假设用来在测试方法中定义前提条件,如果假设不成立,则测试方法会被忽略。

JUnit 5 的假设方法包含在 org.junit.jupiter.api.Assumptions 类中,有三类静态方法:

  1. assumeTrue:假设条件为 true,否则忽略测试方法。
  2. assumeFalse:假设条件为 false,否则忽略测试方法。
  3. assumingThat:假设条件为 true,否则忽略测试方法。
@Test
void testOnlyOnCiServer() {
    assumeTrue("CI".equals(System.getenv("ENV")));
    // remainder of test
}

JUnit5 验证异常

JUnit 5 中不再使用之前的 @Test(expected = …​)ExpectedException 规则来设定期待抛出的异常。异常的验证都通过 Assertions.assertThrows(…​) 方法实现:

@Test
void shouldThrowException() {
    Throwable exception = assertThrows(UnsupportedOperationException.class, () -> {
      throw new UnsupportedOperationException("Not supported");
    });
    assertEquals("Not supported", exception.getMessage());
}

@Test
void assertThrowsException() {
    String str = null;
    assertThrows(IllegalArgumentException.class, () -> {
      Integer.valueOf(str);
    });
}

DbUnit

DbUnit 是一个 JUnit 4 的扩展,可以在测试过程中基于 XML 数据集管控测试数据库中数据状态,最后的发布版本是 2024年06月02日 的 v2.8.0

基本思路是继承 DBTestCase 基类后,通过实现 getDataSet() 方法,将准备的 XML 格式数据文件加载到测试库中,之后通过 org.dbunit.Assertion 中的断言进行数据验证。

如果想在 JUnit 5 中使用 DbUnit,需要在依赖中添加 JUnit 4 和 JUnit Vintage 引擎:

<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <scope>test</scope>
</dependency>
<dependency>
    <groupId>org.junit.vintage</groupId>
    <artifactId>junit-vintage-engine</artifactId>
    <scope>test</scope>
</dependency>

以下是一个使用 DbUnit 的示例:

com.example.demo.DataSourceDBUnitTest:

package com.example.demo;

import org.dbunit.Assertion;
import org.dbunit.DataSourceBasedDBTestCase;
import org.dbunit.dataset.IDataSet;
import org.dbunit.dataset.ITable;
import org.dbunit.dataset.xml.FlatXmlDataSetBuilder;
import org.dbunit.operation.DatabaseOperation;
import org.h2.jdbcx.JdbcDataSource;
import org.junit.Test;

import javax.sql.DataSource;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

public class DataSourceDBUnitTest extends DataSourceBasedDBTestCase {
    @Override
    protected DataSource getDataSource() {
        JdbcDataSource dataSource = new JdbcDataSource();
        dataSource.setURL(
            "jdbc:h2:mem:default;MODE=LEGACY;DB_CLOSE_DELAY=-1;init=runscript from 'classpath:dbunit/schema.sql'");
        dataSource.setUser("sa");
        dataSource.setPassword("sa");
        return dataSource;
    }

    @Override
    protected IDataSet getDataSet() throws Exception {
        return new FlatXmlDataSetBuilder().build(getClass().getClassLoader()
            .getResourceAsStream("dbunit/data.xml"));
    }

    @Override
    protected DatabaseOperation getSetUpOperation() {
        return DatabaseOperation.REFRESH;
    }

    @Override
    protected DatabaseOperation getTearDownOperation() {
        return DatabaseOperation.DELETE_ALL;
    }

    @Test
    public void testGivenDataSetEmptySchema_whenDataSetCreated_thenTablesAreEqual() throws Exception {
        IDataSet expectedDataSet = getDataSet();
        ITable expectedTable = expectedDataSet.getTable("CLIENTS");
        IDataSet databaseDataSet = getConnection().createDataSet();
        ITable actualTable = databaseDataSet.getTable("CLIENTS");
        Assertion.assertEquals(expectedTable, actualTable);
    }

}

src/test/resources/dbunit/schema.sql:

CREATE TABLE IF NOT EXISTS CLIENTS
(
    `id`         int AUTO_INCREMENT NOT NULL,
    `first_name` varchar(100)       NOT NULL,
    `last_name`  varchar(100)       NOT NULL,
    PRIMARY KEY (`id`)
);

CREATE TABLE IF NOT EXISTS ITEMS
(
    `id`       int AUTO_INCREMENT NOT NULL,
    `title`    varchar(100)       NOT NULL,
    `produced` date,
    `price`    float,
    PRIMARY KEY (`id`)
);

src/test/resources/dbunit/data.xml:

<?xml version="1.0" encoding="UTF-8"?>
<dataset>
    <CLIENTS id='1' first_name='Charles' last_name='Xavier'/>
    <ITEMS id='1' title='Grey T-Shirt' price='17.99' produced='2019-03-20'/>
    <ITEMS id='2' title='Fitted Hat' price='29.99' produced='2019-03-21'/>
    <ITEMS id='3' title='Backpack' price='54.99' produced='2019-03-22'/>
    <ITEMS id='4' title='Earrings' price='14.99' produced='2019-03-23'/>
    <ITEMS id='5' title='Socks' price='9.99'/>
</dataset>

更多 DbUnit 用法可参见 Introduction to DBUnitGetting Started 等文档。

个人感觉 Spring Framework 下的 Spring TestContext Framework 中所提供的 Executing SQL Scripts 方式面向 SQL,相比 XML 更加直观,且无需引入三方依赖,对 JUnit 版本也没有限制。

Mockito

Mockito 是 Java 生态常用的 Mock 框架,用于创建和配置 Mock 对象,以及验证测试中的行为。Mockito 会被 Spring Boot Starter 自动依赖,无需额外引入。

org.mockito.Mockito 类中常用的静态方法包括:

  • mock:创建一个 Mock 对象。
  • verify:验证 Mock 对象的行为。
  • spy:创建一个部分 Mock 的对象,真实方法会被调用,但依然可以进行验证和 stub。
  • when:配置 Mock 对象的行为。
@Test
void mockAndVerify() {
    List<String> mockedList = mock(List.class);

    mockedList.add("one");
    mockedList.add("two");
    mockedList.add("two");
    mockedList.add("three");
    verify(mockedList).add("three");

    verify(mockedList, times(2)).add("two");
    verify(mockedList, atLeastOnce()).add("three");
    verify(mockedList, atMost(3)).add("one");
}

@Test
void spyAndStub() {
    List<String> list = new ArrayList<>();
    List<String> spiedList = spy(list);
    spiedList.add("one");
    spiedList.add("two");
    spiedList.add("three");
    assertEquals(3, spiedList.size());

    when(spiedList.get(0)).thenReturn("first");
    assertEquals("first", spiedList.get(0));
    assertEquals("two", spiedList.get(1));
}

JaCoCo

JaCoCo 是 Java 的代码覆盖率工具,可与 Maven 或 Gradle 集成,用于生成代码覆盖率报告。

在 Maven 中使用 JaCoCo 插件,只需在 pom.xml 中添加以下配置:

<build>
    <plugins>
        <plugin>
            <groupId>org.jacoco</groupId>
            <artifactId>jacoco-maven-plugin</artifactId>
            <version>0.8.12</version>
            <executions>
                <execution>
                    <goals>
                        <goal>prepare-agent</goal>
                    </goals>
                </execution>
                <execution>
                    <id>report</id>
                    <phase>test</phase>
                    <goals>
                        <goal>report</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

执行 mvn test 后,JaCoCo 会生成一个 target/site/jacoco/index.html 的代码覆盖率报告。

jacoco

示例代码

完整示例代码可见:https://github.com/AlphaHinex/java-test-demo

相关资料

0%