페어와이즈 테스트란？테스트 케이스를 대폭 삭감하는 기법＋allpairspy×pytest 구현

페어와이즈 테스트란 복수의 파라미터 조합을 「임의의 2개 파라미터가 최소 1회씩 테스트된다」는 것을 보증하면서 테스트 케이스 수를 대폭 줄이는 테스트 설계 기법입니다. OS·브라우저·설정 항목의 조합 폭발을 효율적으로 해소할 수 있습니다.

페어와이즈 테스트를 사용하면 「모든 패턴을 테스트해야 한다」는 압박에서 해방되어 적은 테스트 케이스로 높은 버그 검출률을 실현할 수 있습니다. 연구에 따르면 대부분의 버그는 2개의 파라미터 상호 작용에서 발생하기 때문입니다.

「OS 3종류 × 브라우저 4종류 × 언어 설정 2종류 = 24패턴」——설정 항목이 늘어날수록 테스트 수가 지수적으로 증가하고 있지 않으신가요？

• 조건이 늘어날수록 전체 조합이 폭발적으로 증가하여 테스트가 따라가지 못한다
• 전체 패턴을 실행할 시간도 리소스도 없다
• 그렇다고 테스트를 너무 줄이면 누락이 걱정된다

페어와이즈 테스트는 이런 문제를 해결하는 기법입니다. 이 글에서는 개념부터 구체적인 테스트 케이스 생성·pytest 응용까지 한 번에 해설합니다.

페어와이즈 테스트란？

페어와이즈 테스트（Pairwise Testing）란 「복수의 파라미터 중에서 임의의 2개 페어가 반드시 1회 이상 테스트되는」 최소한의 테스트 케이스 세트를 생성하는 테스트 설계 기법입니다. 「2인자 간 망라」「올 페어법」이라고도 불립니다.

왜 「2개의 페어」로 충분한가 하면 연구에 의해 대부분의 버그는 1〜2개의 파라미터 조합에 의해 발생한다는 것이 밝혀졌기 때문입니다. 3개 이상의 파라미터가 동시에 특정 값이 될 때 비로소 발생하는 버그는 매우 드뭅니다.

페어와이즈 테스트의 구조란？

페어와이즈 테스트가 어떻게 테스트 케이스를 삭감하는지 구체적인 예시로 확인합니다.

예시：웹 앱의 크로스 환경 테스트

다음 3가지 파라미터를 가진 시스템을 테스트하는 경우를 생각해봅니다.

페어와이즈법으로 생성된 9패턴

이 9패턴으로 「OS×브라우저」「OS×언어 설정」「브라우저×언어 설정」의 모든 조합이 최소 1회 커버됩니다. 27패턴에서 67% 삭감하면서 2파라미터 간 망라성은 완전하게 유지됩니다.

디시전 테이블과의 차이란？

같은 「조합 테스트」 계열의 기법이어도 디시전 테이블과 페어와이즈 테스트는 사용 구분해야 하는 장면이 명확히 다릅니다.

allpairspy를 사용한 테스트 케이스 자동 생성

페어와이즈 테스트의 케이스를 수동으로 설계하는 것은 어렵기 때문에 실무에서는 allpairspy（Python）등의 도구로 자동 생성합니다.

설치

pip install allpairspy

테스트 케이스의 자동 생성

from allpairspy import AllPairs

# 파라미터를 정의
parameters = [
    ["Windows", "macOS", "Linux"],          # OS
    ["Chrome", "Firefox", "Safari"],         # 브라우저
    ["한국어", "일본어", "영어"],            # 언어 설정
]

# 페어와이즈 테스트 케이스를 자동 생성
test_cases = [case.test_parameters for case in AllPairs(parameters)]

for i, case in enumerate(test_cases, 1):
    print(f"케이스{i}: OS={case[0]}, 브라우저={case[1]}, 언어={case[2]}")

실행 결과（출력 예시）

케이스1: OS=Windows, 브라우저=Chrome, 언어=한국어
케이스2: OS=Windows, 브라우저=Firefox, 언어=일본어
케이스3: OS=Windows, 브라우저=Safari, 언어=영어
케이스4: OS=macOS, 브라우저=Chrome, 언어=일본어
케이스5: OS=macOS, 브라우저=Firefox, 언어=영어
케이스6: OS=macOS, 브라우저=Safari, 언어=한국어
케이스7: OS=Linux, 브라우저=Chrome, 언어=영어
케이스8: OS=Linux, 브라우저=Firefox, 언어=한국어
케이스9: OS=Linux, 브라우저=Safari, 언어=일본어
# 27패턴 → 9패턴으로 삭감！

pytest의 parametrize와의 조합

생성한 테스트 케이스를 그대로 pytest의 @pytest.mark.parametrize에 전달하면 자동 테스트로 즉시 변환할 수 있습니다.

import pytest
from allpairspy import AllPairs

# 파라미터를 정의
parameters = [
    ["Windows", "macOS", "Linux"],
    ["Chrome", "Firefox", "Safari"],
    ["한국어", "일본어", "영어"],
]

# allpairspy로 테스트 케이스를 생성
pairwise_cases = [case.test_parameters for case in AllPairs(parameters)]

# 그대로 parametrize에 전달
@pytest.mark.parametrize("os, browser, language", pairwise_cases)
def test_web_app_cross_env(os, browser, language):
    """페어와이즈 테스트：크로스 환경에서 웹 앱이 정상 동작하는지 확인"""
    print(f"테스트 환경: {os} / {browser} / {language}")
    # 여기에 실제 테스트 로직을 기술
    # 예：Playwright로 브라우저를 실행하여 검증 등
    assert True  # 구현 시에는 여기에 검증 코드를 추가

실행 결과 샘플

$ pytest test_pairwise.py -v

collected 9 items

test_pairwise.py::test_web_app_cross_env[Windows-Chrome-한국어]   PASSED
test_pairwise.py::test_web_app_cross_env[Windows-Firefox-일본어]  PASSED
test_pairwise.py::test_web_app_cross_env[Windows-Safari-영어]     PASSED
test_pairwise.py::test_web_app_cross_env[macOS-Chrome-일본어]     PASSED
test_pairwise.py::test_web_app_cross_env[macOS-Firefox-영어]      PASSED
test_pairwise.py::test_web_app_cross_env[macOS-Safari-한국어]     PASSED
test_pairwise.py::test_web_app_cross_env[Linux-Chrome-영어]       PASSED
test_pairwise.py::test_web_app_cross_env[Linux-Firefox-한국어]    PASSED
test_pairwise.py::test_web_app_cross_env[Linux-Safari-일본어]     PASSED

========================== 9 passed in 0.08s ===========================

페어와이즈 테스트가 특히 유효한 장면

페어와이즈 테스트가 실무에서 특히 효과를 발휘하는 장면을 정리합니다.

⚠️ 페어와이즈 테스트에서 자주 있는 실패 패턴 4선

실무에서 페어와이즈 테스트를 적용할 때 빠지기 쉬운 실패를 소개합니다.

FAQ

📋 이 글의 정리

페어와이즈 테스트는 「전부 테스트하고 싶지만 시간이 없다」는 딜레마를 해결하는 현실적인 기법입니다. 먼저 allpairspy를 설치하여 손 가까이의 설정 항목이나 크로스 환경 테스트에 적용해 보세요. 27패턴이 9패턴이 되는 순간 테스트 설계에 대한 시각이 바뀝니다.