Selenium + Python 추천 라이브러리 6선 | 테스트 자동화 필수 도구

@pytest.mark.parametrize는 하나의 테스트 함수를 여러 패턴으로 실행할 수 있는 강력한 기능입니다. API 테스트에서 인증 패턴 전환, UI 테스트에서 역할별 접근 권한 검증 등 실무에서 빠질 수 없는 장면이 많습니다. pytest.param·indirect·fixture params와의 사용 구분까지 이해하면 데이터 기반 테스트의 폭이 크게 넓어집니다.

📌 이 글의 대상 독자

📖 이 글에서 배울 수 있는 내용

필자는 QA 엔지니어로 15년 이상 API 테스트·기능 테스트 자동화를 담당해 왔습니다.
인증 토큰을 여러 패턴으로 전환하면서 API 테스트를 돌리거나, 역할별 접근 권한을 일괄 검증하는 등의 장면에서 파라미터화 테스트를 많이 활용해 온 경험을 바탕으로 실제 현장에서의 실패 사례와 개선 패턴을 함께 소개합니다.

@pytest.mark.parametrize 기본 복습

응용 패턴에 들어가기 전에 최소 구성을 확인해 둡니다.

import pytest

# 인수명과 패턴 리스트를 지정하기만 하면 됨
@pytest.mark.parametrize("value, expected", [
    (1,  True),
    (0,  False),
    (-1, False),
])
def test_is_positive(value: int, expected: bool) -> None:
    assert (value > 0) == expected

이 테스트는 3가지 패턴으로 실행됩니다. 출력은 test_is_positive[1-True]처럼 자동으로 이름이 붙습니다.

응용 패턴 5가지

1. pytest.param으로 id·marks를 붙여 관리성 높이기

패턴이 늘어나면 “어떤 케이스가 실패했는지” 파악하기 어려워집니다.
pytest.param으로 id(테스트명)와 marks(속성)를 붙이면 가독성이 크게 향상됩니다.

import pytest
import requests

@pytest.mark.parametrize("payload, expected_status", [
    pytest.param(
        {"username": "admin", "password": "correct"},
        200,
        id="valid_credentials",
    ),
    pytest.param(
        {"username": "admin", "password": "wrong"},
        401,
        id="wrong_password",
    ),
    # smoke 마크로 CI에서 기본 확인만 먼저 실행 (pytest -m smoke)
    pytest.param(
        {"username": "", "password": ""},
        400,
        id="empty_credentials",
        marks=pytest.mark.smoke,
    ),
    # 기지 버그로 인해 일시 스킵
    pytest.param(
        {"username": "admin", "password": None},
        400,
        id="null_password",
        marks=pytest.mark.skip(reason="Issue #123 수정 대기 중"),
    ),
    # 향후 수정 예정인 실패 패턴 (xfail)
    pytest.param(
        {"username": " ", "password": "pass"},
        400,
        id="whitespace_username",
        marks=pytest.mark.xfail(reason="공백만 있는 사용자명이 현재 통과됨"),
    ),
])
def test_login(payload: dict, expected_status: int) -> None:
    response = requests.post(
        "https://example.com/api/auth/login",  # 샘플 URL
        json=payload,
        timeout=(3, 10),
    )
    assert response.status_code == expected_status

id를 붙이면 test_login[valid_credentials]처럼 표시됩니다.
id가 없으면 test_login[payload0-200]같은 자동 생성명이 되어 패턴이 많아질수록 특정하기 어려워집니다.

# pytest.ini
[pytest]
markers =
    smoke: 스모크 테스트 (기본 동작 확인)
    slow: 실행 시간이 긴 테스트

2. 복수의 parametrize를 쌓아 조합 생성하기

@pytest.mark.parametrize를 여러 개 쌓으면 모든 패턴의 직적(조합)이 자동으로 생성됩니다.

import pytest

# 2 × 3 = 6가지 패턴 자동 생성
@pytest.mark.parametrize("lang", ["ja", "en", "ko"])
@pytest.mark.parametrize("role", ["admin", "user"])
def test_dashboard_access(lang: str, role: str) -> None:
    # 실무 예: 언어 × 역할의 모든 조합으로 접근 권한 검증
    assert lang in ("ja", "en", "ko")
    assert role in ("admin", "user")

3. indirect=True로 fixture에 파라미터 전달하기

indirect=True를 사용하면 파라미터 값이 테스트 함수에 직접 전달되지 않고, 같은 이름의 fixture에 전달된 후 테스트 함수에 주입됩니다.
셋업 처리를 파라미터에 따라 전환하고 싶을 때 편리합니다.

import pytest
import requests

# 파라미터를 받아 인증된 세션을 반환하는 fixture
@pytest.fixture
def authed_session(request: pytest.FixtureRequest) -> requests.Session:
    role: str = request.param  # ← parametrize의 값이 여기에 들어옴
    credentials = {
        "admin": {"username": "admin_user", "password": "admin_pass"},
        "user":  {"username": "normal_user", "password": "user_pass"},
    }
    cred = credentials[role]
    session = requests.Session()
    res = session.post(
        "https://example.com/api/auth/login",  # 샘플 URL
        json=cred,
        timeout=(3, 10),
    )
    res.raise_for_status()
    session.headers.update({"Authorization": f"Bearer {res.json()['token']}"})
    yield session
    session.close()


# indirect=True로 authed_session fixture에 파라미터를 전달
@pytest.mark.parametrize("authed_session", ["admin", "user"], indirect=True)
def test_profile_access(authed_session: requests.Session) -> None:
    res = authed_session.get(
        "https://example.com/api/profile",  # 샘플 URL
        timeout=(3, 10),
    )
    assert res.status_code == 200

4. 일부만 indirect로 지정하기 (부분 indirect)

import pytest
import requests

@pytest.fixture
def authed_session(request: pytest.FixtureRequest) -> requests.Session:
    role: str = request.param
    session = requests.Session()
    # ... 로그인 처리 ...
    yield session
    session.close()


@pytest.mark.parametrize(
    "authed_session, endpoint",
    [
        pytest.param("admin", "/api/admin/users",   id="admin_users"),
        pytest.param("admin", "/api/admin/reports", id="admin_reports"),
        pytest.param("user",  "/api/profile",       id="user_profile"),
    ],
    indirect=["authed_session"],  # ← 리스트로 대상 인수를 지정
)
def test_endpoint_access(authed_session: requests.Session, endpoint: str) -> None:
    res = authed_session.get(
        f"https://example.com{endpoint}",  # 샘플 URL
        timeout=(3, 10),
    )
    assert res.status_code == 200

5. pytest-xdist와 조합해 병렬 실행 고속화하기

pip install pytest-xdist

# CPU 코어 수에 맞게 자동 병렬화
pytest -n auto

# 코어 수를 직접 지정
pytest -n 4

parametrize와 fixture params의 사용 구분

fixture params 코드 예시

import pytest
import requests

@pytest.fixture(params=[
    pytest.param("admin",  id="admin_role"),
    pytest.param("editor", id="editor_role"),
    pytest.param("viewer", id="viewer_role"),
])
def role(request: pytest.FixtureRequest) -> str:
    return request.param


def test_can_access_dashboard(role: str) -> None:
    res = requests.get(
        "https://example.com/api/dashboard",  # 샘플 URL
        headers={"X-Role": role},
        timeout=(3, 10),
    )
    assert res.status_code == 200


def test_can_view_profile(role: str) -> None:
    res = requests.get(
        "https://example.com/api/profile",  # 샘플 URL
        headers={"X-Role": role},
        timeout=(3, 10),
    )
    assert res.status_code == 200

비교표

테스트 데이터를 별도 파일로 관리해 공유하기

# tests/test_data.py
import pytest

VALID_USER_PAYLOADS = [
    pytest.param({"username": "admin",  "password": "admin123"}, id="admin"),
    pytest.param({"username": "editor", "password": "edit456"},  id="editor"),
]

INVALID_USER_PAYLOADS = [
    pytest.param({"username": "", "password": "pass"}, id="empty_username"),
    pytest.param({},                                    id="empty_body"),
]

# tests/test_login.py
import pytest
import requests
from tests.test_data import VALID_USER_PAYLOADS, INVALID_USER_PAYLOADS


@pytest.mark.parametrize("payload", VALID_USER_PAYLOADS)
def test_login_success(payload: dict) -> None:
    res = requests.post(
        "https://example.com/api/auth/login",  # 샘플 URL
        json=payload,
        timeout=(3, 10),
    )
    assert res.status_code == 200


@pytest.mark.parametrize("payload", INVALID_USER_PAYLOADS)
def test_login_failure(payload: dict) -> None:
    res = requests.post(
        "https://example.com/api/auth/login",  # 샘플 URL
        json=payload,
        timeout=(3, 10),
    )
    assert res.status_code in (400, 422)

Playwright에서의 파라미터화 예시

import pytest
from playwright.sync_api import Page

@pytest.mark.parametrize("username, password, expected_url", [
    pytest.param("admin", "correct", "/dashboard", id="admin_login"),
    pytest.param("user",  "correct", "/home",      id="user_login"),
    pytest.param("admin", "wrong",   "/login",     id="invalid_password"),
    pytest.param("",      "",        "/login",     id="empty_credentials"),
])
def test_login_redirect(
    page: Page,
    username: str,
    password: str,
    expected_url: str,
) -> None:
    page.goto("https://example.com/login")  # 샘플 URL
    page.fill("[data-testid='username']", username)
    page.fill("[data-testid='password']", password)
    page.click("[data-testid='submit']")
    page.wait_for_url(f"**{expected_url}")
    assert expected_url in page.url

실무에서 자주 겪는 함정 7가지

자주 묻는 질문 (FAQ)

정리

@pytest.mark.parametrize의 응용 패턴을 활용하면 테스트 케이스의 증가를 코드량 증가 없이 실현할 수 있습니다.
먼저 기존 테스트의 pytest.param에 id를 붙이는 것부터 시작해 보세요.

패턴 관리가 정돈되면 케이스 추가·삭제 작업이 훨씬 수월해지고, CI의 실패 메시지도 한눈에 파악할 수 있게 됩니다.