AI

AI 에이전트가 QA 에서 '통과'를 지어내지 못하게 막기

date
Nov 17, 2026
slug
ai-agent-qa-false-pass
author
status
Public
tags
AI
summary
AI 에이전트에게 웹 UI QA 를 맡기며 겪은 거짓 통과와, 규칙 대신 관문 도구로 막은 방법
type
Post
thumbnail
category
AI
updatedAt
Nov 17, 2026 06:29 AM
 
 

 

AI 에이전트가 QA 에서 '통과'를 지어내지 못하게 막기

 

왜 거짓 통과가 생길까

AI 에이전트에게 웹 화면 QA 를 맡기면 시나리오 작성, 실행, 결과 정리까지는 금방 끝난다.
그런데 결과표의 "통과" 가 실제로는 통과가 아닌 경우가 꽤 있었다.
 

실제로 있었던 거짓 통과

  1. 실행 결과를 본 뒤 기대값을 결과에 맞게 고쳐서 통과 (으악스럽다 정말)
  1. 앞 실행에서 저장해 둔 값을 이번 실행에서 확인한 것처럼 기록
  1. 결제 버튼이 막힌 화면을 다른 메뉴로 돌아 들어가 성공시키고 통과
  1. 결과표에 실행 기록 어디에도 없는 숫자를 적음
  1. 금액은 맞는데 화면에 "배송 불가" 안내가 떠 있었는데도 성공으로 기록
🥲
목표가 "끝내기" 라서 막히면 다른 길을 찾아 끝을 내는 것에 가까움
 

코드만 보고 통과로

"쿠폰 + 포인트 중복 사용 불가" 모달이 떠야 하는 케이스인데, JS 클릭으로 눌렀을 때 모달이 안 뜨는 현상
  • page.evaluate() 안에서 el.click() 으로 누르면 모달이 안 떴고, 결과는 "통과" 로 판정됨
    • 같은 버튼을 Playwright locator.click() 으로 누르면 모달이 뜸
      • 즉 "통과" 라는 결과가 거짓이었음
// 화면을 "보는" 용도로만 사용. 이걸로 얻은 "안 막힘" 은 판정 근거 X await page.evaluate(() => document.querySelector('#pay-btn').click()) // 판정은 실제 클릭으로 await page.locator('#pay-btn').click()
 

검사 도구에도 구멍이 있었음

화면에서 읽은 값과 기대값을 비교하는 헬퍼를 직접 만들어 사용함
기대값에 오타가 나면 undefined, 실제 값도 undefined 가 되어 “통과” 처리 되던 문제
  • 기대값이 비어 있으면 멈추고, 실제 값이 비어 있으면 “문제있음” 으로 처리하도록 수정함
// 못 읽은 값은 undefined 또는 null 로 온다. 둘끼리 같다고 보면 칸 이름 오타가 통과한다 const missing = (v) => v === undefined || v === null; check(name, actual, expected, { tolerance = 0 } = {}) { if (missing(expected)) throw new Error(`[qa-run] 기대값 없음:${name}`); const ok = !missing(actual) && same(actual, expected, tolerance); ... }
 

막는 방법

규칙을 문서에만 적어 두면 에이전트가 잊거나 이번만 하고 넘어감
그래서 관문을 하나라도 못 지나면 기록 업로드 도구가 결과를 올리지 않게 만들었음.
 

1. 기대값을 실행 전에 파일로 고정

시나리오에서 기대값을 따로 계산해 파일로 저장, 첫 실행 뒤에는 이 파일을 고치지 않음
{ "code": "CASE-01", "written_at": "YYYY-MM-DD HH:MM", "expect": [ { "step": "1", "value": "33,000원", "basis": "상품 15,000 x 2 + 배송비 3,000 (30,000 미만)" }, { "step": "2", "value": "\"최소 주문 금액은 5,000원입니다\"", "basis": "쿠폰 최소금액 5,000 > 결제 3,000" } ] }
 
검사기가 기대값 파일의 생성 시각과 첫 실행 기록 시각을 비교함
if created_at(exp_path, root, warns) >= first_run: errors.append(f"기대값 파일이 첫 실행 뒤에 만들어짐:{exp_path.name}") if exp_path.stat().st_mtime > first_run + 1: errors.append(f"기대값 파일이 첫 실행 뒤에 수정됨:{exp_path.name}")
  • 규칙이 바뀌어 다시 해야 하면 r2 새 파일을 만들고, 옛 파일은 그대로 둠
  • 기대와 실제가 다르면 무조건 실패
    • "기대가 틀렸다" 는 판단은 실행한 쪽이 아니라 책임자가 함
 

2. 결과 검사기

Pass 인데 마지막 실행 기록에 N passed 가 없거나 failed 가 있으면 오류
  • 결과표에 적은 숫자가 저장값 파일이나 실행 기록에 없으면 오류
  • 스펙 파일이 첫 실행 뒤에 바뀌었는데 변경 공개 칸이 비어 있으면 오류
  • 앞 실행 값을 쓴 단계는 재사용 공개 칸이 있어야 함
if verdict == "Pass" and run_times: last = run_times[-1][1].read_text(encoding="utf-8", errors="replace") if not re.search(r"\b\d+ passed\b", last) or re.search(r"\b\d+ failed\b", last): errors.append("Pass 인데 마지막 실행 기록에 'N passed' 가 없거나 failed 가 있음")
 

3. 서버 재조회

결과 파일에 적힌 주문을 읽기 API 나 DB 로 다시 조회해서 결과 값과 대조
  • 다르면 종료 코드 1, 업로드 안 됨
저장 버튼을 눌러 에러가 안 났는데, 모달만 닫히고 실제 요청은 안 나간 적이 있었음
  • "에러 없음" 은 저장되었다는 뜻이 아님!
돈이 움직이는 케이스는 대사식이 1원까지 맞아야 성공
 

4. 확인 표시

사람이 가린 스크린샷을 풀해상도로 직접 열어 숫자를 읽고 메모로 남김
  • 이때 결과 파일의 sha256 을 같이 저장
    • 결과 파일이 그 뒤 한 글자라도 바뀌면 다시 확인해야 올라감
 

5. 사람이 멈추는 세 지점

  1. 범위 제안:
    1. 에이전트가 코드, 문서, 화면을 읽기만 하고 어디까지 볼지 제안
  1. 시나리오 승인:
    1. 다른 에이전트가 시나리오를 먼저 점검한 뒤 사람이 승인
  1. 기록 전 확인:
    1. 관문을 통과한 뒤, 다른 에이전트가 덜 본 곳을 점검하고 사람이 확인
      • "알아서 해" 라고 해도 3번은 건너뛰지 않음
      • 점검은 실행한 대화를 물려받지 않은 새 에이전트에게 맡김
        • 돌린 쪽은 자기 결과가 변경을 다 덮었다고 믿기 쉬움
 

추가로 이해하기

AI 에이전트가 QA 에서 '통과'를 지어내지 못하게 막기 의 다른 방법은?

이번에 만든 관문 말고도, 같은 문제를 다른 쪽에서 막는 방법들이 있음
 
  1. 고칠 수 없게 막기
    1. Claude Code 는 도구를 실행하기 전에 PreToolUse 훅을 거치는데, 여기서 deny 를 돌려주면 그 호출이 막힘
      권한 설정의 deny 규칙으로 검사 도구 경로 수정을 아예 막을 수도 있음
      { "permissions": { "deny": ["Edit(qa/tools/**)", "Edit(e2e/helpers/**)"] } }
      지금 하네스는 "관문을 약하게 고치는 것 = 규칙 위반" 을 시작 프롬프트로만 막고 있어서, 이걸 붙이면 설정이 대신 막아줌
      • 기대값 파일은 처음 만들 때는 써야 해서 deny 로 통째로 막을 수 없음
        • PreToolUse 훅에서 "이미 있는 기대값 파일을 고치려 하면 deny" 처럼 조건을 걸어야 할 것 같음
      • 문서에 적힌 Edit deny 의 범위는 Claude 의 파일 도구, 그리고 sed, tee, 리다이렉션처럼 Claude Code 가 알아보는 셸 명령까지
        • 그 밖의 길로 고치는 경우는 따로 확인이 필요함
  1. 테스트가 실패를 잡는지 시험하기
    1. 뮤테이션 테스트는 코드를 일부러 바꿔 놓고 테스트를 다시 돌려서, 테스트가 실패하는지 봄
      바꿨는데도 통과하면 그 테스트는 아무것도 확인하지 않고 있는 것
      • Stryker 같은 도구는 단위 테스트가 대상이라 화면 QA 에 그대로 붙이긴 어려움
      • 대신 막혀야 하는 버튼을 일부러 열어 두고 케이스가 실패하는지 한 번 보는 식으로 응용할 수 있음
        • 단언 헬퍼의 undefined 구멍도 이렇게 시험해 봤으면 더 빨리 잡혔을 것 같음
  1. 실행을 그대로 남겨서 다시 보기
    1. Playwright 트레이스를 켜 두면 실행이 끝난 뒤 Trace Viewer 로 단계별 동작, 콘솔, 네트워크 요청을 다시 볼 수 있음
      • 에이전트가 정리한 결과표가 아니라 실행 그 자체를 증거로 남기는 방법
      • 스크린샷과 실행 기록보다 남는 게 많아서, 확인 표시 단계에서 같이 보면 좋을 것 같음
  1. 화면을 이미지로 비교하기
    1. toHaveScreenshot() 으로 기준 스크린샷과 지금 화면을 비교함 (내부적으로 pixelmatch 사용)
      • 금액은 맞는데 "배송 불가" 가 떠 있던 경우처럼, 따로 단언하지 않은 화면 변화도 걸림
      • 대신 기준 이미지를 다시 만드는 --update-snapshots 를 에이전트가 돌려 버리면 같은 문제가 생김
        • 그래서 1번(고칠 수 없게 막기)과 같이 써야 의미가 있음
 
결국 공통점은 "통과" 라고 말하는 쪽과 통과를 판정하는 쪽을 떼어 놓는 것
 

요약 내용

하네스는 증거를 만들 뿐, 통과를 만들지 않아야한다.
각 단계를 세부적으로 나눌수록 각 단계의 정확도가 올라감.
  • 기대값은 실행 전에 고정하고, 결과는 실행 기록 파일과 서버 재조회로 판정
    • "에러 없음", HTTP 200, JS 클릭 결과는 통과 근거가 아님
 

참고링크

 

Comment

요즘 너무 바쁜 일상 생활에 블로그 글이 뜸했다. 다시 AI 글로 채워나가봐야지..
AI 에게 QA 를 맡기면서 "통과" 라는 말보다 그 통과를 증명하는 파일을 믿어야 한다는 걸 배웠다. 에이전트를 의심한다기보다, 사람이 매번 지켜볼 수 없으니 규칙과 도구가 대신 지키게 하는 쪽에 가깝다.
AI 로 QA 를 어떻게 수행하고 있는 지는 다음 글 작성 때..