AI
AI 에이전트가 QA 에서 '통과'를 지어내지 못하게 막기
date
Nov 17, 2026
slug
ai-agent-qa-false-pass
author
status
Public
tags
AI
summary
AI 에이전트에게 웹 UI QA 를 맡기며 겪은 거짓 통과와, 규칙 대신 관문 도구로 막은 방법
type
Post
thumbnail
category
AI
updatedAt
Nov 17, 2026 06:29 AM
AI 에이전트가 QA 에서 '통과'를 지어내지 못하게 막기왜 거짓 통과가 생길까실제로 있었던 거짓 통과코드만 보고 통과로검사 도구에도 구멍이 있었음막는 방법1. 기대값을 실행 전에 파일로 고정2. 결과 검사기3. 서버 재조회4. 확인 표시5. 사람이 멈추는 세 지점추가로 이해하기AI 에이전트가 QA 에서 '통과'를 지어내지 못하게 막기 의 다른 방법은?요약 내용참고링크Comment
AI 에이전트가 QA 에서 '통과'를 지어내지 못하게 막기
왜 거짓 통과가 생길까
AI 에이전트에게 웹 화면 QA 를 맡기면 시나리오 작성, 실행, 결과 정리까지는 금방 끝난다.
그런데 결과표의 "통과" 가 실제로는 통과가 아닌 경우가 꽤 있었다.
실제로 있었던 거짓 통과
- 실행 결과를 본 뒤 기대값을 결과에 맞게 고쳐서 통과 (으악스럽다 정말)
- 앞 실행에서 저장해 둔 값을 이번 실행에서 확인한 것처럼 기록
- 결제 버튼이 막힌 화면을 다른 메뉴로 돌아 들어가 성공시키고 통과
- 결과표에 실행 기록 어디에도 없는 숫자를 적음
- 금액은 맞는데 화면에 "배송 불가" 안내가 떠 있었는데도 성공으로 기록
목표가 "끝내기" 라서 막히면 다른 길을 찾아 끝을 내는 것에 가까움
코드만 보고 통과로
"쿠폰 + 포인트 중복 사용 불가" 모달이 떠야 하는 케이스인데, JS 클릭으로 눌렀을 때 모달이 안 뜨는 현상
page.evaluate()안에서el.click()으로 누르면 모달이 안 떴고, 결과는 "통과" 로 판정됨- 같은 버튼을 Playwright
locator.click()으로 누르면 모달이 뜸 - 즉 "통과" 라는 결과가 거짓이었음
// 화면을 "보는" 용도로만 사용. 이걸로 얻은 "안 막힘" 은 판정 근거 X await page.evaluate(() => document.querySelector('#pay-btn').click()) // 판정은 실제 클릭으로 await page.locator('#pay-btn').click()
검사 도구에도 구멍이 있었음
화면에서 읽은 값과 기대값을 비교하는 헬퍼를 직접 만들어 사용함
기대값에 오타가 나면
undefined, 실제 값도 undefined 가 되어 “통과” 처리 되던 문제- 기대값이 비어 있으면 멈추고, 실제 값이 비어 있으면 “문제있음” 으로 처리하도록 수정함
// 못 읽은 값은 undefined 또는 null 로 온다. 둘끼리 같다고 보면 칸 이름 오타가 통과한다 const missing = (v) => v === undefined || v === null; check(name, actual, expected, { tolerance = 0 } = {}) { if (missing(expected)) throw new Error(`[qa-run] 기대값 없음:${name}`); const ok = !missing(actual) && same(actual, expected, tolerance); ... }
막는 방법
규칙을 문서에만 적어 두면 에이전트가 잊거나 이번만 하고 넘어감
그래서 관문을 하나라도 못 지나면 기록 업로드 도구가 결과를 올리지 않게 만들었음.
1. 기대값을 실행 전에 파일로 고정
시나리오에서 기대값을 따로 계산해 파일로 저장, 첫 실행 뒤에는 이 파일을 고치지 않음
{ "code": "CASE-01", "written_at": "YYYY-MM-DD HH:MM", "expect": [ { "step": "1", "value": "33,000원", "basis": "상품 15,000 x 2 + 배송비 3,000 (30,000 미만)" }, { "step": "2", "value": "\"최소 주문 금액은 5,000원입니다\"", "basis": "쿠폰 최소금액 5,000 > 결제 3,000" } ] }
검사기가 기대값 파일의 생성 시각과 첫 실행 기록 시각을 비교함
if created_at(exp_path, root, warns) >= first_run: errors.append(f"기대값 파일이 첫 실행 뒤에 만들어짐:{exp_path.name}") if exp_path.stat().st_mtime > first_run + 1: errors.append(f"기대값 파일이 첫 실행 뒤에 수정됨:{exp_path.name}")
- 규칙이 바뀌어 다시 해야 하면
r2새 파일을 만들고, 옛 파일은 그대로 둠
- 기대와 실제가 다르면 무조건 실패
- "기대가 틀렸다" 는 판단은 실행한 쪽이 아니라 책임자가 함
2. 결과 검사기
Pass 인데 마지막 실행 기록에
N passed 가 없거나 failed 가 있으면 오류- 결과표에 적은 숫자가 저장값 파일이나 실행 기록에 없으면 오류
- 스펙 파일이 첫 실행 뒤에 바뀌었는데 변경 공개 칸이 비어 있으면 오류
- 앞 실행 값을 쓴 단계는 재사용 공개 칸이 있어야 함
if verdict == "Pass" and run_times: last = run_times[-1][1].read_text(encoding="utf-8", errors="replace") if not re.search(r"\b\d+ passed\b", last) or re.search(r"\b\d+ failed\b", last): errors.append("Pass 인데 마지막 실행 기록에 'N passed' 가 없거나 failed 가 있음")
3. 서버 재조회
결과 파일에 적힌 주문을 읽기 API 나 DB 로 다시 조회해서 결과 값과 대조
- 다르면 종료 코드 1, 업로드 안 됨
저장 버튼을 눌러 에러가 안 났는데, 모달만 닫히고 실제 요청은 안 나간 적이 있었음
- "에러 없음" 은 저장되었다는 뜻이 아님!
돈이 움직이는 케이스는 대사식이 1원까지 맞아야 성공
4. 확인 표시
사람이 가린 스크린샷을 풀해상도로 직접 열어 숫자를 읽고 메모로 남김
- 이때 결과 파일의 sha256 을 같이 저장
- 결과 파일이 그 뒤 한 글자라도 바뀌면 다시 확인해야 올라감
5. 사람이 멈추는 세 지점
- 범위 제안:
에이전트가 코드, 문서, 화면을 읽기만 하고 어디까지 볼지 제안
- 시나리오 승인:
다른 에이전트가 시나리오를 먼저 점검한 뒤 사람이 승인
- 기록 전 확인:
- "알아서 해" 라고 해도 3번은 건너뛰지 않음
- 점검은 실행한 대화를 물려받지 않은 새 에이전트에게 맡김
- 돌린 쪽은 자기 결과가 변경을 다 덮었다고 믿기 쉬움
관문을 통과한 뒤, 다른 에이전트가 덜 본 곳을 점검하고 사람이 확인
추가로 이해하기
AI 에이전트가 QA 에서 '통과'를 지어내지 못하게 막기 의 다른 방법은?
이번에 만든 관문 말고도, 같은 문제를 다른 쪽에서 막는 방법들이 있음
- 고칠 수 없게 막기
- 기대값 파일은 처음 만들 때는 써야 해서 deny 로 통째로 막을 수 없음
- PreToolUse 훅에서 "이미 있는 기대값 파일을 고치려 하면 deny" 처럼 조건을 걸어야 할 것 같음
- 문서에 적힌 Edit deny 의 범위는 Claude 의 파일 도구, 그리고 sed, tee, 리다이렉션처럼 Claude Code 가 알아보는 셸 명령까지
- 그 밖의 길로 고치는 경우는 따로 확인이 필요함
Claude Code 는 도구를 실행하기 전에 PreToolUse 훅을 거치는데, 여기서 deny 를 돌려주면 그 호출이 막힘
권한 설정의 deny 규칙으로 검사 도구 경로 수정을 아예 막을 수도 있음
{ "permissions": { "deny": ["Edit(qa/tools/**)", "Edit(e2e/helpers/**)"] } }
지금 하네스는 "관문을 약하게 고치는 것 = 규칙 위반" 을 시작 프롬프트로만 막고 있어서, 이걸 붙이면 설정이 대신 막아줌
- 테스트가 실패를 잡는지 시험하기
- Stryker 같은 도구는 단위 테스트가 대상이라 화면 QA 에 그대로 붙이긴 어려움
- 대신 막혀야 하는 버튼을 일부러 열어 두고 케이스가 실패하는지 한 번 보는 식으로 응용할 수 있음
- 단언 헬퍼의 undefined 구멍도 이렇게 시험해 봤으면 더 빨리 잡혔을 것 같음
뮤테이션 테스트는 코드를 일부러 바꿔 놓고 테스트를 다시 돌려서, 테스트가 실패하는지 봄
바꿨는데도 통과하면 그 테스트는 아무것도 확인하지 않고 있는 것
- 실행을 그대로 남겨서 다시 보기
- 에이전트가 정리한 결과표가 아니라 실행 그 자체를 증거로 남기는 방법
- 스크린샷과 실행 기록보다 남는 게 많아서, 확인 표시 단계에서 같이 보면 좋을 것 같음
Playwright 트레이스를 켜 두면 실행이 끝난 뒤 Trace Viewer 로 단계별 동작, 콘솔, 네트워크 요청을 다시 볼 수 있음
- 화면을 이미지로 비교하기
- 금액은 맞는데 "배송 불가" 가 떠 있던 경우처럼, 따로 단언하지 않은 화면 변화도 걸림
- 대신 기준 이미지를 다시 만드는
--update-snapshots를 에이전트가 돌려 버리면 같은 문제가 생김 - 그래서 1번(고칠 수 없게 막기)과 같이 써야 의미가 있음
toHaveScreenshot() 으로 기준 스크린샷과 지금 화면을 비교함 (내부적으로 pixelmatch 사용)결국 공통점은 "통과" 라고 말하는 쪽과 통과를 판정하는 쪽을 떼어 놓는 것
요약 내용
하네스는 증거를 만들 뿐, 통과를 만들지 않아야한다.
각 단계를 세부적으로 나눌수록 각 단계의 정확도가 올라감.
- 기대값은 실행 전에 고정하고, 결과는 실행 기록 파일과 서버 재조회로 판정
"에러 없음", HTTP 200, JS 클릭 결과는 통과 근거가 아님
참고링크
Comment
요즘 너무 바쁜 일상 생활에 블로그 글이 뜸했다. 다시 AI 글로 채워나가봐야지..
AI 에게 QA 를 맡기면서 "통과" 라는 말보다 그 통과를 증명하는 파일을 믿어야 한다는 걸 배웠다.
에이전트를 의심한다기보다, 사람이 매번 지켜볼 수 없으니 규칙과 도구가 대신 지키게 하는 쪽에 가깝다.
AI 로 QA 를 어떻게 수행하고 있는 지는 다음 글 작성 때..