검증은 층을 나눠서 했다. 자동 테스트와 실제 공공 API, 프로토콜 호환, 사람이 보는 사용성은 서로 다른 층이고, 한 층을 통과했다고 다른 층이 통과되는 게 아니다.

검증 층

자동 테스트 — 데이터 정리와 판단 규칙, 부분 실패, 캐시, 인증, 사용자 답변까지 고정한다.

실제 API — 지연과 응답 내용, 실패한 소스, 미확인 근거를 모의 데이터와 섞지 않고 따로 확인한다.

경로 정확도 — 대표 경로의 직행 여부와 환승 수, 호선, 역 순서를 회귀 테스트로 고정한다.

프로토콜 호환 — 도구와 프롬프트, 리소스가 제대로 탐지되고 구조화 결과가 돌아오는지 확인한다. 다만 제품 화면의 자동 도구 선택까지 검증한 건 아니다.

사용성 — 사람이 직접 이해도와 행동 가능성, 불확실성 표현을 평가한다.

캐시 전후 비교

실제 공공 API에 휠체어·유모차·화장실 조건 3개를 연속 실행했다.

캐시 전후 성능 비교

한 번의 로컬 실행이라 운영 평균으로 쓰지 않고, 캐시가 외부 호출을 줄였는지 확인하는 재현 기준으로만 남겼다.

행동 가능성 2점에서 시작한 개선

내부 사용성 검토 두 차례에서 행동 가능성이 5점 만점에 모두 2점이었다. 답변을 고친 경위는 트러블슈팅과 운영 시나리오의 사례 2에 있다.

배포 전 확인

배포 전에는 의존성 재현성, 전체 테스트, 정적 검사, 컨테이너 빌드를 확인한다. 10월에는 앞의 셋을 검증 게이트 하나로 묶었고, 컨테이너 빌드는 CI가 게이트 다음에 확인한다. 자세한 건 개발 하네스와 검증 게이트에 있다. API 키와 실제 응답 샘플은 배포 대상과 로그에 넣지 않는다.