검증은 층을 나눠서 했다. 자동 테스트와 실제 공공 API, 프로토콜 호환, 사람이 보는 사용성은 서로 다른 층이고, 한 층을 통과했다고 다른 층이 통과되는 게 아니다.
자동 테스트 — 데이터 정리와 판단 규칙, 부분 실패, 캐시, 인증, 사용자 답변까지 고정한다.
실제 API — 지연과 응답 내용, 실패한 소스, 미확인 근거를 모의 데이터와 섞지 않고 따로 확인한다.
경로 정확도 — 직행 여부와 환승 수, 호선, 역 순서를 대표 경로로 회귀시킨다.
프로토콜 호환 — 도구와 프롬프트, 리소스가 제대로 탐지되고 구조화 결과가 돌아오는지 확인한다. 다만 제품 화면의 자동 도구 선택까지 검증한 건 아니다.
사용성 — 사람이 직접 이해도와 행동 가능성, 불확실성 표현을 평가한다.
실제 공공 API에 휠체어·유모차·화장실 조건 3개를 연속 실행했다.
| 조건 | 전체 시간 | 외부 API 호출 |
|---|---|---|
| 캐시 없음 | 9,153 ms | 8회 |
| 캐시 있음 | 4,569 ms | 0회 |
캐시 전후 성능 비교
한 번의 로컬 실행이라 운영 평균으로 쓰지 않고, 캐시가 외부 호출을 줄였는지 확인하는 재현 기준으로만 남겼다.
내부 검토 두 차례에서 행동 가능성이 5점 만점에 2점이었다. 근거와 주의사항은 많은데 사용자가 출발 전에 무엇을 해야 하는지 바로 알기 어려웠다.
답변 앞부분을 판단 → 요약 → 권장 확인 순서로 바꾸고, 역별 확인·미확인 근거를 사용자 조건에 맞춰 정리했다. 전체 경위는 트러블슈팅과 운영 시나리오의 사례 2에 있다.