StudyDad

AI 장애 분석 포스트모템 시리즈 4/9metric query가 열린 뒤 Old Gen부터 다시 봤습니다. 가장 먼저 확인한 건 요청량이었습니다.시간대요청량baseline9~16 RPS13:30 KST 전후약 70 RPS13:40 KST 전후약 103 RPSGET /v3/auth가 6~10배 늘어 있었습니다. 이때 top resource는 압도적으로 GET /v3/auth였고, /heartbeat는 background health probe에 가까웠습니다.Datadog indexed span 기준으로 GET /v3/auth 요청이 증가했고, 같은 시간대에 Old Gen은 상승했지만 major collection time은 0에 가까웠습니다.Old Gen 증가는 그 안에서 다시 의심하기로 했습니다.trac..

AI 장애 분석 포스트모템 시리즈 3/9Datadog scope를 보완하고 AI에게 첫 조사 요청을 넣었습니다. 이때 프롬프트에서 계속 붙잡고 있어야 했던 문장은 하나였습니다.Do not assume /heartbeat is the root cause.사람이 본 그래프를 알려주되, 그 그래프를 원인으로 확정하지 못하게 했습니다.초기 단서를 원인으로 못박지 않게 만든 프롬프트프롬프트 자체는 아래처럼 단정하지 않게 만들었습니다.Investigate production incident.Time:2026-06-12 13:00~14:00 KSTKnown clue:- Datadog screenshot shows a slow GET /heartbeat trace.- JVM Old Gen appears to incre..