StudyDad

AI 장애 분석 포스트모템 시리즈 3/9Datadog scope를 보완하고 AI에게 첫 조사 요청을 넣었습니다. 이때 프롬프트에서 계속 붙잡고 있어야 했던 문장은 하나였습니다.Do not assume /heartbeat is the root cause.사람이 본 그래프를 알려주되, 그 그래프를 원인으로 확정하지 못하게 했습니다.초기 단서를 원인으로 못박지 않게 만든 프롬프트프롬프트 자체는 아래처럼 단정하지 않게 만들었습니다.Investigate production incident.Time:2026-06-12 13:00~14:00 KSTKnown clue:- Datadog screenshot shows a slow GET /heartbeat trace.- JVM Old Gen appears to incre..

AI 장애 분석 포스트모템 시리즈 2/9Datadog API Key와 Application Key를 환경변수에 붙였습니다. /api/v1/validate는 바로 200을 돌려줬습니다. 인증 자체는 성공이었습니다.하지만 같은 key로 metric query를 던졌을 때 답이 달랐습니다.GET /api/v1/query -> 403POST /api/v2/query/timeseries -> 403GET /api/v1/hosts -> 403APM trace search와 logs search, events, monitors는 열려 있었습니다. metric timeseries와 host inventory는 막혀 있었습니다.인증 성공은 분석 가능이 아니었습니다이 ..

AI 장애 분석 포스트모템 시리즈 1/9Datadog에서 GET /heartbeat trace 하나가 30초 timeout 경계에 붙어 있는 화면을 보고 있었습니다. 같은 시점에 JVM Old Gen이 올라와 있었습니다.초기 단서: 일부 GET /heartbeat span이 30초 timeout 경계에 붙어 있었습니다.이 스크린샷 한 장을 Claude Code에 붙여두고 원인을 물어보려고 했습니다. 그런데 프롬프트를 어떻게 써야 하나 잠깐 고민하다가 이상한 점이 보였습니다. AI가 볼 수 있는 건 이 화면 한 장뿐이었습니다.프롬프트보다 먼저 막힌 지점먼저 Datadog API Key와 Application Key를 환경변수로 붙였습니다. /api/v1/validate는 성공했습니다. metric quer..