[데이터 중심 애플리케이션 설계] 응답 시간 (p50, p95, p99)

“전형적인” 응답 시간을 알고 싶다면 평균은 좋은 지표가 아니다. 얼마나 많은 사용자가 실제로 지연을 경험했는지 알려주지 않기 때문이다.
일반적으로 백분위를 사용하는 편이 좋다.
응답 시간 목록을 가지고 가장 빠른 시간부터 제일 느린 시가가지 정렬하면 중간 지점이 중앙값(median)이 된다.
사용자가 보통 얼마나 오랫동안 기다려야 하는지 알고 싶다면 중앙값이 가장 좋은 지표다.
 
중앙값 == 50분위(p50)

• 사용자 요청의 절반은 중앙값 응답 시간 미만으로 제공되고, 나머지 반은 중앙값보다 오래 걸린다.
• 사용자가 여러 개의 요청을 보내면 최소한 하나의 요청이 중앙값보다 느릴 확률이 50%보다 높다.

 
특이 값이 얼마나 좋지 않은지 알아보려면 상위 백분위를 살펴보는 것도 좋다.

• 95분위, 99분위, 99.9분위가 일반적이다 (p95, p99, p999)
• 요청의 95%, 99.9%, 99.9%가 특정 기준치보다 더 빠르면 해당 특정 기준치가 각 백분위의 응답 시간 기준치가 된다.
  ex) 95분위 응답 시간: 1.5초 → 100개의 요청 중 96개는 1.5초 미만이고, 100개의 요청 중 5개는 1.5초보다 더 걸린다.
• 상위 백분위 응답 시간은 꼬리 지연 시간(tail latency)라고 알려져있고, 서비스의 사용자 경험에 직접 영향을 주기 때문에 중요하다.

 
다음은 데이터독의 Latency 그래프이다.