OpenAI, 급격한 트래픽 증가와 모델 과부하를 구분하는 API 오류 코드 도입

OpenAI가 API 오류를 갱신해, 애플리케이션이 트래픽이 너무 빠르게 늘어난 상황과 일시적인 모델 과부하 상황을 구분할 수 있게 됐다.

• 트래픽이 너무 빠르게 증가하면 slow_down 코드와 함께 429 오류가 돌아온다.
• 일시적인 모델 과부하일 때는 server_is_overloaded 코드와 함께 503 오류가 돌아온다.

• 두 응답 모두 Retry-After 헤더를 포함할 수 있다.
• 이 헤더가 있으면 적어도 헤더가 지정한 시간만큼 기다린 뒤에 다시 요청해야 한다.
• 헤더가 없으면 지수 백오프(exponential backoff)를 써서 재시도 간격을 늘려야 한다.