OpenAI, API 플랫폼에 Prompt Caching 대시보드 공개

OpenAI가 API 플랫폼에 Prompt Caching 대시보드를 내놓았다.

무엇을 볼 수 있나

• 시간에 따른 캐시 적중률(cache hit rate)
• 쓰기 한 번당 캐시 읽기 횟수(cache reads per write)
• 캐시 읽기, 캐시 쓰기, 캐시되지 않은 토큰의 구성 비율

회사는 이 지표들로 캐싱 효율을 파악하고 개선할 지점을 찾을 수 있다고 밝혔다.

걸러 보기

지표는 모델별, 서비스 티어별로 걸러서 볼 수 있다.