News
OpenAI, GPT-6 반복 요청 비용·지연 줄이는 프롬프트 캐싱 개선
OpenAI가 GPT-6의 프롬프트 캐싱을 개선해 적중률과 진단 기능, 명시적 구간 설정과 제어 기능을 강화했다. 프롬프트 캐싱은 반복되는 지시문을 다시 처리하지 않고 재사용하는 방식으로, 회사는 응답 지연과 비용을 줄일 수 있다고 설명한다. 긴 공통 지시를 자주 보내는 업무 서비스의 운영 효율을 높일 수 있지만 실제 절감 폭은 요청 형태에 따라 달라진다. 적용 전 가격 조건과 캐시 적중 지표, 민감정보 보관 정책, 정확도 변화를 자체 환경에서 확인해야 한다.
- 출처OpenAI
- 원문 발행
- KAIPS 게시
이 글은 연구회가 작성한 한국어 요약입니다. 원문의 저작권은 OpenAI에 있으며, 전문은 원문에서 확인해 주세요.