News
AWS, GPU 상태에 맞춰 AI 요청을 배분하는 HyperPod Inference Gateway 출시
AWS가 그래픽처리장치(GPU)의 부하와 대기열을 살펴 AI 요청을 알맞은 서버로 보내는 HyperPod Inference Gateway를 출시했다. 쉽게 말하면 바쁜 서버에 요청이 몰리는 일을 줄여 기존 프로그램을 크게 바꾸지 않고도 응답 속도와 장비 활용률을 높이려는 기능이다. 대규모 AI 서비스를 운영하는 기업은 같은 장비로 더 안정적인 응답을 제공하고 과잉 증설 비용을 줄일 가능성이 있다. 첫 응답 시간이 최대 82% 줄었다는 수치는 AWS 시험 결과이므로 실제 환경에서 비용·장애 복구·접근 권한·지역 지원을 별도로 검증해야 한다.
- 출처Amazon Web Services
- 원문 발행
- KAIPS 게시
이 글은 연구회가 작성한 한국어 요약입니다. 원문의 저작권은 Amazon Web Services에 있으며, 전문은 원문에서 확인해 주세요.