News
Ai2, 초대형 혼합전문가 모델 학습용 공개 도구 Olmo-core 3 출시
Ai2는 여러 전문 영역 중 필요한 일부만 골라 계산하는 혼합전문가 방식의 대형 AI 모델을 학습하는 공개 도구 Olmo-core 3를 출시했습니다. 회사 측 시험에서는 입력 단위마다 쓰는 계산량을 거의 유지하면서 전문 영역 수를 8개에서 128개로 늘렸을 때 학습 처리량 감소가 5% 미만이었고, 전체 규모 1조 개 넘는 매개변수에서도 시험했다고 밝혔습니다. 대학과 소규모 연구소의 대형 모델 연구 문턱을 낮출 수 있지만, 발표 수치는 자체 시험 결과이며 실제 비용·하드웨어·재현성은 환경별로 확인해야 합니다.
- 출처Ai2 on Hugging Face
- 원문 발행
- KAIPS 게시
이 글은 연구회가 작성한 한국어 요약입니다. 원문의 저작권은 Ai2 on Hugging Face에 있으며, 전문은 원문에서 확인해 주세요.