모델 출시
텐센트, MoE 모델 Hy3 공개... 신뢰성과 에이전트 일반화 강화
- 텐센트 Hy 팀이 295B 매개변수 규모의 MoE 모델 Hy3를 공개했다.
- 유사 크기 모델을 능가하고 2-5배 매개변수의 플래그십 모델과도 경쟁하며, Hugging Face 등에 오픈소스로 공개됐다.
| 모델 | Hy3 |
|---|---|
| 저장소 | tencent/Hy3 |
| 개방성 | 오픈형 |
| 라이선스 | Apache-2.0 |
- 텐센트 Hy 팀이 Hy3를 공개했다.
- Hy3는 295B개 매개변수 규모의 전문가 혼합 모델로, 21B개의 활성 매개변수와 3.8B개의 MTP 레이어 매개변수를 갖는다.
- 지난 4월 말 Hy3 Preview 출시 이후, 회사는 50개 이상의 제품으로부터 피드백을 수집했다고 밝혔다.
- 회사는 이를 바탕으로 더 높은 품질의 데이터로 사후 훈련을 확장했다고 설명했다.
- 오늘 공개된 Hy3는 유사한 크기의 모델들을 능가하고, 2-5배 매개변수를 가진 플래그십 오픈소스 모델들과도 경쟁한다고 회사가 밝혔다.
- 회사는 여러 기준 신뢰성 문제를 해결해 도구 구성과 출력 제약 전반에서 모델을 프로덕션급 표준으로 끌어올렸다고 설명했다.
- 회사는 Hy3가 다양한 에이전트 스캐폴딩 전반에 걸쳐 일반화된다고 밝혔다.
- 회사는 Hy3 및 Hy3-FP8 모델 가중치를 Hugging Face, ModelScope, GitCode, CNB에 오픈소스로 공개했다.