텐센트, MoE 모델 Hy3 공개... 신뢰성과 에이전트 일반화 강화

텐센트 Hy 팀이 Hy3를 공개했다. Hy3는 295B개 매개변수 규모의 전문가 혼합 모델로, 21B개의 활성 매개변수와 3.8B개의 MTP 레이어 매개변수를 갖는다. 지난 4월 말 Hy3 Preview 출시 이후, 회사는 50개 이상의 제품으로부터 피드백을 수집했다고 밝혔다. 회사는 이를 바탕으로 더 높은 품질의 데이터로 사후 훈련을 확장했다고 설명했다. 오늘 공개된 Hy3는 유사한 크기의 모델들을 능가하고, 2-5배 매개변수를 가진 플래그십 오픈소스 모델들과도 경쟁한다고 회사가 밝혔다. 회사는 여러 기준 신뢰성 문제를 해결해 도구 구성과 출력 제약 전반에서 모델을 프로덕션급 표준으로 끌어올렸다고 설명했다. 회사는 Hy3가 다양한 에이전트 스캐폴딩 전반에 걸쳐 일반화된다고 밝혔다. 회사는 Hy3 및 Hy3-FP8 모델 가중치를 Hugging Face, ModelScope, GitCode, CNB에 오픈소스로 공개했다.