모델 출시
Nanbeige4.2-3B, Looped Transformer 아키텍처 기반 소형 에이전트 모델 공개
- Nanbeige4.2-3B가 공개됐다.
- Looped Transformer 아키텍처로 매개변수 추가 없이 모델 용량을 늘렸고, 3B 비임베딩 매개변수로 에이전트·코드 작업을 수행한다.
- 최대 262,144 tokens 컨텍스트를 지원한다.
| 모델 | Nanbeige4.2-3B |
|---|---|
| 저장소 | Nanbeige/Nanbeige4.2-3B |
| 개방성 | 오픈형 |
| 라이선스 | Apache-2.0 |
- Nanbeige4.2-3B는 Nanbeige4.2-3B-Base를 기반으로 구축된 소형 에이전트형 모델로, 강력한 에이전트 행동과 폭넓은 추론 및 정렬 능력을 결합하도록 설계됐다.
- 이 모델의 Looped Transformer 아키텍처는 트랜스포머 레이어를 재사용하여 매개변수를 추가하지 않고도 모델 용량을 늘린다.
- 3B개의 비임베딩 매개변수만으로도 이 모델은 범용 에이전트 및 코드 에이전트 작업에서 견고한 성능을 제공한다.
- 지도 미세조정 과정에서는 실제 환경 통합과 대규모 환경 합성을 통해 학습 환경의 다양성을 확장했다.
- 강화학습 과정에서는 결과 보상과 과정 보상을 결합하여 소형 모델의 학습 안정성을 향상시켰다.
- 이 모델은 최대 262,144 tokens (256K)의 컨텍스트 길이를 지원한다.