Nanbeige4.2-3B, Looped Transformer 아키텍처 기반 소형 에이전트 모델 공개

Nanbeige4.2-3B는 Nanbeige4.2-3B-Base를 기반으로 구축된 소형 에이전트형 모델로, 강력한 에이전트 행동과 폭넓은 추론 및 정렬 능력을 결합하도록 설계됐다. 이 모델의 Looped Transformer 아키텍처는 트랜스포머 레이어를 재사용하여 매개변수를 추가하지 않고도 모델 용량을 늘린다. 3B개의 비임베딩 매개변수만으로도 이 모델은 범용 에이전트 및 코드 에이전트 작업에서 견고한 성능을 제공한다. 지도 미세조정 과정에서는 실제 환경 통합과 대규모 환경 합성을 통해 학습 환경의 다양성을 확장했다. 강화학습 과정에서는 결과 보상과 과정 보상을 결합하여 소형 모델의 학습 안정성을 향상시켰다. 이 모델은 최대 262,144 tokens (256K)의 컨텍스트 길이를 지원한다.