Hy4-preview tencent

유형
model
라이선스
apache-2.0
태스크
text-generation
프레임워크
transformers
다운로드
1,394
좋아요
269
파라미터 수
779,960,992,733
접근
public
파일
170

태그

  • 대규모 언어 모델
  • 텍스트 생성
  • MoE
  • 추론 배포
  • vLLM
  • SGLang
  • 하이브리드LLM
  • 코드 생성

요약

텐센트가 공개한 차세대 MoE 플래그십 LLM으로 총 770B 파라미터 중 토큰당 49B만 활성화해 효율적인 추론을 구현한다. Gated DeepSeek Sparse Attention과 iHC 잔차 경로를 도입했으며 1M 컨텍스트와 MTP 추측 디코딩을 지원해 소프트웨어 엔지니어링, 게임 개발, 금융 분석, 과학 연구 등 생산성 작업에 강점을 보인다. vLLM·SGLang 배포와 파인튜닝·양자화를 모두 지원한다.

README

--- license: apache-2.0 library_name: transformers pipeline_tag: text-generation tags: - hunyuan - hy4 - moe - text-generation --- <p align="left"> <a href="https://huggingface.co/tencent/Hy4-preview/blob/main/README_CN.md">中文</a>&nbsp;｜&nbsp;English </p> <br> <p align="center"> <img src="assets/lo…

查看完整页面 · 查看原文