Hy4-preview tencent

类型
model
许可
apache-2.0
任务
text-generation
框架
transformers
下载量
1,394
点赞
269
参数量
779,960,992,733
访问
public
文件
170

标签

  • 文本生成
  • 大语言模型
  • 混合专家
  • 代码生成
  • 推理部署
  • vLLM
  • transformers

摘要

Hy4 preview是腾讯混元团队推出的新一代MoE混合专家旗舰模型，总参数770B，每token仅激活49B参数。采用Gated DSA稀疏注意力、IndexCache跨层索引复用及iHC信息流增强等先进架构，原生支持1M超长上下文与投机解码。该模型面向软件工程、办公分析、游戏开发、科学研究等生产场景深度优化，在长任务理解与多轮复杂推理上表现突出，可配合vLLM或SGLang进行推理部署，也支持微调和量化。

README

--- license: apache-2.0 library_name: transformers pipeline_tag: text-generation tags: - hunyuan - hy4 - moe - text-generation --- <p align="left"> <a href="https://huggingface.co/tencent/Hy4-preview/blob/main/README_CN.md">中文</a>&nbsp;｜&nbsp;English </p> <br> <p align="center"> <img src="assets/lo…

查看完整页面 · 查看原文