Hy4-preview tencent
- 種別
- model
- ライセンス
- apache-2.0
- タスク
- text-generation
- フレームワーク
- transformers
- ダウンロード
- 1,394
- いいね
- 269
- パラメータ
- 779,960,992,733
- アクセス
- public
- ファイル
- 170
タグ
- 大言語モデル
- テキスト生成
- MoEアーキテクチャ
- 長コンテキスト
- 生成AI
- 推論デプロイ
- transformers
- vLLM
概要
Tencent Hy4 previewは、総パラメータ770B（毎トークン有効49B）のMoEアーキテクチャを採用した新世代フラッグシップ大言語モデルです。最大1Mトークンの超長コンテキストをサポートし、ソフトウェア開発・金融分析・ゲーム開発・科学研究など業務生産性に特化した能力を備えています。Gated Sparse AttentionとiHC残差経路を採用し、vLLMやSGLangでの推論デプロイ、ファインチューニング、量子化にも対応したオープンソース最前線のモデルです。
README
--- license: apache-2.0 library_name: transformers pipeline_tag: text-generation tags: - hunyuan - hy4 - moe - text-generation --- <p align="left"> <a href="https://huggingface.co/tencent/Hy4-preview/blob/main/README_CN.md">中文</a> ｜ English </p> <br> <p align="center"> <img src="assets/lo…