幼女秀场 元象发布中国最大MoE开源大模子 落地运用登顶港台榜

元象 XVERSE 发布中国最大 MoE 开源模子：XVERSE-MoE-A36B，加快 AI 运用低资本部署，将国产开源进步至海外逾越水平。该模子总参数 255B幼女秀场，激活参数 36B，达到 100B 模子性能的「跨级」跃升，同期陶冶时辰减少 30%，推感性能进步 100%，使每 token 资本大幅下落。

元象「高性能全家桶」系列一齐开源，无条目免费商用，让海量中小企业、盘考者和成就者能按需弃取。

  MoE（Mixture of Experts）是业界最前沿的夹杂众人模子架构 ，将多个细分范畴的众人模子组合成一个超等模子，突破了传统膨胀定律（Scaling Law）的局限，可在扩大模子范畴时，不权臣增多陶冶和推理的策划资本，保抓模子性能最大化。出于这个原因，行业前沿模子包括谷歌 Gemini-1.5、OpenAI 的 GPT-4  、马斯克旗下 xAI 公司的 Grok 等大模子都使用了   MoE。

在多个巨擘评测中，元象 MoE 成果大幅特出多个同类模子，包括国内千亿 MoE 模子   Skywork-MoE、传统 MoE 霸主 Mixtral-8x22B   以及 3140 亿参数的 MoE 开源模子 Grok-1-A86B 等。 

 

免费下载大模子

Hugging Face：https://huggingface.co/xverse/XVERSE-MoE-A36B

魔搭：https://modelscope.cn/models/xverse/XVERSE-MoE-A36B

Github：https://github.com/xverse-ai/XVERSE-MoE-A36B

官网：chat.xverse.cn

落地运用好且省   登顶港台文娱运用榜

元象这次开源，不仅填补国内空缺，也在营业运用上更进一步。

元象基于 MoE 模子自主研发的 AI 扮装上演与互动网文 APP Saylo，通过传神的 AI 扮装上演和真义的通达剧情，火遍港台，下载量在中国台湾和香港文娱榜离别位列第一和第三。

MoE 陶冶范式具有「更高性能、更低资本」上风，元象在通用预陶冶基础上，使用海量脚本数据「赓续预陶冶」（Continue Pre-training），并与传统 SFT（监督微调）或 RLHF（基于东谈主类响应的强化学习）不同，选拔了大范畴语料常识注入，让模子既保抓了巨大的通用谈话剖析材干，又大幅进步「脚本」这一特定运用范畴的推崇。  

高性能「开源标杆」

元象是国内逾越的 AI 与 3D 公司，秉抓「通用东谈主工智能   AGI」信仰，抓续打造「高性能开源全家桶」，不仅填补国产开源空缺，更将其推向了海外逾越水平。

2023 年 11 月，此前国内大部分开源参数多在 7B 到 13B，而行业共鸣是模子达到 50 到 60B 参数门槛，大模子才能"智能线路"，生态亟需"大"模子时，元象起始开源了 XVERSE-65B，是那时中国最大参数开源。 

2024 年 1 月，元象又开源各人最长高下文窗口大模子，撑抓输入 25 万汉字，还附手把手陶冶教程，让大模子运用一举插足"长文本时间"。 

这次国内最大参数 MoE 开源，又是给生态孝顺了一个助推低资本 AI 运用利器。

引颈文娱运用

借助在 AI 和 3D 范畴的客户积存，元象也赶紧将大模子推向商用。

杨超越 ai换脸

2023 年 11 月，元象成为宇宙最早一批、广东省前五赢得《生成式东谈主工智能行状经管暂行方针》国度备案的大模子，具备向全社会通达的居品材干。 

而在更早的 10 月，元象与腾讯音乐采集推出 lyraXVERSE 加快大模子，并借助该技巧全面升级音乐助手" AI 小琴"的问答、聊天与创作材干，让她情商与智力双高，为用户提供个性化、更长远、伴随感王人备的音乐互动体验。 

元象大模子不绝与 QQ 音乐、虎牙直播、全民 K 歌、腾讯云等深度配合与运用探索，为文化、文娱、旅游、金融范畴打造革命逾越的用户体验。  

MoE 技巧自研与革命

MoE 是现在业界最前沿的模子框架，由于技巧较新，国内开源模子或学术盘考尚未普及。元象自研 MoE 的高效陶冶和推理框架，并抓续鼓舞技巧革命。

2024 年 4 月推出的 XVERSE-MoE-A4.2B 中，元象鼓舞 MoE 众人架构改进。与传统 MoE（如 Mixtral 8x7B）将每个众人大小等同于圭表 FFN 不同，元象选拔更细粒度的众人设想，每个众人大小仅为圭表 FFN 的四分之一，提高了模子天真性与性能；还将众人分为分享众人（Shared Expert）和非分享众人（Non-shared Expert）两类。分享众人在策划过程中长期保抓激活状况，而非分享众人则字据需要弃取性激活。这种设想故意于将通用常识压缩至分享众人参数中，减少非分享众人参数间的常识冗余。 

这次推出 XVERSE-MoE-A36B，赓续在 MoE 效能和成果方面进行技巧革命。

（1）效能方面

MoE 架构与 4D 拓扑设想：MoE 架构的关键本性是由多个众人构成。由于众人之间需要多数的信推辞换，通讯职守粗重。为了处理这个问题，咱们选拔了 4D 拓扑架构，均衡了通讯、显存和策划资源的分拨。这种设想优化了策划节点之间的通讯旅途，提高了全体策划效能。

众人路由与预丢弃计策：MoE 的另一个特色是"众人路由机制"，即需要对不同的输入进行分拨，并丢弃一些超出众人策划容量的冗尾数据。为此团队设想一套预丢弃计策，减少无须要的策划和传输。同期在策划过程中已毕了高效的算子和会，进一步进步模子的陶冶性能。

通讯与策划肖似：由于 MoE 架构的众人之间需要多数通讯，会影响全体策划效能。为此团队设想了"多维度的通讯与策划肖似"机制，即在进行参数通讯的同期，最大比例并行地实践策划任务，从而减少通讯恭候时辰。

（2）成果方面

众人权重：MoE   中的众人总额为   N  ，每个   token   会弃取   topK   个众人参与后续的策划，由于众人容量的戒指幼女秀场，每个   token   实质弃取到的众人数为   M，M