马斯克的xAI 正式开源Grok1，参数量达3140亿， 为目前最大的开源大模型！

xAI 正式开源 Grok1

在官网博客中，xAI 表示 Grok1 的基础模型基于大量文本数据训练的 3140 亿参数的混合专家模型（MixtureofExperts，MoE）模型，离线评估显示 Grok1 在多个任务上都超过了 Llama270b 和 GPT3.5。

xAI 提到，Grok1 的独特之处在于，它在 2023 年 10 月完成训练，当时 xAI 仍在进行大规模训练前的一些探索，意味着该模型未经大量人工标注的微调或对齐。

目前 xAI 已在 GitHub 和 Apache 2.0 许可证下发布 Grok1 的基本模型权重和网络架构，允许任何人自由使用和修改。

值得一提的是，Grok1 的参数量达到了 3140 亿，远超 Llama270b 的 700 亿参数，是目前开源的大模型中参数量最大的。

Grok1 采用 MoE 架构，其中 25% 的权重是激活的（不包括嵌入层），共有 8 个专家，每个 token 选择 2 个专家，总共有 6144 个嵌入大小为 6144 的 token。

在训练方面，Grok1 是在大量文本数据上进行预训练的，数据截止至 2023 年第三季度，没有整合来自人类反馈的任何指导或强化学习。

在性能方面，xAI 提到 Grok1 在 HumanEval 编码任务上取得了 63.2% 的成绩，在 MMLU（衡量多任务语言理解）基准测试中取得了 73% 的成绩。

同时 xAI 也表示 Grok1 仍在开发中，并将在开源社区的帮助下继续改进。

开源地址：https://github.com/xaiorg/grok1

网友：

马斯克开源Grok1，3140亿参数震撼登场！

网友们对马斯克的这一举动反应热烈，纷纷在社交媒体上表示祝贺和期待。

有人表示：“马斯克的这一举动将推动AI技术的快速发展，让更多的人能够享受到AI带来的便利。”

也有人认为：“Grok1的开源将促进AI技术的透明度和可解释性，让人们更好地理解AI的工作原理。”

此外，还有人调侃道：“马斯克这是要打造一个AI的‘开源帝国’啊！”

业内人士：

Grok1的开源对AI行业的影响

业内人士认为，Grok1的开源对AI行业具有重要意义。

首先，Grok1的参数量达到了3140亿，是目前开源的大模型中参数量最大的，这将为AI研究人员和开发者提供一个强大的工具。

其次，Grok1的开源将促进AI技术的快速发展和创新，让更多的研究人员和开发者能够参与到AI的研究和开发中来。

最后，Grok1的开源也将推动AI技术的透明度和可解释性，让人们更好地理解AI的工作原理和决策过程。

总的来说，马斯克的xAI正式开源Grok1是一个重要的里程碑，它将推动AI技术的快速发展和创新，让更多的人能够享受到AI带来的便利。