Grok-马斯克旗下xAI团队发布的开源AI大模型产品

2024年3月17日，马斯克旗下的人工智能初创公司xAI正式发布开源大模型Grok-1。

xAI官网：
https://x.ai

Grok GitHub地址：
https://github.com/xai-org/grok-1

Grok-1是xAI从零开始训练的3140亿参数专家混合模型，参数规模超过GPT-3.5当时1750亿的参数量。

基于大量文本数据训练的基本模型，未针对任何特定任务进行微调。

遵循Apache 2.0协议，使得研究者和开发者可以自由地使用、修改和分发模型，打开了更多开放合作和创新的可能性。

Grok-1因为大量语言训练的缘故，整个模型大小有300GB，有网友简单的算了一下：可能总共需要640GB的显存，也就是要8个H100显卡（每个H100大概20多w）。

这需要巨大的计算资源，所以对于开源社区绝大多数的普通开发者和小公司来说，是无法对Grok-1进行迭代的。