作者:原创
2024年7月23日,Meta正式发布了迄今为止性能最强大的开源大模型——Llama 3.1 405B(4050亿参数),同时升级了Llama 3.1 70B和8B模型版本。
扎克伯格以“开源AI是未来方向”为题,发文称Llama 3.1是免费的、开放的,并且可以与最好的闭源系统相媲美。为了最大化性能、安全性、可定制性和效率,人工智能平台必须开放,就像互联网的软件基础设施变得开放一样。并从三个方面阐述了开源AI的益处:
· 开源AI对开发者是有益的:可以进行微调、蒸馏、提高安全性、效率、隐私保护、灵活性、可移植性、可负担性,并拥有一个庞大的贡献者生态系统。
· 开源AI对Meta也是有益的:社区越大,进步的速度就越快。
· 开源AI对整个世界也是有益的:它能够促进在语言、文化、价值体系和在人工智能中的关注焦点等方面的多样性。它还使得更广泛的访问成为可能,减少了控制的集中度。
Llama 3.1 405B作为Meta迄今为止最大的模型,使用超过15万亿个token训练,为此Meta优化了整个训练堆栈,并在超过16000个H100 GPU上训练,使该模型成为第一个在此规模上训练的Llama模型。
Llama 3.1 405B在多项测试中超越GPT-4o和Claude 3.5 Sonnet。