为超越 OpenAI GPT-4，Meta 不惜使用争议数据训练 Llama 3

Meta在开发其最新AI模型Llama 3的过程中，高管和研究人员将超越OpenAI的GPT-4作为核心目标，并在内部讨论中表现出极强的竞争意识。以下是文章的详细内容：

Meta的内部通信记录曝光

• 在一场涉及Meta的人工智能版权案件（Kadrey诉Meta案）中，法院公开了Meta高管和研究人员的内部通信记录。
• Meta生成式AI副总裁Ahmad Al-Dahle在2023年10月发给研究员Hugo Touvron的消息中表示：“说实话……我们的目标必须是GPT-4。我们即将拥有64,000个GPU！我们必须学会如何构建前沿技术并赢得这场竞赛。”

Meta的竞争目标

• 尽管Meta一直以开源AI模型著称，但其AI团队显然更关注如何超越那些不公开模型权重的竞争对手，例如Anthropic和OpenAI。
• Meta的高管和研究人员将Anthropic的Claude和OpenAI的GPT-4视为行业标杆，并以此为目标努力。
• 在内部讨论中，Meta对法国AI初创公司Mistral的态度显得不屑一顾。Al-Dahle在消息中直言：“Mistral对我们来说不值一提。我们应该能做得更好。”

Meta的激进策略

• 当前，科技公司正竞相推出尖端AI模型，而Meta的内部通信进一步揭示了其AI领导层的高度竞争心态。
• 在多次交流中，Meta的AI负责人提到，他们在获取训练Llama模型所需数据时表现得“非常激进”。
• 一位高管甚至在一封内部邮件中表示：“Llama 3几乎是我唯一关心的事情。”

法律问题

• 然而，这种激进的竞争策略也引发了法律问题。
• 本案检察官指控Meta高管在匆忙推出AI模型的过程中，存在使用受版权保护的书籍进行训练的行为。
• Touvron在一份消息中指出，用于训练Llama 2的数据集“质量不佳”，并讨论了如何通过优化数据源来提升Llama 3的表现。
• 随后，Touvron和Al-Dahle讨论了使用LibGen数据集的可能性，该数据集包含Cengage Learning、Macmillan Learning、McGraw Hill和Pearson Education等出版商的受版权保护作品。
• Al-Dahle在消息中问道：“我们是否有合适的数据集？有没有什么数据是你想用却因为某些愚蠢的原因无法使用的？”

扎克伯格的期望

• IT之家注意到，Meta首席执行官马克・扎克伯格此前曾表示，他正致力于缩小Llama模型与OpenAI、谷歌等公司的闭源模型之间的性能差距。
• 内部消息显示，公司内部为实现这一目标承受了巨大压力。
• 扎克伯格在2024年7月的一封信中写道：“今年，Llama 3已经能够与最先进的模型竞争，并在某些领域处于领先地位。从明年开始，我们预计未来的Llama模型将成为行业中最先进的。”

Llama 3的发布

• 2024年4月，Meta正式发布了Llama 3。这款开源AI模型在性能上与谷歌、OpenAI和Anthropic的闭源模型不相上下，并超越了Mistral的开源模型。
• 然而，Meta用于训练模型的数据——尽管扎克伯格据称批准使用这些数据，但其版权状态存疑，正在多起诉讼中面临审查。

结论

• Meta在开发Llama 3的过程中，表现出极强的竞争意识，将超越OpenAI的GPT-4作为核心目标。
• 为了实现这一目标，Meta在获取训练数据时表现得非常激进，甚至使用了受版权保护的数据，引发了法律问题。
• 尽管Llama 3在性能上取得了显著进展，但其训练数据的版权问题仍然面临审查。