2024年7月24日，《自然》杂志发表的一项研究揭示了人工智能领域一个令人担忧的现象：“模型崩溃”。该术语描述的是生成模型（例如大型语言模型 (LLM)）在反复使用先前模型生成的数据进行训练后，逐渐丧失正确表示数据原始分布的能力的退化过程。这种现象可能对生成内容的质量和准确性产生重大影响。 IA 将来。
语言模型革命
GPT-4、Llama 3.1 和 Claude 3.1 等语言模型在各种自然语言任务中展现了令人印象深刻的性能，成为众多应用的基础。例如，ChatGPT 推广了语言模型和生成式人工智能的使用，明确表明这项技术将持续发展。然而，随着这些模型对在线文本生成量的贡献日益增加，一个关键问题随之而来：当模型主要使用其他模型生成的数据进行训练时，会发生什么？
模型崩溃问题
研究表明，滥用模型生成的内容来训练新一代人工智能会导致不可逆转的缺陷。具体来说，模型会开始忘记原始数据分布，分布的尾部逐渐消失。这会导致对现实的表征越来越扭曲。这种模型崩溃并非法学硕士 (LLM) 独有，在其他类型的模型中也有观察到。
启示与解决方案
结果表明，保存真实的、人工生成的数据对于维护人工智能模型的质量至关重要。在低概率事件至关重要的任务中，例如理解边缘群体或复杂系统，这些尾部数据的丢失可能尤其有害。因此，未来几代语言模型必须持续使用真实的、非人工智能生成的数据进行训练。
展望未来
人工智能社区亟需应对这一挑战。一个潜在的解决方案是协调各方利益相关方，追踪人工智能生成数据的来源，并确保在训练中使用大量真实世界数据。否则，我们可能会面临新模型与现实越来越脱节的局面，从而损害基于人工智能的应用程序的信任和有效性。
结论
该模型的崩溃提醒我们，尽管人工智能有可能彻底改变内容创作和其他领域，但在创新与维护数据质量之间保持平衡至关重要。从长远来看，语言模型的成功将取决于我们可持续地整合真实数据的能力，确保人工智能能够持续准确地反映现实世界的复杂性。
