- 本质上,一个LLM可以被看作是两个文件:一个巨大的“参数”文件和一个运行这些参数的“代码”文件。
- 以 Llama 2 70B 为例,它有700亿个参数。每个参数用16位浮点数(2字节)存储,所以参数文件大小约为140GB。
- 运行模型的代码非常简洁,大约500行C代码即可实现,无需其他依赖。这意味着它是一个完全自包含的系统,可以在本地设备(如MacBook)上离线运行。
- 存在两类模型:像Llama这样的“开放权重”(Open-weights)模型,其参数和架构公开;以及像GPT-4这样的闭源模型,只能通过API访问。
事实陈述 (Factual)
观点/类比 (Perspective)
🧠 1. 什么是大语言模型 (LLM)?
🛠️ 2. LLM 是如何训练的?(预训练 + 微调)
阶段一:预训练 (Pre-training) - 获取知识
- 预训练可以理解为对互联网海量文本的“有损压缩”。模型学习了文本中的知识、模式和结构,并将它们压缩到参数中。
- Llama 2 70B 的训练数据量约10TB,使用了约6000个GPU,耗时12天,成本约200万美元。顶尖模型的成本是这个数字的10倍以上。
- 模型的核心任务是“预测下一个词”。这个看似简单的目标,迫使模型为了做出准确预测而学习关于世界的海量知识。
阶段二:微调 (Fine-tuning) - 学会对话
- 微调使用高质量、人工标注的“问题-答案”对话数据,来教模型如何成为一个有用的助手,而不是一个只会续写网页的“文档生成器”。
- 这个过程让模型学会遵循指令、以对话形式回答问题,我们称之为“对齐”(Alignment)。
阶段三:基于人类反馈的强化学习 (RLHF)
- 这是一个可选的进阶步骤。让人类去比较模型生成的多个答案的好坏(而不是从头写一个),利用这种“偏好”数据来进一步优化模型。
📈 3. LLM 的未来发展方向
- 规模定律 (Scaling Laws):模型的性能(预测下一个词的准确率)与其“参数数量”和“训练数据量”呈高度可预测的正相关。这意味着只要投入更多计算和数据,模型几乎必然会变得更强。
- 系统1 vs 系统2 思维:目前的LLM只有“系统1”思维(直觉、快速、一次性生成)。未来的方向是赋予其“系统2”思维能力(深思熟虑、推理、规划、探索多种可能性),即用更多时间换取更高准确性。
- 自我提升 (Self-improvement):借鉴AlphaGo的思路,探索如何让LLM在特定领域(如有明确评估标准)通过自我博弈或自我评估来超越人类水平,而不只是模仿人类数据。
- 多模态 (Multimodality):LLM正在超越文本,能够理解和生成图像、音频、视频等多种模态的内容,使其交互更自然、能力更强大。
- 工具使用 (Tool Use):LLM不再仅仅依赖内部知识,而是学会调用外部工具(如计算器、代码解释器、网络浏览器)来解决复杂问题,极大地扩展了其能力边界。
- 定制化 (Customization):通过GPTs商店等形式,允许用户为特定任务创建和定制专属的“专家”LLM,提供个性化的指令、知识库(RAG)和能力。
🖥️ 4. 终极图景:LLM 作为新兴操作系统
- 一个更准确的视角是:LLM 正在成为一个新兴“操作系统”的“内核”(Kernel Process)。它不是一个简单的聊天机器人,而是一个通过自然语言交互,协调各种计算资源来解决问题的中枢。
- 这个“LLM操作系统”拥有类似传统OS的组件:
- CPU/内核: LLM本身
- 内存 (RAM): 上下文窗口 (Context Window)
- 硬盘 (Disk): 外部文件或互联网(通过RAG或浏览器访问)
- 工具/应用: Python解释器、计算器、API等
- 外设: 摄像头、麦克风(通过多模态能力接入)
- 当前的市场格局也与操作系统历史相似:存在像GPT、Claude这样的闭源专有系统(如Windows/macOS),也存在一个由Llama系列引领的、快速发展的开源生态系统(如Linux)。
🛡️ 5. 新范式下的安全挑战
- 越狱 (Jailbreaking):通过巧妙的提示(如角色扮演“过世的祖母”)来欺骗模型,使其绕过安全限制,回答有害问题。
- 提示注入 (Prompt Injection):攻击者将恶意指令隐藏在模型处理的外部数据中(如网页、文档、图片),当模型读取这些数据时,其行为被劫持,可能导致泄露用户隐私或执行恶意操作。
- 数据投毒 / 后门攻击 (Data Poisoning / Backdoor Attack):在模型的训练数据中植入一个特定的“触发词”(如"James Bond")。平时模型表现正常,一旦在提示中遇到这个触发词,就会产生错误的、被攻击者预设的行为。
- 对抗性攻击 (Adversarial Attacks):通过优化算法生成对人类无意义但能精准“欺骗”模型的输入(如一串乱码字符或图片上的特定噪声),从而实现越狱。
- 这些攻击与防御的“猫鼠游戏”正在上演,构成了LLM安全领域的核心研究方向。