我能点亮科技树：ChatGPT 的奇迹与魔法
ChatGPT 能够自动生成一些读起来甚至表面上像人类写的文字的东西，这很了不起，而且出乎意料。但它是如何做到的？为什么它能发挥作用？我在这里的目的是大致介绍一下 ChatGPT 内部的情况，然后探讨一下为什么它能很好地生成我们认为是有意义的文本。我应该在一开始就说，我将把重点放在正在发生的事情的大画面上，虽然我将提到一些工程细节，但我不会深入研究它们。（我所说的实质内容也同样适用于目前其他的 “大型语言模型” LLM 和 ChatGPT）。
首先要解释的是，ChatGPT 从根本上说总是试图对它目前得到的任何文本进行 “合理的延续”，这里的 “合理” 是指 “在看到人们在数十亿个网页上所写的东西之后，人们可能会期望某人写出什么”。因此，假设我们已经得到了 “人工智能最好的是它能去做 ……” 的文本（”The best thing about AI is its ability to”）。想象一下，扫描数十亿页的人类书写的文本（例如在网络上和数字化书籍中），并找到这个文本的所有实例 —— 然后看到什么词在接下来的时间里出现了多少。ChatGPT 有效地做了类似的事情，不仅扫描字面上的每一个单词，它还寻找那些“意义相符”的事物。
值得注意的是，当 ChatGPT 做一些事情，比如写一篇文章时，它所做的一切基本都是反复询问“鉴于到目前为止的情况，该下一个词应该是什么？” —— 而且每次都增加一个词。然而，在选择下一个词时，并不是简单地选取概率最高的一个，而是在一定程度上的加入了一种魔力。在这种情况下，如果我们总是挑选排名最高的话，我们通常会得到一篇非常平淡无奇、缺乏创造力的文章。而如果有时候（随机性）选择排名较低的话，那么这篇文章就会更加令人兴奋。
其中一种实现这种魔力的方式，就是通过设置温度参数（temperature parameter），决定以怎样的频率使用排名较低或高级别标记，以确保生成出的内容既符合预期，又能够引人入胜。在实际应用中，被发现0.8是一个比较好的温度值。这并不意味着这是基于理论原则，而只是因为这样做效果更佳。
为了让这些概念更加清晰，我通常不会使用完整系统；相反，我会使用更简单但足够强大的 GPT-2 系统，它可以运行于标准台式电脑之上。这使得我的分析更加直观，也便于你理解其工作原理。你可以立即运行沃尔弗拉姆语言代码，从而亲手体验这些过程。
例如，要获得概率列表，我们需要检索底层神经网络中的“语言模型”。尽管第一步提供了很多可能性的选项，即使它们按照特定的规律出现概率逐渐降低，但对于提高趣味性和创造力来说，这些选择往往不够多。如果我们继续下去，每一步都会涉及更多可能性，最终导致产生具有高度可读性和逻辑连贯性的文章。
那么，这些概率又从何而来呢？ChatGPT 不断根据这些概率来选择下一个单词。不过，对于计算每个字母或短语出现频率的情形，我们可以采取不同的方法。一种方法就是抽取大量英语文本样品，并统计不同字母或短语出现次数。然后，我们用这样的数据作为基础，以此来估计未见过序列出现概率——即使现有的资料库中没有明确记录过该序列。此外，还有一种建立模型的手法，如伽利略测量炮弹落下的时间，而不是依赖实验室测试结果一样，可以建立一种计算程序以回答问题，无需记忆每一次尝试的情况。
我们的目标并不仅限于模拟现存信息，还包括构建能够预测未知信息模式的大型语言模型。通过不断学习已有的知识库，以及推广自己的能力至尚未见过的问题领域，使其成为真正掌握并能够处理各种情境的人工智能系统。最后，让我们再次回顾，在这一段旅程中，“技术树”的光芒照亮了前方路途，为解决人类长久以来困惑的问题打破枷锁，为未来探索开辟新路径。而现在，你是否准备好了，让你的想象飞跃进入那个充满智慧与魔法的地方呢？
