创新背景

多变量微积分、微分方程、线性代数...许多大学生可以毫不费力地解答这些问题，但它们却一直在困扰着机器学习模型。目前最好的学习模型也只能回答小学或高中水平的数学问题，而且它们也并不总是能找到正确的答案。

创新过程

麻省理工学院和其他地方的多学科研究人员组成的研究团队建立了一个神经网络模型，能够在几秒钟内解决大学水平的数学问题。这项研究于2022年8月发表在《美国国家科学院院刊》上。

该模型能够自动解答大学数学学科的问题，并迅速提出新的问题。当研究人员向大学生展示这些机器生成的问题时，学生们也无法分辨这些问题是由算法提出的还是由人类提出的。

研究人员发现，只使用文本进行预训练的模型在高中数学问题上的准确率不会超过8%，而使用图神经网络的模型可以在机器学习课程问题上取得高分，但需要一周的时间来训练。

于是研究人员德罗里决定尝试应用被称为程序合成和少镜头学习的技术，将麻省理工学院(MIT)和哥伦比亚大学(Columbia University)的本科数学课程中一些从未用于学习模型的问题转化为编程任务。将问题变成编程任务可以像重写“找到两点之间的距离”一样简单地写成“编写一个程序来找出两点之间的差”，或者提供一些问题 - 程序的组合作为示例。

然而，在将这些编程任务输入神经网络之前，研究人员增加了一个新步骤，使其能够大大超过他们之前的尝试。

在过去，他们和其他研究这个问题的人使用了一种神经网络，比如GPT-3，它只对文本进行了预训练，这意味着它展示了数百万个文本示例来学习自然语言的模式。这一次，他们使用了对文本进行预训练的神经网络，并对代码进行了“微调”。这个名为Codex的网络是由OpenAI制作的。微调本质上是另一个可以提高机器学习模型性能的预训练步骤。

预先训练的模型展示了来自在线存储库的数百万个代码示例。因为这个模型的训练数据包括数百万个自然语言单词和数百万行代码，它学习了文本片段和代码片段之间的关系，从而将文本问题转换为代码，然后通过运行代码来回答问题。

添加问题的背景

德罗里说，把数学问题变成编程任务并不总是那么简单。有些问题需要研究人员添加上下文，这样神经网络才能正确处理问题。学生在上课的时候会了解这些背景知识，但神经网络没有这些背景知识，除非研究人员提供给它。

例如，他们可能需要澄清问题文本中的“网络”指的是“神经网络”而不是“通信网络”。或者他们可能需要告诉模型使用哪个编程包。他们可能还需要提供某些定义，例如在一个关于扑克牌的问题中，他们可能需要告诉模型每副牌包含52张牌。

它们自动将这些编程任务，以及所包含的上下文和示例，输入预先训练和微调过的神经网络，然后输出一个通常会产生正确答案的程序，其正确率能够达到80%以上。

研究人员还能够使用他们的模型生成问题，方法是给神经网络一个主题的一系列数学问题，然后要求它创建一个新的问题。
例如，当给神经网络提供关于水平线和垂直线的量子检测的问题后，它提出了关于对角线的量子检测的新问题。所以，这不仅仅是通过替换现有问题中的值和变量来产生新的问题。

人工生成的问题和机器生成的问题

研究人员通过向大学生展示这些机器生成的问题来测试它们。研究人员从每门本科数学课程中随机抽取10个问题给学生；其中五个是人类创造的，另外五个是机器创造的。

学生们无法分辨这些机器生成的问题是由算法生成的还是由人生成的，他们给人生成的问题和机器生成的问题的难度和课程适合度打了类似的分数。

研究人员指出，这项工作并不是为了取代人类教授。虽然自动化的准确率达到了80%，但永远不会达到100%的准确性。每次解决了一个问题，就会有人提出一个更难的问题。但这项工作为人们打开了一个领域，开始用机器学习解决越来越难的问题，这将对高等教育产生巨大影响。

目前，该模型仍有一些限制，例如不能用可视化组件回答问题，也不能解决由于计算复杂性而导致的计算难题。

除了克服这些障碍之外，他们还在努力将该模型推广到数百个课程。有了这数百门课程，他们将产生更多的数据，可以增强自动化，并提供对课程设计和课程的见解。

创新关键点

研究团队使用神经网络建立了一个机器学习模型。他们利用程序合成和少镜头学习的技术将本科数学课程中的问题转化为编程任务，然后使用对文本进行预训练的神经网络对代码进行了“微调”，并适当地添加关于问题的“备注”。实验结果表明，该模型对大学水平的数学问题解答的准确率高达80%以上，并能够生成新的问题。

创新价值

这项工作可以用来简化课程内容的生成，这在有数千名学生的大型住校课程和大规模开放在线课程(mooc)中尤其有用。该系统还可以用作自动化导师，向学生展示本科数学问题的解题步骤，为人们打开了利用机器学习解答难题的新领域。