创新背景

近年来，基于深度学习的生物计算方法在蛋白质领域取得了突破性的进展，其中最著名的里程碑当属谷歌 DeepMind 团队研发的端到端蛋白质 3D 结构预测框架 AlphaFold2。然而蛋白质只是诸多生物分子的一种，基因（DNA/RNA）作为蛋白质的产生源头，其相比于后者蕴含了更多的基础信息，有着更重要的研究价值。

一般而言，蛋白质是由用于编码（coding）的 RNA，也就是 mRNA，翻译得到的产物，一段固定的 mRNA 可以翻译为一段固定的蛋白质序列。而实际上这部分用于编码的 RNA 只占所有 RNA 序列的 2%，剩下的 98% 是非编码 RNA（non-coding RNA，ncRNA）。虽然 ncRNA 并不直接 “翻译” 成蛋白质，但是他们会折叠成具有特定功能的三级结构，在 mRNA 的翻译过程中或是其他生物机能中起到调控的作用。因此，分析 ncRNA 的结构以及功能是比蛋白质分析更为基础，也更为复杂的研究。

不过相比于计算方法较为成熟的蛋白质领域，目前基于 RNA 的结构和功能预测还处于初期，而原本适用于蛋白领域的计算方法也很难直接迁移到 RNA 领域。限制这些计算方法的主要是 RNA 数据的标注通常很难获取，需要耗费很多的实验资源和时间才能完成少量数据的标注，而计算方法大多又需要大量的标注数据进行监督才能发挥高性能。虽然有标注的数据不多，但 RNA 领域其实也积累了很多的无标注序列数据。本文的方法便是利用这些无标签的数据为各种下游任务提供额外的有效信息。

创新过程

为了弥补标注数据的不足，香港中文大学、麻省理工学院、复旦大学及上海人工智能实验室团队发表了“Interpretable RNA Foundation Model from Unannotated Data for Highly Accurate RNA Structure and Function Predictions”的研究论文，本文展示了一项可为 RNA 各类研究提供丰富结构功能知识的基石模型 ——RNA foundation model (RNA-FM)。作为全球首个基于 23 million 的无标签 RNA 序列通过无监督方式训练得到的 RNA 基石模型，RNA-FM 挖掘出了 RNA 序列中蕴含的进化和结构模式。

值得注意的是，RNA-FM 仅需要配比简单的下游模型，或是仅提供 embedding，就能够在很多下游任务中获得远超 SOTA 的表现，比如在二级结构预测中可以提升 20%，距离图预测可以提升 30%。大规模的实验证明，该模型具有极强的泛化性，甚至可以用于 COVID-19 以及 mRNA 的调控片段。

研究概览

为了确认预训练的 RNA-FM 是否从大量的无标签数据中学到了 “知识” 以及学到了怎样的 “知识”，文章对 embedding 进行了一系列的分析。

首先是直接通过 UMAP 对各种特征进行简单聚类比较，发现来自预训练 RNA-FM 的 embedding 比其他 embedding 形成了具有更加明显的 RNA 种类聚落。这意味着 RNA-FM 的 embedding 确实包含了用于区分 RNA 种类的结构或功能信息。

接着，文章还利用轨迹推断（Trajectory inference）通过 RNA-FM embedding 去预测来自不同物种的 lncRNA 的演化。从下图 streamplot 上看，预测的物种之间演化的伪时间大致与真实的物种演化信息一致，说明 RNA-FM embedding 还包含一部分进化信息。

值得注意的是，无论是 RNA 种类的群落信息还是 lncRNA 的演化信息，RNA-FM 在训练中都没有直接接触过这些的标签。RNA-FM 完全是以自监督的方式仅从纯序列中发掘出了与结构、功能以及演化相关的模式。

创新关键点

总的来说，该文章以无标签的 RNA 序列数据预训练语言模型 RNA-FM，并通过直接或间接的方式，在结构或功能等一系列不同的任务上进行全面的验证，证明了 RNA-FM 确实可以有效地提升计算方法在下游任务中的表现。

创新价值

RNA-FM 的出现一定程度上缓解了 RNA 带标注数据紧张的现状，为其他研究者提供了便捷的访问大批量的无标签数据的接口。并且，该模型将以 RNA 领域基础模型的身份，为该领域的各种各样的研究提供强有力的支援与帮助。