README.md

论文的结构也有套路

导读: 学术论文的写作有一个大致的结构，类似于八股文：我们从摘要和介绍开始，以结论或讨论结束。为了有效地写一篇学术论文，我们可以规划其结构：涵盖各部分的形式和结构。在本次课程中，我们将通过机器学习的学术论文来了解它们的结构。我们将特别关注论文的整体结构（章节组织）和写作的局部结构（句子组织）。

本教程目标

1. 解构研究论文的要素及其顺序。
2. 记录研究论文写作的整体结构和局部结构。

本教程内容

研究论文的形态

人工智能在一开始也有人叫做模式识别，之所以叫这个名字也非常形象，就是通过大量的数据集识别到某种事物的模态，或者叫某种规则。其实世界上绝大部分都有模式，包括论文也是一样。正所谓天底下没有新鲜事。因此，如果想要写好一篇文章，我们研究清楚论文的结构非常重要。在本次课程中，我们将解构三篇论文。我们将能够识别并分离出论文的元素以及连接它们的顺序。

形式随场所而变化

研究论文可以遵循不同的结构。一篇在《自然》上发表的生物科学论文的形式与一篇在 NeurIPS 上发表的计算机科学论文的形式不同。我们的写作形式将基于我们打算在哪发表我们的论文。在机器学习中，有会议（更常见）和期刊（较不常见）。即使在同一场所（期刊或会议）内，不同类型的论文也会有形式上的差异：证明某些数学定理的论文看起来会与在新数据集上评估不同方法的论文不同。比如在新数据集上评估方法那么多注重实验和可视化，数学定理多公式。

我在这里采用的方法是教你如何找到适合你要写的论文类型，以及你要提交论文的结构。当你在阅读与你的论文相关的工作时——我们在前一讲座中讨论过这一点——你可以注意它发表的期刊或者会议。这个期刊//会议也可能是你的论文的一个好地方。

所以你最好通过找到三篇与你要写的论文类型或你感兴趣的论文类型密切相关的论文来学习这一章节的课程。假设我们感兴趣的是提出视觉-语言预训练方法用于视觉-语言任务。因此，我可能找到了三篇可参考的论文。

示例论文：

• VL-BEIT: 生成视觉-语言预训练
• FLAVA: 一个基础语言和视觉对齐模型
• CoCa: 对比描述符是图像-文本基础模型

这里我们可以做一些笔记：

VL-BEIT	FLAVA	CoCa
最近微软的预印本（在本次讲座时）。格式类似 ICLR 2023 会议提交。	最近由 Facebook AI 研究院在 CVPR 2022 上发表。	最近由 Google 研究在机器学习研究事务上发表。

章节的顺序

接下来我们将查看论文的整体结构。为此步骤，我们将记录章节标题及其组织。

VL-BEIT	FLAVA	CoCa
摘要	摘要	摘要
介绍	介绍	介绍
方法	背景	相关工作
实验	FLAVA: 一个基础语言和视觉对齐模型	方法
相关工作	实验	实验
结论	结论	广泛影响
		结论

一些共同点：

• 6-7个章节（包括摘要）。
• 以摘要和介绍开始论文，以结论结束。
• 相关工作/背景章节通常在介绍之后或结论之前。
• 描述方法的章节通常紧随其后。
• 实验章节紧随方法章节之后。

图表的顺序

接下来我们查看图表的顺序和内容。

VL-BEIT	FLAVA	CoCa
方法概述图	方法概述图	方法概述图
比较其他模型在2个任务上的表现	比较不同模态下最近模型的能力	描述方法的架构和目标
比较其他模型在另外2个任务上的表现	模型的较低层次概述	尺寸消融分析
比较其他模型在一个任务上的表现	来自不同预训练数据集子集的代表性示例	视频识别方法的图示
消融实验的比较	预训练数据集使用的图表	比较模型在不同任务上的表现（x2）
	消融实验的比较	图像分类模型尺寸的扩展性能
	比较不同评估设置	比较模型在某些任务上的表现（x5）
	比较以前的模型	输入和输出预测的精选样本
	在不同任务上的性能差异	消融实验的比较

一些共同点：

• 5-15个图表。
• 以方法概述图开始。有时有更多的任务或较低层次方法的图示。
• 显示在不同任务上比较模型的结果，通常使用表格/图表进行比较。通常是与之前的模型进行比较。
• 显示方法消融实验的结果。
• 有时显示输入和输出预测的示例。

局部结构

章节和图表的顺序让我们了解了论文的整体结构。现在我们将查看每个独立章节并分解其结构——我们将称之为局部结构。

摘要的结构

让我们从摘要开始——我要我们逐行查看摘要并记录每个句子的目的。特别是我们要记录每个句子回答的问题。

VL-BEIT	FLAVA	CoCa
论文中引入的解决方案是什么？	模型类别的背景是什么？	研究主题的重要性是什么？
解决方案的关键想法是什么？	之前模型的主要缺陷是什么？	论文中引入的解决方案是什么？
解决方案的关键组件是什么（x2）？	解决方案的关键要求是什么？	解决方案的关键组件是什么，与之前的方法有何不同？
解决方案的优点是什么？	论文中引入的解决方案是什么，有什么重要收获？	解决方案的组件是什么？
有什么显著的结果（x2）？		解决方案的优点是什么？
		提到任务和数据的显著结果是什么？

笔记：

分别有116个词、110个词和254个词。

相同的5-6个组件，但除了最后的显著结果/收获外没有固定顺序。

介绍的结构

我们将逐段查看介绍。对于每段，我们记录每个句子回答的问题。

VL-BEIT	FLAVA	CoCa
类似方法在之前有多成功？之前的方法是如何解决问题的？	解决方案是什么？关键组件是什么？解决方案的优点是什么？	类似方法在之前有多成功？能举几个例子吗？
论文中引入的解决方案是什么？	关键想法是什么？解决方案的优点是什么？实验结果表明了什么？	类似方法的缺陷是什么（x3）？
实验是什么？实验结果表明了什么？	解决方案是什么？关键组件是什么？实验结果表明了什么？解决方案的优点是什么？	另一种可能的方法是什么？这种方法有什么问题？
主要贡献是什么？	解决方案的关键想法是什么？	解决方案的关键要求是什么？
解决方案的优点是什么？	解决方案的优点是什么？实验结果表明了什么？	论文中引入的解决方案是什么？关键组件是什么（x 6）？
		解决方案的优点是什么？实验结果表明了什么？

笔记：

• 4-6段。
• 开头和结尾非常相似！
• 包括之前的方法如何解决问题及其缺陷。
• 包括解决方案的主要组件及其优点。

相关工作的结构

我们现在重复这一练习，分析相关工作章节。此次我们将为每段记录其目的。你也可以在句子层面进行分析，但通常相关工作章节的结构没有介绍那么严格，所以我们在段落层面进行分析。

VL-BEIT	FLAVA	CoCa
整体相关工作方法描述，暗示各小节	方法类型的分类。到最近方法的演变。与提出的解决方案比较。	最近的成功与进展中的空白。
	整体相关工作方法描述，暗示各小节；突出空白。	方法类型的分类。到最近方法的演变。与提出的解决方案比较。

笔记：

• 2或3组。
• 格式相对一致。
• 标题是方法类型的分类。

结论（+广泛影响）的结构

通过结论，我们将发现与摘要的相似之处；我们还将发现一个关键差异。我们将逐段查看结论。对于每段，再次记录每个句子回答的问题。

VL-BEIT	FLAVA	CoCa
论文中引入的解决方案是什么？	解决方案是什么？	解决方案的能力是什么？
解决方案的关键组件是什么（x2）？	解决方案的关键组件是什么？	模型在部署前可能的顾虑是什么（x2）？
有什么显著的结果（x2）？	解决方案的优点是什么？
未来工作的有趣方向是什么？	解决方案指向未来什么？

笔记：

• 2段。
• 包括广泛影响的段落。
• 类似于摘要，但包括解决方案的动机。

方法与实验的结构

最后是最具挑战性的章节：方法和实验。这些章节在结构上有更大的灵活性，将它们放在一起可以让我们看到如何在不同的论文中重新组织相同的元素。对于每段，我们记录每段的目的。

VL-BEIT	FLAVA	CoCa
方法：	方法：	方法：
整体方法描述，暗示各小节	整体方法描述，暗示各小节	整体方法描述，暗示各小节
描述架构和从输入到输出的流程	描述架构和从输入到输出的流程	描述每个目标/损失函数
描述每个目标/损失函数	描述每个目标/损失函数	描述架构和从输入到输出的流程
实验：	描述数据集	描述模型在不同任务中的使用
描述数据使用	实验：	实验：
描述实施细节	整体实验任务设置	整体实验任务设置
描述模型在不同任务中的使用	每个任务类型的结果	描述数据集
每个任务类型的结果		描述实施细节
描述消融实验及结果		描述模型在不同任务中的使用
		每个任务类型的结果
		描述消融实验及结果

笔记：

• 大多数元素在不同论文中相同，但可能出现在方法或实验中。
• 方法包括整体方法描述、架构、输入到输出的流程和损失函数。
• 实验章节以描述不同任务的结果和消融实验结束。

最终模板

现在我们将这一切结合在一起。以下是一个清单，可以在我们撰写类似我们阅读过的三篇论文时使用。你可以选择为你正在撰写的任何论文重新做这个清单，使用你选择的三篇最相关的论文。以下结构的选择旨在捕捉我们看到的论文之间的共性——当我观察到差异时，我根据我的风格偏好做出了判断。

格式：

• 你知道你正在为哪个场所格式化论文吗？

图表：

• 方法概述图
• 较低级别的方法图
• 模型与其他模型按任务分解的比较（3-5）
• 消融实验比较

摘要：

• 模型类别的背景是什么？
• 之前模型的主要缺陷是什么？
• 解决方案的关键要求是什么？
• 论文中引入的解决方案及重要收获是什么？
• 解决方案的组件是什么？
• 解决方案的优点是什么？
• 提到任务和数据的显著结果是什么？

介绍：

• 类似方法在之前有多成功？之前的方法是如何解决问题的？
• 可能方法的解决方案是什么？这种方法有什么问题？解决方案的关键要求是什么？
• 论文中引入的解决方案是什么？关键组件是什么（x 6）？
• 实验是什么？实验结果表明了什么？解决方案的优点是什么？

方法：

• 整体方法描述，暗示各小节
• 描述每个目标/损失函数
• 描述架构和从输入到输出的流程
• 描述实施细节

实验：

• 整体实验任务设置及模型在不同任务中的使用
• 描述数据集
• 描述实施细节
• 每个任务类型的结果
• 描述消融实验及结果

相关工作：

• 最近的成功与进展中的空白
• 整体相关工作方法描述，暗示各小节，突出空白
• 方法类型的分类。到最近方法的演变。与提出的解决方案比较

广泛影响与局限性：

结论：

• 论文中引入的解决方案是什么？
• 解决方案的关键组件是什么（x2）？
• 有什么显著的结果（x2）？
• 解决方案的优点是什么？
• 解决方案指向未来什么？
• 工作的局限性是什么，包括识别的偏见及减轻这些偏见的有效性？
• 未来工作的有趣方向是什么？

结论

进步最快的方式就是向高手学习，因此我希望对好的论文结构的解构能够给你撰写自己研究论文的信心。注意论文的整体结构和局部结构，我们列出各章节、图表和段落的目的！然后你可以应用所得模板来帮助撰写自己的论文。