本科 4 篇顶会论文如何做到?清华特奖高天宇干货分享:我是这样写论文、做实验、与导师相处
鱼羊 晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
本科生,距离“科研”有多远?
有人还处在“小朋友你是否有很多问号”的状态,但也有人本科就连发顶会文章,光环闪瞎众人。
其中可有什么秘诀?
清华本科特奖获得者、清华计算机大四学生高天宇,带着他的直播课,来现身说法了:
论文千千万万,硬核与水货如何辨识?头都想秃了也没有 idea 怎么办?被导师 push 到心态崩溃怎么办?
量子位已经整理好了课堂笔记,快一起来一窥究竟:
这把打开本科生 / 嗑盐小白科研之门的门钥匙,到底长什么样。
△清华官方推荐
如何看论文
预印论文网站、期刊 / 会议、公众平台……在这个信息爆炸的时代,论文也在爆炸式增长。
其中难免硬核与水货齐飞,质量参差不齐。
那么,如何高效地读论文呢?高天宇分享了他的小秘诀。
论文分类
首先,对论文进行分类:
△截取自高天宇直播课
对于与自己当前课题相关的论文,需要有一个全面的把握,对每一篇都应有所了解。
一方面,这些研究本身与你的研究非常相关;另一方面,在“撞题”的情况下,你正在做的项目可能已经被别人率先突破。
而别的子领域相关论文,可能过于细分,对于你当前的研究没有太大启发,可以略过。
不过,有一些论文对于整个大的研究领域都存在指导意义,那么也需要认真研读、总结。
至于其他领域,比如 CV 之于 NLP,取得重大突破的成果要了解,有可能会启发本领域的相关研究。
水文第一定律:标题越长,是水文的概率越大
高天宇统计了深度学习三巨头 Bengio、Hinton 和 LeCun 的论文,发现有这样一个规律:引用排名前十的论文,标题通常在 6 个词左右;引用排名后十的论文,标题长度则达到了约 10 个词。
标题越短,往往干货越多。
为了说明这样一种可能性,高天宇“自黑”了一把。
先来看看这个论文标题:
Hybrid Attention-Based Prototypical Networks for Noisy Few-Shot Relation Classification
论文地址:https://www.aaai.org/ojs/index.php/AAAI/article/view/4604
仔细分析一番:
这篇“水文”的作者正是高天宇本人,中了 AAAI 2019。
总之,标题不是绝对的,但通过标题,还是可以粗略地对论文进行辨识。
需要注意的是,使用这一判断方法需要一定的本领域知识积累。
如何读论文
挑出了想读的论文,又该怎么去研读呢?
高天宇表示:对于大部分论文来说,看摘要就够了。
为什么这么说呢?以机器学习领域的论文为例,主要分为以下几个部分:
-
摘要:研究意义(包括前人研究、研究的缺陷),研究方法,研究结果
-
简介:很多大道理(解决了什么问题)
-
相关工作:文献综述
-
方法:细节
-
实验:打脸专用(论文试金石)
-
结论:基本没用(重复摘要)
所以,看完摘要,就能对这项研究有总体上的把握。如果感兴趣,可以再按照上面划出的重点,有选择地详读。
文献管理工具
当然啦,这么读下来,接触的论文数量还是很庞大的。为了防止读了忘、重复读等等问题,高天宇推荐了特奖自用文献管理工具。
idea 从哪来
做科研最难的是想出一个 idea,创意是写论文的开端。
你以为大神的 idea 都是在实验室里想出来的吗?并非如此。
高天宇觉得在这样一些场景下,更容易迸发灵感,比如在床上休息、去洗手间的路上以及吃饭时间。
事实上在这些放松的时刻,我们更能去安下心来思考,阿基米德也是在洗澡的时候想到了浮力原理。
当然,idea 不能靠凭空想象,要对自己的领域有足够的认识。
首先系统性阅读自己所在领域的论文,找到前人工作缺失的地方,这可能就是你可以研究的内容。
另外 idea 可以是补全自己之前的论文,或是在和别人的学术讨论中得到。
idea 的形式多种多样,有原创的突破性工作,就像发明衬衫,也有排列组合、迁移、渐进的补充性工作,就像给衬衫装上纽扣和前衣口袋,而灌水就像是在衣服背后缝了个口袋。
怎么做实验
有了 idea,就要通过实验实现它。首先应避免主观偏见对实验的影响,不要带着 idea 的目的去做实验,把实验结果都解释成自己 idea 的正确性。
而是应该先否定自己的 idea,在实验得到正确结果后感到高兴。即所谓的大胆假设小心求证。
以上只是实验遵循的常规法则,高天宇另外补充了很重要的一条:MVP(最小化可行产品)。
每一步都是实现最小化的可运行产品,而不是先实现一个更大产品的零件。就像先做出滑板车、自行车再造出汽车,而不是先造出汽车的轮子。
在实验中也有一定的步骤可参考:先做验证性实验,证明自己的 idea 可行,然后再开始做更进一步的实验。对于复杂的实验,应采用更简单的替代方案。
缓解科研压力,善与导师相处
说完了具体的科研方法,也要谈谈科研的周边问题。如何缓解科研压力,如何与导师相处。
因为科研的特殊原因,学生一般没有特定的工作休息时间。找到合适的休息时间很重要。
经常高负荷做科研的同学,在忙碌的时候可以切换一下任务,平时也可以记录日常工作,缓解自己拖延工作造成的心理压力。
另外,还有一条看似违反常理的建议,那就是把事情推到明天,这不是鼓励拖延,而是让你从一天的忙碌中跳出思维定式,也许明天会有更好的解决方案。
很多同学与导师关系不够融洽,高天宇也借此机会吐槽了一下导师。
但吐槽归吐槽,科研还要继续下去,和导师保持共同学习、共同合作的心态才行。
因为导师对你科研的指导作用很大,他对过往研究更了解,能对你的课题进行大方向的把控,实验中更丰富的经验,防止你走很多弯路。另外对于有出国深造意愿的同学,导师的推荐信能给你提供更好的机会。
学霸的时间管理心得
学霸的时间管理一定是优秀的,不然为什么人家能考第一,游戏还比你打得好。
高天宇就有一套自己的高效工作方式,他把事情分为 4 类:
紧急重要、紧急不重要、不紧急重要、不紧急不重要。
优先安排不紧急但重要的事情(比如看书、背单词),因为这些可能会被其他紧急情况挤占。
不重要但是紧急的事情,可以通过 deadline 催促自己完成。
划分一个特定的时间,专门用于处理琐碎事务。
很多人觉得时间不够用,其实很多事情并行处理,比如在做实验的等待过程中写论文。
另外高天宇推荐在电脑和手机上使用时间管理软件,尤其推荐 Things、Notion。
最后,在疫情期间,如何在家做科研?高天宇给出一条郑重警告:千万不要碰床!因为一旦接触了床就再也起不来了。
希望这些技巧能为因疫情而无法恢复学习的你提供一些宝贵的人生经验。
关于学霸高天宇
这次为大家分享科研经验的高天宇,是清华大学计算机系 2016 级本科生,今年夏天即将毕业,在短短四年的本科生涯中,高天宇过得很充实:
2019 年,他成为清华大学本科生特等奖学金获得者,清华大学学生“未来学者”计划成员。
4 年里,高天宇总共在 AI 顶级学术会议上发表了 4 篇论文:两篇 AAAI、两篇 EMNLP。
高天宇从大一下学期就已经进入大公司实习。2017 年 5 月,他在 Momenta 研究语义分割,2019 年入选腾讯犀牛鸟精英人才计划,至今一直在微信 AI 实习。
他还为清华大学的三个 GitHub 项目做出了主要贡献,其中一个 NLP 项目——关系提取的开源软件包 OpenNRE——自去年上线以来获 2.3k 星标。
另外他也是一名文艺爱好者,担任过清华大学学生会文艺部副部长、计算机系学生会文艺部部长,至于优秀团员、学业优秀奖等各种奖项和荣誉更是数之不尽了。
目前高天宇的下一步去向,我们没有打听到准确消息。
如果你知道点什么,也欢迎告诉我们。
今日份学习笔记,就酱 ~
课程地址:
https://www.bilibili.com/video/av95344119
高天宇博客页:
https://gaotianyu.xyz/about/