每天送你NLP技术干货！
学术分享，侵删
作者：田渊栋
https://zhuanlan.zhihu.com/p/451903256
今年，我们在小组中开辟了一个相对较大的方向，组织并带领团队一点一点地前进，并取得了一些初步的成果。中了十篇文章paper（三篇ICML，四篇NeurIPS，一篇AAAI，一篇SIGCOMM，还有一篇CGO tool paper），包括三篇ICML long oral，一篇一作ICML获得优秀论文奖提名。
年底投了几篇ICLR文章的质量也很好。研究内容围绕两条主线，一是加强算法设计的学习及其在智能优化方向上的应用，二是对自我监督学习的理解和改进。
非常感谢所有合作伙伴！
AAAI 2022：https://arxiv.org/abs/2112.09174
SIGCOMM 2021：https://dl.acm.org/doi/10.1145/3452296.3472902
CGO tool paper：https://arxiv.org/abs/2109.08267
ICML优秀论文奖提名：https://icml.cc/virtual/2021/poster/10403
论文：https://arxiv.org/abs/2102.06810
业余时间完成了一部小说《破晓之钟》，续集《幽夜星火》也在写作中。
更重要的是，我们的女儿出生在11月初，给家人带来了很多快乐。
总的来说，今年很忙，也很丰富多彩。
「我的文字」：http://yuandong-tian.com/novel.html
随着年龄的增长，限制会越来越多，家庭责任和健康会逐渐成为越来越强的限制，让有梦想的人陷入困境「有心无力」困境。如何摆脱这种困境，首先想象一个崇高的梦想，然后设定一个可以实现的目标，一步一步地实现，这是一个终身的家庭作业。对自己提出了更高的要求。
在战略上，要区分主次。
不需要做不必要的工作，找出什么对自己最重要，什么应该果断放弃，说一句话「没时间」并非羞耻，而是逐渐走向成熟的体现。
今年参加了公司辅导实习生的活动，每天和实习生聊天。实习生抱怨每次赶论文都要熬夜好几天。我告诉她「我从不熬夜赶论文」，她几乎惊呆了——当然，她在博士阶段经常熬夜，但在博士毕业后，尤其是近年来，她开始追求「deadline如果你做不出来，就把它放在下一个deadline」原则，原因很简单，如果结果在最后一刻被赶出来，如何有时间思考和验证实验结果是否正确？这也可以减少每次提交的数量，提高稿件的质量。
我当过几次领域主席（Area Chair），作为最后一位主要负责任的作者，帮助改写了许多反驳评论的作者（rebuttal）可以清楚地发现，如果作者对一篇文章尽了最大努力，他可以感受到并愿意提高分数。
已经是中年人了，和年轻人一起努力是没有意义的。我们应该努力争取视野和思维模式，找到问题的关键，把时间花在刀刃上。我记得我以前写过一个知乎回答，说我每天可以工作十几个小时。现在看来已经过时了。
现在还有一天工作十几个小时的意识，但条件是真的很重要，真的很有意义，值得去做。最糟糕的情况是，忙但不知道自己的目标为什么，努力却死了，不仅给了自己虚幻的安全感和满足感，也注定了下一个悲剧的命运。结局是最糟糕的，不如躺着享受生活。
对于一个资深人士来说，首要任务不是盲目地沉浸在工作中，而是总结过去的弯路，特别是那些花了几个月但没有成效的努力，思考如何做，花了多少时间和资源，哪一部分可以用于主义，哪一部分必须有亮点和创新。基本上，大模式已经确定，意想不到的快乐是锦上添花，结果不令人满意，至少有办法保证。
此外，预测别人看不到的问题和陷阱，并采取一切手段，包括技术或非技术，以尽量避免这样的事情发生。所谓的智者看起来不可爱，而不是真的到处灭火。
在执行方面，有必要安排所有可以安排的事情。
如何快速切换多任务，如何不忘记不紧急但重要的事情，如何利用零碎的时间进行有意义的阅读和思考是非常重要的。今年下半年，我花时间写了一个时间管理软件，总结和整理待办事项、文章笔记、想法和团队的项目进度，然后通过一些简单的代码自动分析自定义标签，输出一个全面的时间表。这样可以解决文档分散太多太乱的问题。
稍微整理一下，代码开源了，有兴趣可以玩。当然，多任务切换的关键在于能否在一段时间内集中精力，把一件事做好，然后再做下一件事。如果设定了具体的目标，所有的工具都只是辅助的，必要时可以放弃。
开源项目：https://github.com/yuandong-tian/scheduler2
记住别人对自己的批评，并经常反思。
记得去年这个时候，我还在花很多时间去逐条反驳我们投稿ICLR2021文章的那个给3分的评委给出的18个问题。
Openreview：https://openreview.net/forum?id=c5QbJ1zob73¬eId=gHbY_xI60M7
当时觉得评委把我们的工作贬低到一文不值，列出的每一个问题都是胡说八道，很生气。但现在回想起来，虽然「证明不严格」所有这些都是胡说八道，细节中提出的问题也暴露出他没有仔细阅读，但如果你想想他提出这些问题的根本动机，有一件事是合理的——文章中有太多的想法要表达，而且写得不是特别清楚。
对比去年和今年年初的两篇文章，一篇是被比较的ICLR和ICML连续拒稿，另一篇拿了ICML优秀论文提名，感慨万千。所有这些都有内在原因，理解这些内在原因可以提高你的工作质量。我很幸运能遇到如此严肃的评论——这样的思考使被拒绝的坏事成为一件好事。你知道，批评是一种稀缺的资源，高质量的批评是罕见的，因为其他人没有时间和精力仔细阅读他们的结果，更不用说提出任何有用的建议了。我在半年前写了一篇关于批评的文章，并在年底重申了这一点。
知乎回答：https://zhuanlan.zhihu.com/p/390765721
不要故步自封，要经常翻棋盘。
你以前的优势可能成为下一步成长的绊脚石。认识到每一种能力都是有用和有限的，可以在适当的时间和场合使用，在其他时间和场合故意限制使用，这比拥有和炫耀要好「一技之长」道路更加艰难。而这一切的选择，都是为了一个宏大的目标，为了自己的长远发展。
有句谚语叫「好游客溺水，好骑士堕落」，这意味着做你擅长的事情，经常掉以轻心。事实上，它有更深层次的意义——一个有技能的人，如果不小心，可能会成为自己技能的奴隶。
最后，有空多看历史。
历史是一个大规模的离线强化学习训练集，比自己强100倍。能在历史书上留下一笔钱的杰出人物，在关键时刻走错了一步，以前所有的成就都白费了。这些都一字一句地记录在案，让后人保持警惕。每年年底写一个总结，期待2022年做得更好，把自己的经历放在这个培训集里，让大家看看。也许你可以从中学习就在这里。——
这只是你自己的历史。千里渡来年越少，万顷劫波付笑话。共勉。
作者信息
田渊栋博士是Meta人工智能研究所研究员、研究经理、围棋AI项目负责人的研究方向是深入加强学习及其在游戏中的应用，以及深度学习模型的理论分析。2005年和2008年获得上海交通大学硕士学位，2013年获得卡内基梅隆大学机器人研究所博士学位。
曾获2013年国际计算机视觉大会（ICCV）马尔奖提名（Marr Prize Honorable Mentions），ICML2021杰出论文荣誉提名奖。
博士毕业后，从研究方向选择、阅读积累、时间管理、工作态度、收入和可持续职业发展等方面发布了博士五年总结系列。
备注：，进入DL&NLP交流群。
有许多方向：机器学习，深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
记得备注呦
整理不容易，还是希望给个看！