Hi Siri, 人机交互热潮背后的深度学习应用：自然语言处理研究【大学组】

计算机科学/NLP/人工智能

项目背景

自然语言处理是人工智能的一个分支，用以帮助计算机理解、使用人类语言以达到更好的人机交互效果。NLP的发展借鉴了计算机科学和计算语言学等许多学科，致力于填补人类交流与计算机理解之间的空白。NLP 的应用众多，因为人们用语言传达了最多的信息：网络搜索、广告、电子邮件、客户服务、语言翻译、放射学报告等。最近，深度学习方法在许多不同的 NLP 任务中获得了很高的绩效。这些模型通常可以使用单个端到端模型进行培训，并且不需要传统的特定任务功能工程。项目也将围绕着NLP的后端模型与前端应用一并展开。

项目介绍

该项目将全面介绍适用于 NLP 的前沿深度学习网络模型与应用。在模型方面，教授将涵盖单词矢量表示、基于窗口的神经网络、循环神经网络、长期短期记忆模型、卷积神经网络、注意力网络、Transformer，以及近期一些涉及预训练的语言模型的模型。应用方面，我们将研究当前最火热的NLP应用中内部技术，如谷歌翻译，Siri和其他个人助理系统等。在项目中，学生将在导师指导下理解、设计、应用神经网络模型在自然语言处理与人机交互应用中。项目结束时，学生将提交项目报告，进行成果展示。The course provides a thorough introduction to cutting-edge research in deep learning applied to NLP. On the model side, we will cover word vector representations, window-based neural networks, recurrent neural networks, long-short-term-memory models, convolutional neural networks, attention networks, transformers, as well as some recent models involving pre-trained language models. On the application side, we will study the inside techniques of current well-known NLP systems such as Google Translate, Siri, and Personal Assistant Systems. Through lectures and programming assignments students will learn skills to design, implement, and understand the neural network models in practical applications.

个性化研究课题参考 Suggested Research Fields

类Siri智能问答系统 Intelligent Q&A

结合语言特征和Roberta神经模型进行幽默检测 Combine Linguistic Features with Roberta based Neural Model for Humor Detection

各机器翻译平台所用模型及可用性对比 Review of models’ performance of different machine translation platforms

适合人群

大学生

对人工智能、深度学习、人机交互、语音识别、机器翻译等专业领域感兴趣的学生。 学生需要大学概率论基础，至少会使用一门编程语言实现如经典机器学习算法，有Pytorch/Tensorflow等深度学习项目开发经验的申请者优先

导师介绍

南洋理工大学教授

Luu is currently an Assistant Professor at School of Computer Science and Engineering, NTU. Prior to that, he was a Post-doctoral Fellow at MIT CSAIL from 2018 to 2020. He received his MSc degree from NUS in 2011 and Ph.D. degree from NTU in 2017. Luu’s research interests lie in the intersection of Artificial Intelligence, Deep Learning, and Natural Language Processing. He has published over 40 papers on top-tier conferences and journals including NeurIPS, ICLR, ACL, EMNLP, KDD, WWW, TACL, AAAI, etc. Luu also served as the (Senior) Area Chair of EMNLP 2020-2011, Area Chair of ACL 2021, Senior Program Committee of IJCAI 2020-2021, and Program Committee member of NeurIPS, ICLR, ICML, AAAI, etc. and standing reviewer of Transaction of ACL (TACL), Computational Linguistics, Transactions on Knowledge and Data Engineering (TKDE), ACM Computing Surveys. He recently got the outstanding paper award at the ICLR 2021.

导师现任南洋理工大学计算机科学与工程学院教授。在此之前，他于2018年至2020年在麻省理工学院CSAIL担任博士后研究员。Luu的研究兴趣在于人工智能、深度学习和自然语言处理的交叉领域。他在包括NeurIPS、ICLR、ACL、EMNLP、KDD、WWW、TACL、AAAI等顶级会议和期刊上发表了40多篇论文。Luu还曾担任EMNLP 2020-2011的（高级）区域主席、ACL 2021的区域主席、IJCAI 2020-2021的高级项目委员会以及NeurIPS、ICLR、ICML、AAAI的项目委员会成员，ACL学报（TACL）、计算语言学、知识与数据工程学报（TKDE）、ACM计算调查的常务评审员。他最近获得了2021年ICLR的杰出论文奖。

任职学校

南洋理工大学是新加坡的一所世界著名研究型大学。它是环太平洋大学联盟、全球大学校长论坛、新工科教育国际联盟成员，全球高校人工智能学术联盟创始成员、AACSB认证成员、国际事务专业学院协会（APSIA）成员，也是国际科技大学联盟的发起成员。作为新加坡的一所科研密集型大学，其在纳米材料、人工智能许多领域的研究享有世界盛名，为工科和商科并重的综合性大学。南洋理工大学在2021QS全球大学综合排名中位列第13,计算机科学方向更是在各排名中稳居Top10.

项目大纲

自然语言处理及其应用介绍：学生将在本周接触到NLP的发展情况及前沿应用领域，并在本周巩固编程及数据预处理工具的使用 Introduction to NLP and its applications

用以分类的深度学习模型如LSTM,注意力模型及其在伪新检测，情感分析中的应用 Deep learning for classification

生成模型如Seq2Seq及其在机器翻译中的应用 Generation model

自然语言处理前沿技术：OpenAI GPT等预训练语言模型 Pretrained language model

学术研讨1：教授与各组学生探讨并评估个性化研究课题可行性，帮助学生明晰后续科研思路 Final Project Preparation Session I

学术研讨2：学生将在本周课前完成程序设计原型（prototype）及伪代码（Pseudocode），教授将根据各组进度进行个性化指导，确保学生优质的终期课题产出 Final Project Preparation Session II

项目成果展示 Final Presentation

时间安排与收获

7周在线小组科研学习+5周论文辅导学习 共125课时

学术报告

优秀学员获主导师Reference Letter

EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等级别索引国际会议全文投递与发表（可用于申请）

结业证书

成绩单