2020 最新斯坦福课程--自然语言处理与深度学习 CS224N 上线,附课程 PPT 下载

书籍教程 sophie ⋅ 于 7个月前 ⋅ 1734 阅读

本文为大家带来了一份斯坦福大学的最新课程CS224n——自然语言处理与深度学习,主讲人是斯坦福大学Chris Manning,他是斯坦福大学机器学习教授,语言学和计算机科学教授,斯坦福人工智能实验室(SAIL)主任,以人为本的人工智能研究所副所长。

近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

课程链接:https://web.stanford.edu/class/cs224n/

一、课程介绍(Description)

自然语言处理(NLP)是信息时代最重要的技术之一,也是人工智能的重要组成部分。NLP的应用无处不在,因为人们几乎用语言交流一切:网络搜索、广告、电子邮件、客户服务、语言翻译、虚拟代理、医疗报告等。近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。作为去年的试点,CS224n将在今年使用Pytorch进行教学。

file

二、之前的课程(Previous offerings)

本课程于2017年由早期的CS224n(自然语言处理)和CS224d(自然语言处理与深度学习)课程合并而成。下面你可以找到存档的网站和学生项目报告。

CS224n Websites: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 / Autumn 2014 / Autumn 2013 / Autumn 2012 / Autumn 2011 / Winter 2011 / Spring 2010 / Spring 2009 / Spring 2008 / Spring 2007 / Spring 2006 / Spring 2005 / Spring 2004 / Spring 2003 / Spring 2002 / Spring 2000

CS224n Lecture Videos: Winter 2019 / Winter 2017 CS224n Reports: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 and earlier

CS224d Reports: Spring 2016 / Spring 2015

三、预备知识(Prerequisites)

1)精通Python

所有的课堂作业都将使用Python(使用NumPy和PyTorch)。如果您需要提醒自己使用Python,或者您对NumPy不是很熟悉,则可以参加第1周的Python复习(在时间表中列出)。如果你有丰富的编程经验,但使用不同的语言(如C/ c++ /Matlab/Java/Javascript),你可能会很好。

2)大学微积分,线性代数(如MATH 51, CME 100)

你应该能够熟练地进行(多变量)求导,理解矩阵/向量符号和运算。

3)基本概率及统计(例如CS 109 或同等课程)

你应该了解基本的概率,高斯分布,均值,标准差等。

4)机器学习的基础(例如CS 221或CS 229)

我们将阐述成本函数,求导数,用梯度下降法进行优化。如果你已经有了基本的机器学习和/或深度学习的知识,课程将会更容易;但是,没有它也可以使用CS224n。在网页、书籍和视频形式中,有很多关于ML的介绍。哈尔·道姆(Hal Daume)正在开设的机器学习课程是一种很好的入门方式。阅读那本书的前5章将是很好的背景知识。知道前7章会更好!

四、参考书籍(Reference Texts)

所有这些都可以在网上免费阅读:

•Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft)

•Jacob Eisenstein. Natural Language Processing

•Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing

• Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning

•Delip Rao and Brian McMahan. Natural Language Processing with PyTorch. (requires Stanford login)

如果你没有神经网络方面的背景知识,但无论如何还是想要学习这门课程,你可能会发现这些书中的一本对你提供更多的背景知识很有帮助:

•Michael A. Nielsen. Neural Networks and Deep Learning

• Eugene Charniak. Introduction to Deep Learning

五、 课程安排

01: 介绍和词向量(Introduction and Word Vectors)

Gensim字矢量示例(Gensim word vectors example:)

02:单词向量2和单词意义(Word Vectors 2 and Word Senses)

03:Python复习课(Python review session)

04:词窗口分类、神经网络和矩阵演算(Word Window Classification, Neural Networks, and Matrix Calculus)

05:反向传播和计算图(Backpropagation and Computation Graphs)

06:语言结构:依存分析(Linguistic Structure: Dependency Parsing)

07:一个句子的概率?递归神经网络和语言模型(The probability of a sentence? Recurrent Neural Networks and Language Models)

08:消失的梯度和花哨的RNNs (Vanishing Gradients and Fancy RNNs)

09:机器翻译,Seq2Seq and Attention (Machine Translation, Seq2Seq and Attention)

10:最终项目的实用技巧(Practical Tips for Final Projects)

11:问答和默认的最终项目(Question Answering and the Default Final Project)

12:NLP的ConvNets(ConvNets for NLP)

13:部分单词(子单词模型)和转换器结构的信息(部分单词(子单词模型)和转换器结构的信息)

14:上下文单词表示(Contextual Word Representations)

15:使用的建模上下文:上下文表示和预训练(Modeling contexts of use: Contextual Representations and Pretraining)

16:自然语言生成(Natural Language Generation)

17:语言参考和共指解析(Reference in Language and Coreference Resolution)

18:AI中的公平和包容(Fairness and Inclusion in AI)

19:选区解析和树递归神经网络(Constituency Parsing and Tree Recursive Neural Networks)

20:NLP以及深度学习的未来(NLP+深度学习的未来)

课程PPT下载:

链接: https://pan.baidu.com/s/1yAXCdGcPiCgBtcGoB_c5Fw
提取码: 提示:此内容登录后可查看

提取码: ph1c

来源:专知@微信公众号
Evan@知乎再编辑



相关文章:
CV 开发者自我修养 | 吴恩达教程 / 笔记 / 刷题资料最全汇总
从入门到计算机视觉算法研究员的进阶课程最全整理
卷积神经网络的复杂度分析

file
△ 关注极市平台
获得最新CV干货

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货

回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!