hankcs
上海 松江区

加关注

【深度学习中文分词调研】随着深度学习的普及,有越来越多的研究应用新模型到中文分词上,让人直呼“手快有,手慢无”。不过这些神经网络方法的真实水平如何?具体数值多少?以Sighan05中的PKU数据集为例,真像一些论文所言,一个LSTM-CRF…http://t.cn/R9EtkHX ​

8月10日 22:00转发|评论

【CS224n笔记18 挑战深度学习与自然语言处理的极限】最后一课,总结了目前这两个领域中的难题,介绍了一些前沿研究:快16倍的QRNN、自动设计神经网络的NAS等。深度学习已经漂亮地完成了许多单项任务,但如果我们继续随机初始化模型参数,我…http://t.cn/RK9ObWe ​

7月14日 16:45转发|评论

【CS224n研究热点15 Neural Turing Machines】 目前的神经网络擅长模式识别和动态决策,但无法使用知识进行深思或推断。比如明明可以胜任电子游戏这么复杂的问题,却无法完成最短路径这样的简单问题。任何DFS算法变…http://t.cn/RKKjT1g ​

7月14日 12:26转发|评论

【CS224n笔记17 NLP存在的问题与未来的架构】课程介绍了各种各样的深度学习网络与应用,是时候从更高层次思考自然语言处理存在的问题与展望未来了。虽然BiLSTM与attention几乎统治了NLP,但在篇章级别的理解与推断上还不尽人意…http://t.cn/RKoZdZO ​

7月13日 22:20转发|评论

【CS224n研究热点14 自动组合神经网络做问答系统】这是自我组装推断的QA,可接受多种知识,包括图片和结构化知识库。问答具有复合性,很早就有人引入句法分析判断究竟在问什么,甚至脑洞大开想做自然语言编译器。但他们总是脱离不了手写规则的思维…http://t.cn/RKSMPjc ​

7月13日 18:42转发|评论

【CS224n笔记16 DMN与问答系统】最有意思的一课,将所有NLP任务视作QA问题。模仿人类粗读文章和问题,再带着问题反复阅读文章的行为,利用DMN这个通用框架漂亮地解决了从词性标注、情感分析到机器翻译、QA等一系…http://t.cn/RKiCE4D ​

7月12日 17:31转发|评论

【CS224n研究热点13 学习代码的语义】在培训码农的时候,教师需要给学生批改代码、写反馈。学生太多时成为机械劳动,这篇论文研究自动编码程序的语义表示。数据集来自斯坦福开发的模拟操控机器人的语言。表示代码 希望得到代…http://t.cn/RKiqfTA ​

7月12日 15:58转发|评论

【CS224n笔记15 指代消解】从规则启发式代词回指消解出发,介绍了传统特征工程二分类模型、启发式损失的分类模型,过渡到利用强化学习自动缩放损失的神经网络模型。什么是指代消解 找出文本中名词短语所指代的真实世界中的事…http://t.cn/RKIeOg1 ​

7月11日 16:59转发|评论

【CS224n研究热点12 神经网络自动代码摘要】任务与数据集 自动生成C#和SQL代码的文档描述,数据集整理自StackOverflow上的提问。子任务 根据代码生成摘要,或根据问题检索代码。网络架构 一个LSTM处…http://t.cn/RKfszpm ​

7月11日 11:53转发|评论

【CS224n笔记14 Tree RNN与短语句法分析】介绍了著名的复合性原理,由此启发得到树形RNN,用于表示短语和句子级别的语义。从朴素树形RNN到SU-RNN和MV-RNN,讨论了进化历史和各自优缺点,演示了效果…http://t.cn/RKU01WZ ​

7月8日 16:58转发|评论

【CS224n研究热点11 深度强化学习用于对话生成】这篇论文研究如何训练聊天机器人进行有意义的对话,常规方法是seq2seq:与上几次课讲的机器翻译框架相同,encoder与decoder,相同的极大似然估计目标函数…http://t.cn/RK28WNU ​

7月7日 21:01转发|评论

【CS224n笔记13 卷积神经网络】补充了NLP中相对冷门的CNN,谈了谈调参与发论文的潜规则。从RNN到CNNRNN无法利用未来的特征预测当前单词,就算是bi-RNN,也不过是双向重蹈覆辙而已。经常把过多注意力放到…http://t.cn/RokAJjy ​

7月4日 14:30转发|评论

【CS224n研究热点10 Character-Aware神经网络语言模型】动机大多数神经网络语言模型其实并没有注意到结构类似的词语意义也类似这种语言现象,这使它们无法赋予低频词合适的表示。所以这个新模型的目标是:编码…http://t.cn/RoDrHBr ​

7月4日 13:12转发|评论

【CS224n 命名实体识别】先实现基于窗口的基线模型,然后进阶到RNN和GRU。中间利用对自动机的模拟和推导展示RNN的缺点,演示梯度剪裁的作用。这是Latex解答,代码已提交,最后还有一个彩蛋。1 命名实体识别初步…http://t.cn/RodPfwN ​

7月3日 13:49转发|评论

【CS224n笔记12 语音识别的end-to-end模型】这次斯坦福请到了深度学习教父Hinton的弟子Navdeep来讲语音识别,他正在英伟达工作,怪不得N卡在深度学习中的地位如此之高。而他本人也在用Dell的搭载…http://t.cn/RomF9LG ​

7月1日 20:04转发|评论

【CS224n笔记11 GRU和NMT的进一步话题】从动机层面直观地充实了GRU和LSTM的理解,介绍了MT的评测方法,讨论了NMT中棘手的大词表问题和一些常见与最新的解决办法。深入GRU 把GRU再详细讲一讲。RNN…http://t.cn/RoEZC8s ​

6月30日 20:48转发|评论

【CS224n研究热点9 读唇术】唇语翻译将视频处理为以嘴唇为中心的图片序列,给或不给语音,预测正在讲的话。这些数据可能来自新闻直播:动画演示:这里唇语和语音的识别、卡拉OK效果式的对齐,都是模型自动完成的。架构视觉和…http://t.cn/RoRcJb3 ​

6月30日 17:28转发|评论

【CS224n笔记10 NMT与Attention】从NMT的历史谈到现代,讲解了attention机制的动机、原理及最新的拓展。通过实例展示谷歌翻译的变化,直言不讳指出其过度炒作。Manning今天还换上了新MBP,…http://t.cn/RojRfsU ​

6月28日 22:13转发|评论

【CS224n研究热点8 谷歌的多语种神经网络翻译系统】双语NMT一般“瘦弱”的NMT系统只支持双语单向翻译,比如课上常见的这种:如果想实现一个模型支持多语种互译怎么办呢?土办法之前的尝试是使用多对encoder-de…http://t.cn/Ro0SKP5 ​

6月27日 17:18转发|评论

【CS224n Assignment 2】先在TensorFlow上实现多项逻辑斯谛回归练练手,然后增加难度实现基于神经网络的转移依存句法分析,试验Xavier初始化、Dropout和Adam优化器。最后推导RNN和语…http://t.cn/Ropky6S ​

6月27日 14:20转发|评论