hankcs
上海 松江区

加关注

【CS224n研究热点8 谷歌的多语种神经网络翻译系统】双语NMT一般“瘦弱”的NMT系统只支持双语单向翻译,比如课上常见的这种:如果想实现一个模型支持多语种互译怎么办呢?土办法之前的尝试是使用多对encoder-de…http://t.cn/Ro0SKP5 ​

6月27日 17:18转发|评论

【CS224n Assignment 2】先在TensorFlow上实现多项逻辑斯谛回归练练手,然后增加难度实现基于神经网络的转移依存句法分析,试验Xavier初始化、Dropout和Adam优化器。最后推导RNN和语…http://t.cn/Ropky6S ​

6月27日 14:20转发|评论

【从源码编译安装TensorFlow】普通安装方法是pip官方的包,但这种大街货往往没有针对本地环境做优化。比如调用时会警告说你的机器支持一些可加速运算的指令,但编译时没有启用,让你心痒难耐。你可以选择把头埋进沙子里,…http://t.cn/Ro9taU2 ​

6月26日 13:00转发|评论

【CS224n笔记9 机器翻译和高级LSTM及GRU】简单回顾了传统统计机器翻译中的难题,过渡到利用GRU和LSTM来救场,最后介绍了一些较新的改进工作。机器翻译对于情感分析这类还算简单的任务,你可以整理一个情感极性词…http://t.cn/RoJxITa ​

6月23日 19:57转发|评论

【CS224n研究热点7 迈向更好的语言模型】我们已经知道一些手段来改进语言模型,比如:更好的输入:词→词根→字符更好的正则化/预处理这些手段综合起来得到了更好的语言模型更好的输入文本的多种颗粒度:更细的颗粒度相当于减…http://t.cn/RoxpNCA ​

6月23日 15:13转发|评论

【CS224n笔记8 RNN和语言模型】这次课推导RNN,介绍各种训练技巧和拓展变种。梯度消失的推导很详细,用Python演示很直观,也给出了用裁剪防止梯度爆炸的直观解释。笔记里还补充了用于机器翻译时的5项改进。语言模…http://t.cn/RoIQ0ZO ​

6月22日 21:53转发|评论

【CS224n研究热点6 基于转移的神经网络句法分析的结构化训练】介绍了依存句法分析最近的3次突破性工作。什么是SyntaxNet这是谷歌在16年开源的“世界上最精准的开源句法分析器”,它基于TF来做句法分析,现在支持…http://t.cn/RofrBwB ​

6月22日 17:33转发|评论

【CS224n笔记7 TensorFlow入门】这节课由TA们介绍了TF里的几个基本概念,基本流程。然后现场敲代码演示如何在TF上跑线性回归和训练词向量。与优达学城的《深度学习公开课》不同之处在于,后者是一个浮躁的快餐…http://t.cn/RotYK8L ​

6月21日 16:12转发|评论

【CS224n研究热点5 图像对话】术语Visual Dialog,大致这么翻译(通俗理解为斗图)。你可以给聊天机器人发送图片,它能理解图片的意思,你们可以就图片内容展开对话;除了文本之外,让图片也成为交流的一部分;这…http://t.cn/RotfM4O ​

6月21日 14:19转发|评论

【CS224n Assignment 1】这是LaTex答案,Python代码开源在GitHub上。先进行大量的SG、CBOW、负采样、交叉熵损失函数推导和证明,理论基础扎实后平滑过渡到实现;在斯坦福情感树库上做情感分…http://t.cn/RoATvzm ​

6月18日 12:01转发|评论

【CS224n笔记6 句法分析】句法分析还算熟悉,就跟着复习了神经网络句法分析的动机与手法,了解一下比较前沿的动向。语言学的两种观点如何描述语法,有两种主流观点,其中一种是短语结构文法,英文术语是:Constituen…http://t.cn/Ro7MhEM ​

6月16日 22:02转发|评论

【CS224n研究热点4 词嵌入对传统方法的启发】主讲人是一位发音特别纯正的印度小哥,只有微量口音。这篇论文挑战了对神经网络的迷信,展示了传统模型的生命力以及调参的重要性。词语表示方法以前的课程中讲过两大类得到dens…http://t.cn/RSsrflV ​

6月15日 21:46转发|评论

【在Wine或CrossOver中利用CMake和MinGW交叉编译】在Mac等*nix下编译Windows动态链接库或可执行文件,常见方法是虚拟机。然而虚拟机操作不流畅,来回拷贝源码不方便。虽然虚拟机自动将宿主目录挂…http://t.cn/RSFbYjk ​

6月15日 11:22转发|评论

【CS224n笔记5 反向传播与项目指导】最后一次数学课,其实都是些很基础的推导而已。从四个不同的层面讲解反向传播,其中电路和有向图类比还是很直观新颖的解释。任意层的通用公式第$l$层的残差:var mathConfi…http://t.cn/RSmH1gl ​

6月11日 20:35转发|评论

【CS224n研究热点3 高效文本分类的锦囊妙计】Facebook的fastText 文本分类是NLP中常见的任务,比如情感分析:词袋模型虽然词袋模型只是所有词向量的某种平均,但其维度可以做到很低:为了抵抗词序丢失带来…http://t.cn/RSEtLHH ​

6月10日 21:45转发|评论

【CS224n笔记4 Word Window分类与神经网络】这节课介绍了根据上下文预测单词分类的问题,与常见神经网络课程套路不同,以间隔最大化为目标函数,推导了对权值矩阵和词向量的梯度;初步展示了与传统机器学习方法不一…http://t.cn/RSQuQBS ​

6月9日 22:55转发|评论

【CS224n笔记3 高级词向量表示】这节课从传统的基于计数的全局方法出发,过渡到结合两者优势的GloVe,并介绍了词向量的调参与评测方法。复习:word2vec的主要思路遍历整个语料库中的每个词预测每个词的上下文:然…http://t.cn/RSYnBBN ​

6月8日 22:03转发|评论

【CS224n研究热点2 词语义项的线性代数结构与词义消歧】词向量本身无法解决一词多义的问题,比如:这里的tie可能表示球赛的平局,也可能表示领带,还可能表示裤子打结。那它的词向量究竟在哪里呢?虽然相似的词被映射到邻近…http://t.cn/RSY64Hs ​

6月8日 20:33转发|评论

【CS224n笔记2 词的向量表示:word2vec】如何表示一个词语的意思先来看看如何定义“意思”的意思,英文中meaning代表人或文字想要表达的idea。这是个递归的定义,估计查询idea词典会用meaning去…http://t.cn/RSWQO8m ​

6月7日 20:59转发|评论

【CS224n研究热点1 一个简单但很难超越的Sentence Embedding基线方法】这门课会不定期地让TA介绍一些课程相关的最前沿研究,与课程进度并非流畅衔接,所以单独做笔记。这次是第二节课中场休息时,由Dan…http://t.cn/RSWZbPL ​

6月7日 16:34转发|评论