本文共 2188 字,大约阅读时间需要 7 分钟。
很久之前的大连理工大学信息检索研究室2017深度学习实践培训内容,当时听讲的时候的笔记。
Representation Learning
Word Embedding
Word2vec
窗口内的词向量更接近
Glove
考虑了词的共享次数
FastText
考虑了字粒度的n-gram
WordRank
使用排序方法训练
Doc2vec
将文档作为一个假想词参与训练
Topic Word Embedding
将主题作为一个假想词参与训练
Network Embedding Models
DeepWalk
- 语言模型 -> 图模型
- 节点序列的生成:
- 训练方法同Word2Vec
Node2Vec
- 生成节点序列的方法
- BFS : 更宽 -> 同质性(homophily)
- DFS : 更深 -> 结构等价(structual)
- 参数
- p值:p越大,则避免总是原路返回
- q值:q越大,越接近BFS
Node2Vec vs DeepWalk
GENE
- word2vec -> Node2vec
- Doc2vec -> GENE
LINE
- 浅层神经网络模型
- 可应用于大规模的网络中
- 同时考虑1度关系和2度关系
类比,KL散度:不同分布的差异
SDNE
小结
- DeepWalk
- 将节点看做词,随机路径看做句子,使用Word2Vec
- Node2Vec
- DeepWalk + 有策略的随机路径(综合BFS + DFS)
- GENE
- LINE
- 浅层神经网络 + First-order + Second-order proximity
- SDNE
- 深层神经网络(AutoEncoder) + First-order + Second-order proximity
Network Embedding 应用
- 连接预测
- 聚类
- 节点分类
- 文本建模
- Free text -> word co-occurrence network
- 推荐系统
阿里移动推荐算法竞赛
根据淘宝用户一个月的点击、收藏、加入购物车及购买行为,预测明天哪些用户购买哪些商品
LR,GBDT使用一维特征
CNN模型: 如何找到适用于CNN模型的二维特征?
卷积核,时间序列, YoonKim
| 点击量 | 收藏量 | 加入购物车量 | 购买量 |
0-8小时前 | | | | |
8-16 | | | | |
16-24 | | | | |
24-32 | | | | |
32-40 | | | | |
40-48 | | | | |
SMP Cup微博用户画像竞赛
根据用户的微博推断用户的性别、年龄及地域
multi-granularity NN 多粒度神经网络
- 语义特征
- 微博粒度的TFIDF(n条微博,n个[1,100000])
- TFIDF加权词向量([1,100000] * [100000,200]T = [1,200] )
- 用词习惯特征
- 用户粒度的TFIDF(用户的所有微博链接起来,TFIDF特征,SVD降维)
- 其他社交行为特征
Attention NN
词向量 -> 微博向量 -> 用户向量
- 找出有代表性的微博,找出其中有代表性的词语
Attention模型
Xv的取值有两种情况:
- 随机初始化的向量,所有词共享这个向量(better)
- 学习到词向量中
每个维度的权重的差异
- 原始词向量 UtTXt
- 类似向量到原点的距离,即
向量的某种长度决定词的重要性
决定每个词或句子权重的因素有哪些?
- 词性、位置、微博发表时间
- 可以加到Xa中
2016 EMNLP Neural Sentiment Classification with User and Product Attention
任务:商品评论情感分析
- 不同用户打分习惯不同
- 不同商品品质不同
类比: SMP微博用户属性分类任务:
- 不同社交团体用词习惯不同
CCF基于视角的领域情感分析
- 从评论中抽取出汽车的品牌(命名实体识别)
- 针对每个品牌进行评论的情感倾向性分析(Aspect情感分析)
TC-LSTM
Tang, Duyu, et al. “Effective LSTMs for Target-Dependent Sentiment Classification.”
ATAE-LSTM
MemNet (fast)
Tang,Duyu, “Aspect level sentiment classification with deep memory network” EMNLP 2016
- 先用aspect(途观,评价对象)向量作为句子向量
- 每一层进行一次变换
- N层之后进入softmax
- 只有aspect向量在变,其他的词的向量也就成了Memory
Attention:
词向量构成的矩阵 -> 每个词的权重,就是加权平均 -> 微博向量,就是句子向量
位置的信息:
- 词向量乘n-1/n, n-2/n
- 10维位置向量,拼到向量后面
转载地址:http://nnoji.baihongyu.com/