graph representing leanring


grl综述、graphGAN、more

grl综述

问题定义


权重越大,空间中距离越近

用输入来分类:


同构:节点和边都只有一种

异构:多模态的图、知识图谱

label是onehot、attribute是离散或者连续

第四种流行学习–降维方法

按输出来分类:


节点、边、子图、全图(蛋白质或者分子来比较多个图的相似性

方法来分类:


矩阵分解(奇异值、特征值)、random walk(deep walk)、cnn或者autoencoder、自定义损失函数(最大化边重建概率、最小化距离损失函数,常见于kg)

历史:


传统降维,le拉普拉斯,最近五年

locally linear embedding:流行学习,高维中有低纬度结构,通过lle降维,做法是算邻居集合,计算低纬度的embedding

word2vec
skip-gram model:每个词特征可以预测周围的词,概率softmax计算,负采样来防止softmax开销大

deep walk:从图中的每个节点出发随机进行random walk来采样,重复,得到path当成sentence,就可以做word2vec了

node2vec:deepwalk选择下个节点是均匀的,但是node2vec是不均匀的,可以bfs或者dfs,打转或者往深处走

line:自定义两个损失函数:1一阶临界关系 2二阶临接关系

transx:一系列方法,就只是head embed+relation embed=tail embed

sdne:autoencoder,输入是点的vector,三项损失,点自身的重建损失+临接的点之间+正则化

graphGAN

motivation

之前按输入、输出、方法来分类

g生成式模型:如deepwalk

d判别式模型:直接去学习两个点之间有边的概率,如sdne、ppne

g和d怎么联合?gan中用minimax game来联合

g是要接近ture,d是试图判断有无边,minmax操作:对每个点都做(g对真实的点的给分+d对给定g的参数的给分)

g:hierarchical sigmod函数

d:求导会有麻烦(policy gradient)

framework

问题:

1、没考虑图的结构特征(把图看成二叉树)

2、负采样不是很好,生成的不符合概率分布

提出 graph softmax

1、bfs搜索得到树

2、计算邻居概率(relevence 概率)

3、边计算边sample


实验:


1、预测边概率
2、节点分类

3、推荐

more work

dkn:推荐系统

shine:预测用户微博情感