发表于:ICML24
推荐指数: #paper/⭐⭐⭐
创新点一颗星,证明三颗星(证明的不错,值得借鉴,但是思路只能说还行吧)
如图, 本文采取的创新点就是MLP用原始节点,GCN用邻居节点的对比学习.这样,可以加快运算速度
L
E
C
L
=
−
1
∣
V
∣
∑
v
∈
V
1
∣
N
(
v
)
∣
∑
u
∈
N
(
v
)
log
ℓ
(
v
)
,
where(4)
ℓ
(
v
)
≜
exp
(
f
M
(
v
)
⊤
f
G
(
u
)
/
τ
)
∑
v
−
∈
V
exp
(
f
G
(
u
)
⊤
f
G
(
v
−
)
/
τ
)
+
λ
exp
(
f
M
(
v
)
⊤
f
G
(
v
−
)
/
τ
)
,
\begin{align} \mathcal{L}_{\mathrm{ECL}}=-\frac1{|\mathcal{V}|}\sum_{v\in\mathcal{V}}\frac1{|\mathcal{N}(v)|}\sum_{u\in\mathcal{N}(v)}\log\ell(v),\text{ where}\text{(4)}\\\ell(v)\triangleq\frac{\exp(f_M(v)^\top f_G(u)/\tau)}{\sum_{v^-\in\mathcal{V}}\exp(f_G(u)^\top f_G(v^-)/\tau)+\lambda\exp(f_M(v)^\top f_G(v^-)/\tau)}, \end{align}
LECL=−∣V∣1v∈V∑∣N(v)∣1u∈N(v)∑logℓ(v), where(4)ℓ(v)≜∑v−∈Vexp(fG(u)⊤fG(v−)/τ)+λexp(fM(v)⊤fG(v−)/τ)exp(fM(v)⊤fG(u)/τ),
如上,fM表示MLP的编码层,fG表示GCN的编码层.本文采取节点v和节点v的邻居作为正样本对.负样本对为:在GCN层的邻居节点u和负样本(随机采样的负样本),MLP层的节点v和GCN层的负样本
v
−
v^{-}
v−(随机采样的负样本)
逻辑说明:
原始节点为v,邻居节点u.MLP映射的v与GCN层(一层)的u进行对比,就相当于节点v与二跳邻居进行对比.新瓶装旧酒,证明十分巧妙
总结:
创新点一般般,但是证明非常巧妙,值得一看(本博客并未附上作者详细证明)
