BERT除以一个根号dk的作用

   =  softmax(2a)

from math import exp
from matplotlib import pyplot as plt
import numpy as np 
f = lambda x: exp(x * 2) / (exp(x) + exp(x) + exp(x * 2))
x = np.linspace(0, 100, 100)
y_3 = [f(x_i) for x_i in x]
plt.plot(x, y_3)
plt.show()

为什么是根号dk:

 其中E(X)是期望为0 不是均值 纠正*

E(XY) =1 即表示 k1*q1，k2*q2....，kn*qn的分布 期望为1

D(XY) =1 即表示 k1*q1，k2*q2....，kn*qn的分布 方差为1 即用Zi表示ki*qi

*上面的q*k = k1*q1+k2*q2+....+kn*qn = Z1+Z2+...+Zn

*所以D(q*k) = sum(D(Zi))  ， i从1到n ，Zi表示ki*qi 即 D(q*k)为1