用Hadoop计算不重复访问者的最佳方法是什么？

用Hadoop计算不重复访问者的最佳方法是什么？

您可以将其分为两个阶段进行：

第一步，发出

(username => siteID)

，并让reducer使用

set

-折叠多次出现的siteID
，因为您通常拥有的站点比用户少得多，所以应该没事。

然后，在第二步中，

(siteID => username)

因为重复项已被删除，所以您可以发出并进行简单的计数。