根据MapReduce计算的流程，在Map阶段选择好KeyValue，然后在reduce中输出计算结果，计算UV的话，最终的结果只是一个数字

我最开始的思路是:

map阶段选择常数1作为key,uid作为value,在reduce阶段将map输出放置到HashSet中排重，输出hashSet的size即为正确的UV

我运行的日志如下：

uid%1000=0       XXX

uid%1000=1        XXX

uid%1000=2       XXXX

……………………….

uid%1000=998   XXXX

uid%1000=999   XXXX

上面输出的结果并非我需要的，但无碍，可以在这基础上再做mapreduce一遍，reduce任务里求和就可以了

map代码：
public void map(Object key, Text value, Context ctx)
throws IOException, InterruptedException {
try {

String[] elements = value.toString().split(“\\|”); // 按|分隔符打散

String userid = elements[7]; // 获取用户标识

long uidHash = NetUtil.hash(NetUtil.computeMd5(userid), 0); // 哈希转整数

int mapKey = (int) (uidHash % 1000);//取模将key打散

ctx.write(new IntWritable(mapKey), new LongWritable(uidHash));

} catch (Exception e) {
e.printStackTrace();
return;
}
}

reduce代码

public void reduce(IntWritable key, Iterable<LongWritable> values,
Context ctx) throws IOException, InterruptedException {

Set<Long> uidSet = new HashSet<Long>();

Iterator<LongWritable> iter = values.iterator();
while (iter.hasNext()) {
long uid = iter.next().get();
uidSet.add(uid);
}

ctx.write(key, new LongWritable(uidSet.size()));
}