大数据常见算法（一）

QUENSTION:海量日志数据，提取出某日访问百度次数最多的那个IP。

解决思路：

   1.IP不是无穷的，总共是2……32个 ，所以最多关于IP的数据最多有4G大小，采用分而治之的思想将这些文件在逻辑上分为1024份，每份也只是4MB大小的文件。

  2.对这1024份文件进行mapreduce计算，类似wordcount的计算，IP作为key ,value是每个IP出现的次数。

  3.1024份的数据计算完后实现升值排序。得到最后结果

 实现步骤

1.将日志文件，直接从本地上传到hdfs上，或者先存到Linux中在放到hdfs上

2.修改相关配置文件，使这些文件分为1024份

3.编写类似wordcount的mp程序

4.选出每一小块中出现频率最高的IP

5.然后对这1024条IP进行比较排序

不好意思，只是思路，没有代码，各位简友，要是有源代码，还请不吝赐教，谢谢！