[Hadoop] 自定义InputFormat文件输入格式

2017-05-03  本文已影响0人  techhow

最近在着手公开数据Common Crawl的解析,commoncrawl提供的数据有三类格式:

- WARC files which store the raw crawl data
- WAT files which store computed metadata for the data stored in the WARC
- WET files which store extracted plaintext from the data stored in the WARC

我们需要的是网页正文的数据wet file。如果是直接解析gz文件可以参考官方网站提供的DEMO,而我们需要解析的是gz文件解压后的*.wet文件,其中每个文件里一个网页的数据被分散到各行,所以得想办法把每个网页的数据作为一个整体作为map的输入,所以调研了一下自定义inputFormat的方法,找到了这篇文章自定义 hadoop MapReduce InputFormat 切分输入文件,写的很好。

上一篇下一篇

猜你喜欢

热点阅读