Java爬虫| 简书用户排行榜

简书 编程之乐
转载请注明原创出处，谢谢！

前言

简书的隐藏的优质用户非常多，但是却不易被发现 ，为了揪出这部分用户，特地用Java爬虫把这些 大V或小V 分类列出榜单，顺便看看自己大致的排名。

技术细节(简略)

简单介绍下实现的细节，看不懂的可以忽略此节，直接查看榜单内容，给这些大V一波关注吧！

爬虫主要细节在于以下几点：

1. 网页解析器
2. URL调度器
3. URL排重
4. 代理池
5. 多线程
6. 正则（或Jsoup，xpath）
7. IO
8. http请求

基本都是重点，URL排重有多种方式：

1. 内存排重（HashSet）
2. BloomFilter布隆过滤器
3. BDB排重

本次使用的是内存Hash排重，而对于URL调度器使用队列即可，一边往外取 ，一边解析新的html中的url并往里存即可。

框架写好之后，就开始写简书相应的规则，规则很简单，就是爬取个人主页，存入数据库，解析网页获取关注列表，爬取关注列表的主页，重复以上步骤。

统计图

粗略估算一下简书的男女性别比和粉丝的区间分布情况，总之不是本文重点。

男女性别比

性别比

大多数用户隐藏了性别，猜猜我的性别？

粉丝分布统计图

粉丝分布统计图

榜单

粉丝数Top20

博客	粉丝数	排名
刘淼	270731	1
简书播客	234057	2
江昭和	203501	3
Sir电影	182769	4
简黛玉	179400	5
简书出版	163633	6
彭小六	157310	7
小播读书	149124	8
电影聚焦	144591	9
曹恩硕	138851	10
简书大学堂	134682	11
阿里云云栖社区	134639	12
我带爸爸看世界	127936	13
白发老蘭	124082	14
无为跑者	122377	15
简宝玉	113830	16
饱醉豚	107404	17
太湖浪子	105366	18
魏童	102468	19
盖是那么美	101768	20

喜欢数Top20

博客	喜欢数	排名
彭小六	246609	1
韩大爷的杂货铺	147011	2
怀左同学	129708	3
简黛玉	129217	4
衷曲无闻	117010	5
Sir电影	102054	6
槽值	85221	7
剽悍一只猫	80438	8
安梳颜	78977	9
顾一宸	78820	10
有备而来的路人甲	77169	11
陶瓷兔子	68246	12
弘丹	66032	13
萌薇	63514	14
饱醉豚	60106	15
入江之鲸	58508	16
尹沽城	58388	17
杨小米	56303	18
无戒	54159	19
剑圣喵大师	50133	20

关注量Top20

博客	关注量	排名
临川人	12907	1
桐子树下	10618	2
阿立斯本	7744	3
陈三白	6644	4
WEFG_jakerfenG	6173	5
欣悦生化	6165	6
Athena79	5433	7
曾培然	5101	8
有领uullnn	5083	9
MasterKang	5031	10
夜伊	5017	11
Smalldeer	4049	12
首尔的夜空	3758	13
炼己丶	3638	14
猎人之路	3296	15
桃源路	3196	16
肉娃	2866	17
狮女柔心_Nicole陶	2805	18
iOS_叶先森	2774	19
唐二郎	2618	20

签约作者Top20

博客	粉丝数	排名
刘淼	270731	1
江昭和	203501	2
彭小六	157310	3
饱醉豚	107404	4
名贵的考拉熊	100894	5
简叔	100787	6
韩大爷的杂货铺	98597	7
怀左同学	96731	8
雪花如糖	89222	9
蓝胖说说	88801	10
穿着prada挤地铁	82232	11
有备而来的路人甲	82193	12
心蓝丫头	77772	13
临界冰	77404	14
盆小猪	77272	15
一笑作春风	75906	16
王佩	74574	17
铃铛子	65747	18
windy天意晚晴	59864	19
无戒	59279	20

码字狂魔

博客	总字数	排名
爱可可_爱生活	7884794	1
独步dubu	5634619	2
Sir电影	4929700	3
Sting	3818759	4
王邑尘	3566126	5
code_w	3354914	6
掘金官方	3133872	7
憨憨故事	2878125	8
军旗猎猎	2784807	9
梵尘恋爱学	2689295	10
柳志儒	2604156	11
大学声	2465774	12
冬妮娅	2453658	13
艺术与哲学	2444021	14
太保乱谈	2304497	15
小好	2242470	16
医承有道	2210030	17
易大壮	2188911	18
鸭梨山大哎	2182454	19
葡萄喃喃呓语	2064988	20

文章发表量

博客	文章发表量	排名
幸运的贝壳	3499	1
孤鸟差鱼	1926	2
Sir电影	1896	3
岛上君	1708	4
军旗猎猎	1705	5
鸭梨山大哎	1690	6
云中飘舞	1651	7
心博1	1615	8
炫彬	1603	9
淡定之龍的傳人	1587	10
独步dubu	1538	11
用心看世界_cf05	1471	12
葡萄喃喃呓语	1423	13
独望夕晖般的凄凉	1365	14
养花大全	1360	15
幻梦邪魂	1324	16
爱可可_爱生活	1313	17
留子尧	1291	18
千里千寻梦	1263	19
闲不语	1244	20

最后查看下自己的大致排名:

1. 喜欢数 - 名次: 14282
2. 粉丝数 - 名次: 10445
3. 字数 - 名字: 24702
   看来自己付出还不够，继续努力坚持写作！

为了对大家一些指导性的建议，最后奉上一份大礼，不谢，按照粉丝数筛选出Top500的简书作者：

博客	粉丝数	喜欢数	排名
刘淼	270731	22742	1
简书播客	234057	6671	2
江昭和	203501	31803	3
Sir电影	182769	102054	4
简黛玉	179400	129217	5
简书出版	163633	22856	6
彭小六	157310	246609	7
小播读书	149124	2904	8
电影聚焦	144591	4612	9
曹恩硕	138851	6241	10
简书大学堂	134682	7956	11
阿里云云栖社区	134639	9914	12
我带爸爸看世界	127936	2101	13
白发老蘭	124082	6121	14
无为跑者	122377	9181	15
简宝玉	113830	10703	16
饱醉豚	107404	60106	17
太湖浪子	105366	21707	18
魏童	102468	2182	19
盖是那么美	101768	5697	20
慕容随风	101264	17464	21
名贵的考拉熊	100894	12057	22
简叔	100787	35396	23
韩大爷的杂货铺	98597	147011	24
冷眼观史	97322	7593	25
怀左同学	96731	129708	26
雪花如糖	89222	5862	27
蓝胖说说	88801	27730	28
萧晓四姑娘	86817	1906	29
捕手志	86384	8242	30
莫嫡Morettie	86148	2738	31
升腾的信徒	85871	7801	32
麦家陪你读书	83199	25777	33
北邮老土	82570	560	34
穿着prada挤地铁	82232	2365	35
有备而来的路人甲	82193	77169	36
心蓝丫头	77772	25443	37
临界冰	77404	8574	38
盆小猪	77272	8155	39
洋气杂货店	76113	12978	40
马虎眼	76073	2180	41
槽值	76069	85221	42
一笑作春风	75906	10232	43
义琳	75539	9477	44
王佩	74574	17019	45
西瓜甜甜99	71628	17482	46
哲学诗画	68696	2885	47
呆萌的老张看世界687	66945	4349	48
云晞	66896	13284	49
追风筝的哈桑	66177	22737	50
铃铛子	65747	34795	51
唐朝李白	64696	3624	52
山青青	64110	8913	53
柚稚妈妈	61679	15376	54
爱瑋儿	61386	8918	55
叶老巫	60812	9711	56
windy天意晚晴	59864	24028	57
无戒	59279	54159	58
Rose的肉丝儿	58748	5008	59
剽悍一只猫	58664	80438	60
philren	57865	6086	61
遇见而已	56773	3755	62
冷月花魂烘焙	55705	3801	63
顾北城i	55690	7824	64
简书	55437	40001	65
鲸北晨	55180	3804	66
上官小满	54927	5969	67
好风明月暗知心	54173	5422	68
巴塞电影	53378	10476	69
暖暖育儿家	52962	4452	70
简书交友	52053	9321	71
闻丁	51512	1012	72
白桦czh	51017	6742	73
似舞	50715	10086	74
安梳颜	50633	78977	75
味博士	50413	1174	76
Jack不是船长	50246	1138	77
逸之何春雷	49612	2802	78
顾一宸	49180	78820	79
晶晶JessieLee	49078	2847	80
我是知识的搬运工	48968	8722	81
每天前进一小步	48880	1646	82
娱乐拆穿姐	48231	1575	83
一元亦有用	48163	15860	84
大唐遗少	47313	2882	85
秋水饮马	47120	16085	86
南有南风	46858	31856	87
空间收纳大师	45926	16964	88
衷曲无闻	45923	117010	89
西小怪穿搭	45650	680	90
野芽	45233	2880	91
曹门霞客行	45164	5079	92
小万PPT	44899	19290	93
鳗言	44504	1825	94
水漾七七	44368	3132	95
甄垚	44219	2805	96
文字怪人	43981	4661	97
朱子先生	43710	12016	98
用文字诉说人生	43448	1640	99
清澈的北风	43325	3901	100
铨斋主人	43248	7913	101
ThoughtWorks中国	43230	3940	102
黄金战戈	43212	2180	103
吾之名太宰治	43124	5392	104
RainbowPeng	42706	7162	105
弘丹	42673	66032	106
林嘉梓	42259	19832	107
单老师码字	42233	996	108
孟永辉	41745	518	109
念远怀人	41644	2392	110
郑少PPT	41066	24413	111
萌薇	40845	63514	112
情路幽兰	40738	5135	113
黄焕新	40340	1396	114
张拉灯	39964	15414	115
西风漂流David	39631	16113	116
至简从心	39431	11575	117
沪江英语	39305	16907	118
田宝谈写作	38982	35218	119
诡魅	38753	7040	120
彪悍另一只猫	38697	2259	121
狮子座123	38462	2303	122
齐帆齐	38364	24276	123
沐丞	38355	35170	124
余老诗	38187	9636	125
凉亦歌	37613	10169	126
一鸣	37576	32996	127
添一抹岚	37571	10250	128
院长X大叔	37377	6200	129
孤独一刀	37210	4799	130
万事屋	36624	847	131
王殿波	36544	641	132
独钓云烟	36425	1820	133
企鹅吃喝指南	36219	11845	134
爱福窝设计	35503	545	135
小丸子的杂物集	35281	40221	136
如烟语	34695	1788	137
赵晓璃	34532	36926	138
安予萱	34407	1534	139
家具哥张林	34274	375	140
悟三分	34223	37881	141
金夕子	33772	2002	142
水中沚	33623	8959	143
帝天宇	33535	10338	144
别山举水	33467	35623	145
红雨视界	33429	8491	146
菲琴	33395	4227	147
九月飞飞1979	33272	3016	148
微风轻扬晓月寒	33237	9863	149
箬生一禾	33236	748	150
国境之南_	33188	10851	151
尹沽城	33186	58388	152
丹丘生_9115	33136	4191	153
翡翠森林Z	33126	449	154
若兰行歌	33103	1918	155
彬锋王座	32707	1855	156
东炜黄	32509	3308	157
一棵花白	32503	19426	158
王树义	32382	5689	159
野猫爱鱼	32088	6263	160
创业人张涵	32065	3261	161
怀双	31936	5721	162
魔鬼的赞歌	31929	5330	163
凉子菇娘	31690	19794	164
kongguyouling	31386	5793	165
简书活动精选	31355	25877	166
入江之鲸	31048	58508	167
简书茶馆叶老板	30947	22802	168
菠萝范大叔	30713	1945	169
菜七	30653	6243	170
村头愚农	30474	2937	171
马儿你慢些走	30445	1906	172
水青衣	30251	9893	173
心若了无尘	30061	900	174
爱洛	30020	2263	175
蔷薇下的阳光	29951	11544	176
剑圣喵大师	29916	50133	177
卷毛维安	29797	46299	178
sunny视界	29345	6475	179
龙哥盟飞龙	29309	6626	180
祈澈姑娘	29267	2032	181
落幕红尘	29133	2486	182
背后国文	29121	457	183
开源中国	29092	2170	184
Jk不二子	29059	6852	185
非著名程序员	29012	5540	186
食趣菜菜屋	28952	936	187
翟桃子	28859	7833	188
与君成悦	28765	15591	189
陌上红裙	28108	9071	190
明哥聊求职	28102	508	191
乐之读	27964	22003	192
千城Slash	27948	10569	193
十三夜	27852	39144	194
唐妈	27824	34559	195
鲈鱼正美	27766	630	196
lekli	27684	17290	197
用时间酿酒	27643	44456	198
费漠尘	27606	8646	199
徐甫祥评论	27594	468	200
委婉的鱼	27523	23197	201
蒲阳凡妈	27517	1668	202
Jane漂漂	27434	10383	203
马力_可能性与大设计	27393	9050	204
若木菡	27393	7347	205
医兮	27364	3570	206
晖宗聊绘画	26988	1475	207
闫泽华	26858	1469	208
纯银V	26854	26973	209
艾思	26750	8443	210
空中的梨子	26599	907	211
青红粉白	26493	1289	212
刘星文	26462	30181	213
鑫淼月儿	26461	1354	214
雷垒	26408	9762	215
Tomacado小雨	26163	557	216
一颗梧桐树	26148	6212	217
燕无忧	26123	3722	218
小怪聊职场	25949	1217	219
阿琴姑娘	25877	30244	220
林木成荫	25854	3521	221
道长是名思维贩子	25798	27964	222
在下行之	25705	42387	223
正本	25663	1196	224
向阳风	25625	3566	225
Vincy下厨	25618	671	226
目目王	25551	844	227
天青色Gracy	25525	695	228
陈狂	25516	4433	229
阿随向前冲	25455	31135	230
四叶香徊	25318	4821	231
新京报书评周刊	25233	2477	232
雪后山	25219	2414	233
林夏萨摩	25108	33889	234
图特亚斯坦	25078	6274	235
简书牧心	25038	13887	236
我是磊少	25010	1543	237
米喜	25004	8709	238
Summer爱夏天	24972	5632	239
欣星	24905	6730	240
星飞飞	24896	7849	241
丧心病狂的小坚果儿	24857	30157	242
微笑的秧秧	24782	13762	243
M有如果	24606	1036	244
米那	24590	6428	245
狐狐狐狐胡狸精	24499	600	246
快乐的Alina	24355	1290	247
孔雀东南飞飞	24272	1662	248
一道	24223	4983	249
若水国画	24105	1679	250
周樣	24045	3600	251
孟小满	24042	9326	252
刘伟书法_沈阳	23843	1433	253
冬月之恋	23827	806	254
陶瓷兔子	23761	68246	255
共央君	23753	30001	256
风铃无声江舟听雨	23735	2492	257
卡兰诺	23664	4546	258
景辰科技大数据	23653	711	259
缘末	23526	5738	260
周灿_	23401	25558	261
虬田	23311	12208	262
许烨	23102	471	263
宛于	23093	1668	264
赵大山	23006	3613	265
名昇	22896	4247	266
Ada贝玛	22715	1087	267
陪月亮摘星星	22480	4854	268
独立思考的童话	22377	1027	269
美食达人计划	22360	5394	270
枫小梦	22250	9493	271
众心无相	22158	496	272
蒋光头jL94430	22017	11845	273
总有一朵花是香的	21905	1323	274
一篇读罢	21817	2130	275
一凡有话说	21728	7103	276
杨小米	21655	56303	277
摆渡人	21653	32227	278
陈汐年	21607	32644	279
池夕末	21528	791	280
亭主	21440	11705	281
没文化的野狐狸	21395	3334	282
王了一一	21383	3395	283
楚桥读唐诗	21314	5925	284
那谁菇凉	21217	3093	285
迎刃	21197	43528	286
慕宸海	21181	10754	287
Nicole林小白	21169	23537	288
火锅家族	20980	1311	289
科学认识论	20885	451	290
一个悦己	20805	13329	291
笑鸿笙	20778	1353	292
鼹鼠的土豆	20656	34662	293
Ann苳杭杭	20618	20244	294
南有先生	20541	11685	295
宋了然	20501	4073	296
技匠	20370	26436	297
张女子	20310	5986	298
南下的夏天	20241	26524	299
陈伯强	20018	350	300
贝大鱼	19990	1845	301
泗四坊方	19985	3008	302
木子丢了个白Trash	19964	1257	303
叶上清之宿雨	19939	44216	304
硬派健身	19915	9066	305
哈默老师	19800	9179	306
与Winter的五百天	19762	990	307
沈万九	19618	26798	308
华杉2009	19601	6727	309
霍子荷	19596	2875	310
占芳	19591	1997	311
人性的游戏	19576	384	312
去年的茶	19429	21996	313
元宿周期表	19396	2109	314
四月默	19374	3605	315
李寻欢怼李逍遥	19363	961	316
小k飞耳	19362	1777	317
简影喵	19327	4276	318
挥翅膀的天使	19247	2181	319
abdbpjk	19226	6067	320
姜媛写作	19224	8653	321
time刚刚好	19195	12556	322
晓多	19118	32785	323
Hobbit霍比特人	19109	431	324
温州好老师	19034	909	325
尊敬的王二	19031	7562	326
冲浪小鱼儿	19008	4749	327
楂阿	18964	4362	328
吴怼怼	18913	513	329
罗罗攀	18897	978	330
小众海外	18870	409	331
程序员联盟	18862	9256	332
雀安知	18821	557	333
心智玩家的简书	18729	1377	334
胖大苏	18648	1647	335
地球上的人	18623	995	336
瑜音荛	18450	1405	337
暖先森	18367	20092	338
射手座恶魔	18339	1647	339
弗兰克	18287	17129	340
陈大力	18205	24082	341
傅踢踢	18197	15610	342
一个人的历史	18174	1687	343
璇玑读书	18074	24940	344
地理答啦	18071	430	345
斯诺姑娘	18032	13403	346
焱公子	18016	19201	347
无名氏小小人	17954	1442	348
翻滚吧李博	17829	1554	349
无瑕的月光	17802	1585	350
空白中的独舞	17700	40780	351
植物谜的松鼠君	17660	655	352
肖先生肖军	17640	1968	353
阿何	17630	40346	354
念念观自在	17621	1015	355
半樵玉涛	17498	1495	356
见伊	17498	5972	357
琪官Kafka	17476	2339	358
墨语添香	17445	1990	359
清白脸庞	17362	6428	360
蒲苇花	17291	2379	361
白痴老猫	17281	565	362
栾晓君	17254	1744	363
武桂有	17249	11739	364
咏葭	16927	10480	365
修行的猫	16820	28659	366
狸小猫	16809	19422	367
涵八	16733	408	368
八命先生	16689	23217	369
Josie乔	16674	21719	370
遇见小娜	16595	3886	371
网易王三三	16479	4250	372
陆纤雪	16366	9968	373
幽罗	16357	4178	374
玉米婶	16348	11170	375
佳纱	16278	9546	376
专三千	16274	13925	377
苏羽Loner	16257	9239	378
陈允皓	16211	24841	379
文长长	16150	30491	380
月儿好看	16060	18187	381
夏目若安	16047	1561	382
HustWolf	15990	2194	383
画府王爷	15917	8507	384
谷穗风致	15857	5355	385
沐儿	15840	23072	386
江河散人	15799	1624	387
职场火锅	15711	395	388
MY麦子	15693	29376	389
文文心儿	15690	2729	390
穿越人生	15643	3885	391
妮妮小屋	15509	7251	392
芊语芊寻	15373	17072	393
夏知凉	15359	33402	394
六尺帐篷	15302	1489	395
香油女王玲子	15299	911	396
巫其格	15282	24024	397
八段锦	15252	3353	398
汪波_偶遇科学	15197	513	399
心向暖	15190	2645	400
宋小君	15185	37780	401
鹿人三千	15144	21036	402
Carson_Ho	15092	10858	403
妙音居	15059	980	404
笔若	14986	24168	405
紫健	14923	23976	406
随风而行之青衫磊落险峰行	14878	282	407
不俗小七	14701	9246	408
阿莲医师	14695	495	409
哆咗	14687	1082	410
娅妮妮	14607	2748	411
深海梦影	14560	8663	412
特立独行的猪先生	14479	9200	413
杉果娘	14427	206	414
大城小胖Chris	14405	2911	415
嘉百列	14383	359	416
袁小懒	14321	3948	417
小伞biubiu	14278	2105	418
因爱而生	14234	1257	419
姜甘霖	14209	193	420
Tonytoni	14208	944	421
心碎纸人	14173	8481	422
贩夫	14126	755	423
宁让职场更给力	14046	8419	424
丧心病狂刘老湿	14032	15582	425
项目经理世界	14023	865	426
竹无心a	13965	4346	427
國學上官清晨	13860	370	428
随时随地写人生	13835	933	429
林貞觀	13824	4670	430
二丁目先生	13811	2706	431
禹唐	13810	276	432
地气财经	13797	375	433
高志航_教育	13787	658	434
法语朱老师	13752	260	435
沉默岛主	13742	2789	436
简书的老袁	13676	4239	437
徐林Grace	13662	3473	438
三俗哥	13660	301	439
惊鸿2017	13620	5277	440
红山老妖	13598	5947	441
张铁钉	13560	7228	442
我爱你三小姐	13546	4461	443
腹黑电影	13531	494	444
卢璐说	13520	17663	445
静修_	13518	3765	446
慕新阳	13492	6409	447
Charles远仁	13482	12695	448
新世相	13446	18913	449
笙醉	13436	4240	450
怡安女孩	13403	9294	451
晴天的天	13382	7601	452
尹惟楚	13308	30766	453
书中樵夫	13283	3722	454
元气少女_00	13266	6197	455
文艺女青年专治各种不服	13232	17482	456
CS工作室	13226	88	457
三顿ppt	13155	30612	458
张耘菩	13134	2288	459
君悦容	13127	4076	460
桃花红河水胖	13069	1672	461
文史小郎君	13042	1458	462
曲一刀	12980	2759	463
易词斋主人	12956	12171	464
步绾	12931	8821	465
杨喜爱	12911	6864	466
简书福利社社长简东西	12859	12806	467
二十初仲夏的树	12819	27232	468
小芒果君的爷爷	12818	860	469
朝歌晚丽	12665	16359	470
礼拜伍	12664	889	471
来慧	12635	1954	472
生命邀约	12611	6759	473
肥朝	12603	2177	474
影子影	12590	19657	475
贝小鱼	12585	34714	476
静铃音	12563	20755	477
Andy_Ron	12489	303	478
棠梨微甜	12476	1009	479
刘秀玲	12443	11273	480
人鱼线vs马甲线	12415	1715	481
耿彪	12411	692	482
松梅子扬	12298	1136	483
富兰克刘	12286	3999	484
傲看今朝	12266	11261	485
李斯特	12235	32247	486
李东西的南北	12216	1152	487
月儿上山了	12198	4554	488
野蛮人诺基亚	12165	660	489
井底女蛙	12165	17369	490
枕边音乐哦	12163	1225	491
羊美味老板	12150	12620	492
陈慕妤	12145	26441	493
扶摇风	12138	5187	494
寒七琪	12130	487	495
夏汐baby	12129	2024	496
罂粟姐姐	12119	22778	497
素怀	12078	8889	498
山有夏目	12050	5939	499
iamsujie	12021	1571	500