干货 | 新手运营的数据来源和整合
前两天写的一篇文章《一些你可能从没了解过的公众号数据》中通过一些数据介绍了当前公众号的一些情况。有些朋友询问到了关于数据的来源以及如何寻找数据。于是我干脆把我工作时一些数据采集分析用到的一些网站和工具跟大家分享一下。
需要先说明的是，我不是专业的数据挖掘和分析工作人员，只是作为一名运营人员，需要数据对运营工作的决策提供一些参考。加上也不懂什么R语言，SPSS，SAS这类的数据分析工具，更不懂如何用Python爬虫。
所以更多的就是通过一些数据分析机构提供的调查报告，一些提供数据分享或者数据购买的网站，通过一些傻瓜式自动化的爬虫网站进行收集到Excel表里，然后在利用一些简单的在线数据可视化处理工具处理成完整的一篇数据报告。
在这篇文章里我就会按照上面的这些流程里会我经常用到的一些网站进行介绍。如果有数据大神路过就请自动忽略我这不专业的数据采集和分析小白了，啊哈哈哈~
再补充说明一点：做运营的，数据大体分两种，一种是产品本身的数据，比如做网站的，那看的是网站的PV，UV等等，做公众号的，看粉丝量，阅读数，转发量等等。第二种是行业的数据，就比如关于公众号的数据，那是关于整个行业的如文章的阅读类别的分布情况等等。这是两种不同的数据需求。前者只能靠运营在产品内部去采集，后者才是我今天要讲的。
一：数据分析机构
如果是新手在完全不知道如何下手的情况下，肿么办？
看别人家的.......
对的！就素这么直接！就素这么任性！
下面我就介绍一些我经常有去浏览的一些行业数据报告的分析网站：
1.艾瑞咨询 http://www.iresearch.com.cn/
艾瑞咨询是最早涉及互联网研究的第三方机构，累计发布数千份互联网行业研究报告。每月都会有许多不同行业的调查报告以及数据情况。Tips：进入后在菜单栏右边→_→有个观点报告，里面就是各种调查报告和行业数据。
2.艾媒咨询 http://www.199it.com/archives/
这两家名字很像只差一个字的两家公司很多人问我有没有关系，并没有！！但是这不是重点，这两家的数据每天被新华社华尔街日报，第一财经等主流媒体多次引用。在国内是相对来说比较成熟的互联网数据调查分析的网站。
3.DataEye https://www.dataeye.com/report.html
专注于泛娱乐领域的大数据分析和挖掘。
如果你的英语达到一定水平，可以通过这两家网站寻找更多数据：
4.IDC http://www.idc.com/
5.Gartner http://www.gartner.com/technology/home.jsp
两家公司在IT、电信、消费电子、应用软件领域有很深积累，每年都会发布全球市场智能手机、平板电脑、PC出货量，经常关注科技资讯的知友对它们应该很熟悉。除了科技产业，IDC和Gartner还会定期公开能源、健康、制造等的调研数据。进行相关领域研究时，可以将它们的数据作为一项参考。
在新增一个
世界银行 http://data.worldbank.org.cn/
这个可能跟互联网没什么直接的关系，世界银行可以免费并公开获取世界各国的发展数据。能够通过数据帮你了解世界。
二.数据挖掘
上述的调查机构提供的大部分都是精简过，提炼出来的数据，并且提供了一定的分析。原本的大数据基本上是不会展示出来的。如果你不满足于上述的一些机构提供的这样直接的调查报告，而是希望通过一些大数据自己进行整合分析。那么就需要进行数据挖掘或者叫采集。
有两个方案，第一直接找现成的，或者直接买。第二，自己用工具挖掘采集。
很明显，第一个方案要简单容易得多，所以先跟大家讲一下从哪些渠道可以进行数据购买或找免费的。
1.数据堂
http://www.datatang.com/data/list
此网站数据就比较多涉及的方面也比较多了，合适各种行业各种数据都有。主要包括数据：语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别、统计年鉴、研发数据等领域。
要注意并非全部免费，大部分比较深入的资源还是收费的，以下几个都是，自行斟酌选择食用。
2.数据圈
http://www.shujuquan.com.cn/forum.php?gid=230
同样提供各种数据的分享，交易。主要是针对经济领域的数据。主要包含：国内宏观、区域数据、世界经济、价格数据、工业行业、区域数据、国内宏观、区域数据、世界经济、价格数据、工业行业、区域数据。
3.国云数据市场
http://www.moojnn.com/data-market/
主要包含数据：生活服务、教育、能源、建筑、交通运输、政府、金融、农业、医疗、卫生
是否免费：否（大部分免费，根据自己选择）
4.数多多 http://www.dataduoduo.com/
数多多的资源就更多集中在通讯行业和企业名录方面，如果是做销售的话可以从这里找到很多不错的数据资源。主要数据包括：社交网络、电子商务、企业名录、 金融数据、生活服务、科研数据、知识库等。
但是如果你很冥顽不灵，就是想要靠自己的双手挖出一片天，我也给你推荐一个学习的资源，助你10天入门爬虫：知乎：如何学习Python爬虫[入门篇]？
但是，假如你和我一样，身患懒癌晚期无法自拔，那你就跟我学做菜吧。
噢，不对，跟我学习怎么利用网上现成的爬虫工具进行数据挖掘。
下面介绍一些比较傻瓜式自动化的爬虫工具。
1.八爪鱼采集器 http://www.bazhuayu.com/
八爪鱼采集器是任何一个需要从网页获取信息的人都必备的采集工具，它彻底改变了我对爬虫和采集器的认识，让网页数据采集变得前所未有的简单，如果你正在寻找一款好用的采集软件，八爪鱼绝对是最好的选择。——上述这段话不是我说的，是某评论里的，你们可以参考参考。
2.火车采集器 http://www.locoy.com/
与八爪鱼类似。
最后在罗列一些互联网指数提供参考：
三.数据整合
好的，那么现在我们数据有了，应该怎么整合呢？
当然可以直接通过数据进行分析，但是数据总归是比较死板。而且作为一个文科运营狗。面对这一串串的数据也是看着脑袋疼。所以我们需要把它可视化。
利用我们的感性思维来观察，嗯，原来这个数据是想表达这个意思。
但是我既不会R语言，也不会SPSS，SAS等等，如果你看着都不知道这几串英文是啥。
那么恭喜你，跟我学做菜吧，哦，不对。学我如何利用互联网的工具对数据进行可视化的编辑。下面就介绍可以直接通过在线编辑可视化数据的工具。
1.BDP个人版。
进去后右边→_→有教学视频，自己看着学吧。其实大概的步骤也就是，把你的表格上传，然后选择一种可视化的形式，然后调一下颜色，嗯，就成了。就是这么简单。
2.文图
和上面的BDP类似，一样自己看看教程很容易就能够上手的。
四.数据分析
最后一部分虽然标题写着数据分析，但是我并不敢妄言我会数据分析。
曾有人说过：“不懂商业就别谈数据。”
是的，特别是这些行业的数据，更是需要商业思维来支撑才能理解这些数据背后的含义。
那有人就会问了，那Vance，你讲着这么通篇文章介绍怎么采集数据，都是在讲无用功吗？
当然不是。
虽然很多时候并不能通过数据了解行业背后的含义。但是直观的通过数据的变化还是能够看到行业的变化，或许并不能分析这种变化的根本原因。但是起码变化本身已经足以让我们引起警惕进而思考是否需要调整自己的工作计划。
希望这篇文章我的一些工作经验能对一些新手起到一些帮助。
觉得有用就关注我吧。
如其他网站平台想要转载请点击获取授权，或查看本人资料加我微信获取授权。
