机器学习驱动的北美商业决策-听课笔记
machine learning.jpg
今天上午听了泰阁志-解密大数据 社群组织的讲座，由来自美东一家财富100强的金融机构数据科学家吴老师讲授《机器学习驱动的北美商业决策》。这次讲座分为两个部分，第一部分，介绍机器学习的定义和作用，第二部分，介绍了两个典型案例。
一、机器学习的定义和运用范围
以下是来自WIKI百科对机器学习的定义和介绍。机器学习是计算机科学的一个分支，它赋予计算机学习的能力，而不需要明确的编程。从人工智能领域中对模式识别和计算机学习理论的研究中进化而来，机器学习探索如何研究和构建基于数据进行学习和预测的算法，通过输入样本数据建立模型，这样的算法可以实现数据驱动下的预测和决策，从而无须遵循严格静态的程序指令。在设计和编制明确的算法难度很大或者根本不可行时，机器学习可以大显身手，例如：反垃圾邮件、防止网络入侵、防范内部恶意程序导致的数据泄漏、光学字符识别（OCR）、搜索引擎和计算机图像识别等领域。
在讲座中吴老师介绍到，机器学习是一门交叉学科，涉及到概率统计、优化和计算机编程等。机器学习在预测信用卡违约风险、房贷违约率压力测试、预测潜在基金客户、癌症病人五年生存概率、汽车无人驾驶等众多领域都有广泛的运用。
机器学习的主要任务可以分为监督学习和无监督学习。
监督学习（supervised learning）指从给定的训练数据中学习得出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练数据（training data）包括输入和输出，或者说特征和目标。监督学习的应用实例包括预测某个地区的房价、信用卡违约率、手写数字的识别等等。
无监督学习（unsupervised learning）指训练集没有人为标注的结果，需要从输入数据本身探索规律。无监督学习的应用实例包括图片聚类分析、文章主题分类、基因序列分析和高维数据降维等等。
二、典型案例
案例一是波士顿地区房价分析和预测。
数据来源是一篇论文中波士顿周边506个小镇的房价数据和其他特征值，包括犯罪率、房间数量、一氧化氮浓度、离波士顿商业中心的加权距离等等一共13个指标。
分析步骤：
1.将数据导入python；
2.通过盒图（boxplot）反映数据的离散程度；
3.通过直方图和散点图描述数据的分布和基本规律；
4.通过数据可视化得出初步的商业洞察，包括房价随着犯罪率的上升而下降、房价随着离商业中心的距离增加而下降、房价随着下层经济认可百分比的增加而下降等等；
5.利用LASSO和训练集数据确定优化后的相关系数，获得最终的模型（算法）。
案例二：贷款违约预测。
数据来源是美国P2P借款俱乐部（lending club）贷款记录，主要特征值有贷款收入比、贷款分级、贷款者工作年限、是否违约、违约次数等等，目标是预测贷款是否违约。这属于监督学习中的分类问题，典型方法是逻辑回归和决策树。
分析步骤：
1.将数据导入python；
2.通过盒图和直方图来描述数据的分布和基本规律；
3.利用决策树来快速确定决定违约风险的重要变量；
4.利用逻辑回归对违约概率进行定量预测，并形成下列商业结论，例如：贷款等级越低，违约风险越大；工作年限越长，违约风险越小；月供收入比越大，违约风险越大，等等。
三、学习心得
通过今天的讲座，有以下三点体会：
1.加深了对机器学习的认识。
过去对人工智能、机器学习、数据分析的认识比较模糊，今天从讲座中收获的一个重要认识就是，机器学习有两大主要任务，一是监督学习，二是无监督学习。在我过去的认识中，简单认为有训练集就是机器学习，而把那些图像识别、语音识别等应用不认为是机器学习，而归入人工智能。现在来看，这个分类是错误的，它们都属于机器学习，区别在于训练集是否存在人为标注的结果，而且机器学习是人工智能的一个子领域。
2.拓展了机器学习应用领域的了解。
从讲座中了解到，机器学习的应用领域非常广泛。从数据的角度来看，只要存在数据的行业，都有运用机器学习的潜力。机器学习的本质寻找数据背后的商业洞见。对于我们而言，最重要的是我们不知道自己不知道的那部分知识（ Daniel Kahneman 在《思考 快与慢》中提到：We're blind to our blindness. We have very little idea of how little we know. We're not designed to）。人倾向于为已有的结论寻找证据，而不是探索新的知识和洞见，所以需要机器学习的帮助，克服各种认知偏差带来的偏见，寻找数据背后隐藏的宝贵财富。
3.再次见识了python的威力。
在讲座中，只需要短短的几行代码，吴老师就完成了对复杂数据的分布状况描述，找到了其背后的规律。除了吴老师的数据分析能力以外，python体现出一个高效工具的强大威力。对自己而言，确实需要好好学习和使用python了。
