深度学习与金融市场——真实世界模型
用深度学习去预测金融市场,这是一个非常吸引人的课题!有很多人在神经网络和深度学习开始流行的时候就开始关注,甚至开始着手构建自己的神经网络深度学习模型。在Github上或者Google可以找到的模型或者例子都会非常简单,你也可能看到一些非常吸引人的论文,甚至看到某个神秘的人宣称自己用LSTM或者其他的模型赚了几十万美金,而最多的你可能看到的是某篇文章宣称带来30%-40%收益,而最后将你引向一个付费的软件。我们不讨论这些付费的软件是否能工作,但是免费的是最贵的!这是大部分人不曾理解的事情,也是大部分人趋同的原因,也是世界的二八法则,甚至远远不到二八,富起来的永远是少数人。这也是为什么会有文末的知识星球链接! 有人会问,你的知识星球挺贵,便宜意味着门槛低,几十万粉丝的星球大概都是骗人的,尽管你觉得这个钱少无所谓,这就是二八法则。那有人要问了,既然你觉得你已经能稳定盈利了,为什么还需要收费。一,谁也不嫌钱多!二,本金对财富的聚集效应!
回过头来,继续讨论模型。大部分我们看到的模型,基本上是仅仅针对深度学习模型本身。事实上我们以二级市场为例,也就是股票!大部分的模型是这样的,输入可能是十天或者一个月或者更长,用以预测接下来的一天的涨跌。有用分类的,也有用回归的!面临的问题是什么呢?如果做涨跌分类,多天数据预测一天的数据,基本上准确率是上不去的,基本是在50%左右徘徊!如果你做的准确率能到80%甚至更高,唯一的可能性就是引入了未来数据,分类算法在这种真实世界模型下基本不可能过拟合!这个从数据分析的角度是有科学的解释的!这种情况下,我们的真实世界模型是用多天预测一天。 如果我们用多天预测多天呢?答案是,准确率会上去,可能能到60%甚至70%甚至更高,预测周期和准确率当然并不成正比。你需要找到一个合适的周期。也许大家觉得说,这样我不就可以赚钱了吗?首先,这样简单的真实世界模型泛化能力并不好。准确率并不代表你能赚钱,哪怕你有90%准确率,十次对了九次,每次涨幅只有0.1个点,错的那一次跌幅2个点,你仍然是亏损的。并且这样的事情发生的在A股的概率可能有90%!也许有人说了,那么我们应该使用更复杂的模型,三层,四层LSTM,加上CNN,用Capsule,用ResNet50!我们从ImageNet的例子来看,模型提高的准确率都仅仅只在1%-2%左右,而我们还没有找到解决这个问题的最根本的方法,那么一味的去追求模型,这是很多学院里的博士们在做的事情,并且大部分做这个课题的人他们在失败了几次之后,已经否定了这个事情,他们所关注的仅仅是论文!并且在人工智能热潮中,你能看到的现象是大批的博士们来到企业后开始继续写论文,而现在逐渐开始又回到学校和科研院所。无法落地的论文无法给企业带来商业价值,不仅仅因为这些博士们没有工程和产品经验,飘在空中楼阁中,更重要的是因为这些博士们没有经历过什么失败,浅尝辄止!我们继续讨论另一个方向,回归!同样的,大家能Google到的回归算法和模型,可能最多的就是LSTM,大家都认为这可能是最好的时间序列预测的模型,当然也有人用transformer,用小波变换+encoder+decoder,很多种类!无非他们想做的,都是试图挖掘出数据中隐藏的不为人知的秘密!大道至简,很多人没有明白!所有人都在机器学习模型上下功夫,但都忽略了真是世界模型才是解决问题的终极奥义!就像你要理解这个世界是如何运转的,你要理解几个基本的原则,比如资源是有限的,尤其是优等的资源;比如不公正是世界运转的发动机;比如A股能否回归价值投资取决于众多的散户!我们说的是理解,有人说资源是有限我能理解,那么你既然能理解,你为什么觉得你买不起的东西会降价?你为什么会觉得学区房取消是福利?你为什么在骂A股的公司太烂导致都是散户买单,因为本质上你也是个投机分子,而且你期望赚到比巴菲特高出几倍的收益!
我们不能仅仅看数学模型,事实上深度学习仅仅是我们的一个工具,最终我们仍然要去理解我们需要解决的问题的本质。也是大家都在谈的人工智能的落地,落地是一个体力活,也有道在其中!更多内容请关注我的星球: AI量化(https://t.zsxq.com/RvfY37y)
微信公众号请长按