现在每个行业、每个人都在说大数据、云计算，似乎有了这个东西就可以大把捞钱无往不利。实际上，可能绝大部分人并不清楚到底什么是大数据、云计算。所谓大数据，其实就是很多很多的数据，以及处理这很多很多的数据的方法。这更多的是一个纯粹的计算机技术方面的概念。数据量的变化，会导致存储和加工方式的改变。从计算机诞生之日起，一直到现在，数据的存储和处理基本上都是在单台机器上上完成的。当数据量不断增长时，应对的主要方法一是换存储量更大，性能更好的机器，二是缩减数据，把所谓的冷数据（例如五年前的交易数据）导出到磁带库里。在这过程中，也有人提出了分布式存储、并行处理的方法，有好的产品，比如td的数据仓库，也有不好的，比如...但这些产品都有一个特点，技术保密，价格昂贵。进入互联网时代，搜索引擎诞生了。搜索引擎要处理的网页数据的增长是十分迅猛的，很早以前就已经到了pb级别，这是传统行业不能比的。这种数据量，用传统方法处理代价非常高，甚至是无法处理，基本上当时没有一款主流数据库敢说自己能高效处理pb级别的数据，td的数据仓库也就是tb级别。为了应对这个问题，google开发出了一种分布式的数据存储和加工方法，这种方法可以使用廉价机器组成集群，还能保证可靠性。并且，最重要的是，Google把他的核心算法写成论文发表了。之后诞生了开源的Hadoop，然后，pb级别的数据有了廉价的处理方法，再然后，全世界都开始大数据了。而所谓的云计算，可能更多的是一种计算服务方式的概念。他的几个要点是，可分配计算资源，虚拟化，可伸缩，等等。数据挖掘算法本质上是统计学方法以及一些数学模型，这些算法应用前，都需要对目标数据进行预处理，去除噪声，提取高关联度属性，或者做一些数学变换等等。算法本身对数据维度的大小也是有限制的，并不是越多越好。大数据对数据分析来说意味着什么可选择的数据变多了，同时也要花费更多的时间来去除无用的数据。对于数据分析来说，最重要的，还是合适的模型。
金融在投机这个层面而言，本质上就是打打杀杀，和打游戏没什么区别。量化交易就是开挂而已，虐菜鸟毫无问题，但真以为能无敌了？计算机只能遵循规则，而人的价值就在于破坏规则。另外光有技术不是万能的，技术在权力面前不值一提，赚了钱也得有命花。不过从的描述来看，还是停留在传统技术分析或者说对结构化数据的挖掘阶段。事实上我认为大数据技术更大的作用在于对非结构化数据的结构化处理，从庞杂的信息中提取有价信息。这早已突破了量价数据，是分析维度上的拓展，相当于开了第三只眼。有些人声称自己看新闻交易，新闻联播传达的是态度，但新闻事件最好第二时间就知道。比如风灾，海啸，地震，恐怖事件，重大违约等消息，里面价值巨大，等先知先觉者都开始交易了，你才能在量价数据上分析出来，为时已晚。
quant分买方和卖方两种。卖方quant用BS model做期权定价很多年了，他们大概就是所说的quant吧。买方的quant用的方法很多，比较有名的有高频交易和统计套利。单就统计套利来说，就会用到big data，machine learning等诸多工具。有了大规模的数据和数据挖掘的算法，真的可以无往不利了吗？恐怕不是这样。以银行业为例，以前我能处理一年的交易数据，现在我能处理所有的。用数据挖掘算法来预测客户行为，是不是使用所有的交易数据就比用一年的数据得到的结果更准确呢？恐怕结果可能刚好相反。为什么其实也好理解，你觉得自己十年做的事情和一周前做的事情，哪个对你明天做的事情影响大。
