注册工程师是怎么注册_Google工程师是怎么处理大规模数据的？

的确，谷歌是公认的大数据祖先。 现在很多人提取了大数据，停留在谷歌开放的“三人马车”时代:谷歌fs、MapReduce、BigTable。 其实“三轮马车”不再是波峰。

近年来，大数据技术的发展，无论是技术的反复，还是生态圈的繁荣，都远远超过我们的想象。 自从Spark成为Hadoop生态的一部分后，Flink蛮横地挑战Spark成为大数据处理领域的新星后，谷歌就决心用Apache Beam统一天下。 大数据技术的发展起伏不平，可以说波澜大。

大数据技术生态圈

丰富的工具，繁荣的生态，增加了开发者选择合适工具的难度。 集成开源框架、工具、类库和平台，以了解所需的工作量和复杂性。 技术的选择和使用，对于大规模的数据开发者来说也是非常棘手的问题。

以前和谷歌brain的工程师交流的时候，他想在很大的数据领域理解技术，理解技术的开发人员很少，中小企业的技术VP也常常是“追求技术流行”的状态，不能说是普通的开发人员。 对于大规模数据处理，比较常见的误区包括

1 .低估了处理数据的重要性。

没有高质量的数据处理，人工智能只有人工智能。 比如在意义理解上，在谷歌被德国的一个小公司超越之前，有过认识到高品质数据的表述和处理的重要性。

2 .低估了数据处理技术人员在组织结构上的重要性。

大数据领域的泰斗级人物杰西·安德森正在研究人工智能团队的合理组织结构，需要4/5的数据处理技术人员。 实际上，即使是写前端的工程师，也有很多工作是数据处理。 遗憾的是，很多团队都没有意识到这一点。

3 .低估了因数据处理规模增大而带来的复杂性。

很多人还没遇到过“大规模”的问题，很容易想到问题。 谷歌有很多优秀的候选人，他们可以很好地解决常见的编程问题，但是在数据规模变大时问问如何设计系统，答案也不太在意。

4 .高估了数据处理的难度。

另一方面，我们有必要认识到大规模的数据处理是复杂的要素。 但另一方面，有正确的工具和技术理念，现在数据处理并不困难。 谷歌有很多应届毕业生半年后也能轻松应对亿人以上的数据量。

有个朋友，只能用在大公司，也许我觉得没有必要在小公司学习这个。 其实不然。 “不想当将军的士兵不是好士兵”，从公司小到大，从你的地位低到高，可以影响决策的时候，你的数据量多的时候……数据的处理能力很重要。