Google是怎么使用云核算和大数据的?
本文摘要:Google是怎么使用云核算和大数据的?跟着云核算和大数据的普及,愈来愈多的IT公司选择将自己的大数据处理计划布置在云上面。云核算和大数据的结合带来了什么便当呢?一个典型的大数据云又是怎么设计和布置的呢? 跟着和的普及,愈来愈多的IT公司选择将自己的
Google是怎么使用云核算和大数据的? 跟着云核算和大数据的普及,愈来愈多的IT公司选择将自己的大数据处理计划布置在云上面。云核算和大数据的结合带来了什么便当呢?一个典型的大数据云又是怎么设计和布置的呢?

跟着和的普及,愈来愈多的IT公司选择将自己的大数据处理计划布置在云上面。云核算和大数据的结合带来了什么便当呢?一个典型的大数据云又是怎么设计和布置的呢?

下面我们以Google Cloud作为例子,说明在工业界里边是怎么实践应用云。

Google Cloud

Google作为散布式体系和大数据的领导者,开发了众多跨年代的产品。简直每个Google的产品,写出一篇paper就能够发明一个开源社区的。

比如MapReduce发布之后,开源社区依据Google的一篇论文开发出的Hadoop,BigTable发布之后,开源社区又进一步开发出Hbase等等。可以说没有Google的立异,就没有现在开源社区的昌盛。

而Google又把自家的产品,都放在Google Cloud上面,构成了五光十色的产品线,吸引了十分多的大巨细小的公司如Snapchat等来使用。

Google App Engine (GAE)

我们都知道Web项目都需要很多的Web Service以及为之效劳的运维体系。Google在云核算领域初次尝试的就是Google App Engine (GAE),相比照当时的Amazon EC2,GAE只需开发者上传软件代码,其他布置将由Google完成。

用户只需要熟悉后端言语开发即布置大规模的集群。Google本年更是推出了GAE Flex,可以协助用户完成auto-scaling,用户不再需要自己布置负载均衡的效劳了。大部分中小企业的网站简直都可以无缝衔接到GAE上。

BigTable

BigTable的底层是注明的Google File System (GFS),他完成了等级的可靠的散布式存储。

也是最早的NoSQL数据库的一种。各种网站假如有需要永久存储的数据,一般都可以寄存在BigTable里边,Google Cloud会主动帮你做replication,散布在不同的效劳器节点里边,这样完成了可靠的散布式存储。

Dataflow

Dataflow的底层完成使用了台甫鼎鼎的MapReduce的晋级版Flume。

Dataflow特别便利进行很多的批处理,举个例子来说,比如要把所有的用户数据里边的格局都晋级一遍,用GAE或者其他service是很难完成的。

Dataflow也提供了特别多的接口,诸如BigQuery, Datastore, BigTable等等也是为了便利各种批处理。最近Google还提供了streaming(流效劳)版本的Dataflow,可以完成继续不断的批处理。

BigQuery

BigQuery适当于是Cloud version的SQL,可以便利使用各种杂乱的查询言语查找数据。这个尤其合适数据剖析师进行各种数据剖析,简直各种SQL的语法都是支撑的。

可是BigQuery在scaling上其实不如BigTable,其实不是面向用户的,所以其实不合适直接用来存储用户数据。只合适做一些离线分析,数据来历很多都是Dataflow从BigTable里边dump出来的一些拷贝。

其他效劳

Google Cloud还有十分多的其他效劳,诸如支撑音讯行列处理的Pubsub,支撑缓存的Memchace,支撑Monitoring的Stackdriver,等等完好的构成了一个企业数据云所有必要的各种效劳,可以满足大到Snapchat等级,小到各种startup的不同事务需求。


10:31:00 边缘核算 企业有必要进入云端吗?可以进入边缘核算 如今物联网的应用愈来愈广泛,但需要具有企业的视角。这意味着垂直职业运用程序、开发生态体系、产品规划、硬件、布置等。