疫情公开数据下载_干货分享：谷歌全球73.9TB卫星影像是如何下载完成的？

1。概述

真的回答了那句话。千里之行始于足下。全球谷歌卫星地图数据下载项目从2019年7月至今持续了六个月，现在已经完全下载完毕！现在我想和你分享一些经验和见解。2.下载全球卫星图像数据的前因后果

由于许多客户(主要是分类单位)对全球数据有需求，并且都希望建立一个可以离线查看的本地谷歌地球，我们大约在三年前启动了全球数据下载计划，但一直没有结果。原因有很多，太多的任务会导致数据混乱，被中间的其他东西打断和搁置，等等。然而，主要原因可能仍然是项目经理的问题。虽然它看起来很努力，但做得并不好。

全球数据

直到去年7月，我才决定亲自处理此事。事实上，当时我也在嘀咕，这个项目只是我众多工作中的一项。我有精力照顾它吗？如此庞大的全球数据，何时下载？此外，以前下载的数据非常混乱，在分类过程中发现许多数据有错误。有这样一个案例，数据没有被下载就被存入存储器。那时，我真的不知道该怎么办。看着下载了将近一半的数据，我们应该继续分类还是重新开始？这确实是一个很难选择的问题。

之后仅仅花了两天时间进行了一次特殊的下载测试，发现下载速度实际上比预期的要快得多。在充分估计了要下载的文件数量和数据大小之后，人们认为下载全球数据不应该像想象的那样困难，并且应该花费不到太长的时间。所以，终于下定决心从头开始！在

之前，当下载全局数据时，负责开发的同事使用代码一次生成所有任务，然后将它们分别分发给每台计算机。由于这项工作不需要全天候值班，而且有更多的计算机下载数据，一旦记录不仔细记录，原本简单的事情如果不小心处理就会造成数据混乱。基于上述原因，我这次不会使用同事们生成的任务。相反，每组任务将由我自己手动创建，并且仅由四台计算机下载。这种工作方式看起来很慢，但实际上是最快的。这种愚蠢的方式可以让每台电脑知道如何下载数据。据说欲速则不达。

最后，正如本文开头所提到的，该项目历时六个月，最终成功完成！当然，这一时期离不开另外两个小伙伴的密切合作，这两个伙伴是这半年中支付最多的。下面我将对全球数据情况和参数做一些简单的解释。如果你还想下载谷歌的全球卫星图像数据，请注意微信号“水通过地理信息系统”，回复“全球数据”进入群组，我会毫无保留地与你分享！3.全球数据参数和概况

这里下载的全球数据是谷歌地球，其坐标投影是WGS84经纬度投影，没有偏移或水印数据级别为1到19，总大小为73.9TB，如下图所示

全球卫星图像73.9TB

全球数据分为6个文件夹，其中“World_L2_10”为存储的2-10级图像数据，其余5个文件夹为10-19级图像数据，分为5个部分，如下图所示

数据分为6组。每个包含

全局数据的文件块由一组DAT和IDX组成。所有图像数据块文件都可以通过搜索DAT文件来检索全局数据文件根据金字塔尖的10级切片分为10到19级，总共131，072个块，加上2到10级内的两个块，总共131，074个块文件，如下图所示

共有131074个文件被划分为块

按文件名排序的

文件“2_1_1”和“2_2_1”的起始位置对应第2级到第10级图像块，如下图所示

级别2到级别10分区

文件“10_1_1”对应于基于左上角的切片分区，如下图所示

第10到第19个块的左上角是起始位置

10到第19级文件被阻止到" 10_512_256 "的末尾，如下图所示按文件名

文件“10_512_256”排序的

的结束位置对应于基于世界左上角的平铺分区，如下图所示

第10至第19位

位于块的右下角，根据下载完成时间对所有文件进行排序，最早完成时间为2019年7月14日12: 23，如下图所示

开始位置按下载完成时间排序

最近一次下载完成时间是2020年2月20日22: 41，如下图所示

按下载完成时间排序的结束位置

按大小排序所有文件，最小的图像只有1KB。数据非常少的文件主要分布在南北层面基本没有图像数据的区域按文件大小排序的

的起始位置为

，最大数据量为8G，如下图所示

按文件大小排序的

的结束位置，其中文件“10_108_84”是全局数据中最大的块，总计8.33GB，如下图所示

最大文件8.33GB

4。初学者如何下载全球数据？

从上面的描述可以看出，下载全局数据是分块完成的，但是当创建新任务时，我的方法是基于第10级，一次下载4列，每列256个任务块，即一次1024个新任务块具体下载方式请关注微信公众号“水镜祝地理信息系统”，回复“全球数据”。我会毫无保留地在小组中与你分享！我们将回答您关于如何使用全球离线图像数据，如何在局域网中发布它，以及如何调用它的问题。如有必要，我们还可以通过在线直播为您提供详细的演示。5.总结

最后，如果您需要，我们还可以为您提供全球离线2D和3D地理信息系统解决方案。接下来，我们将使用相同的方法计划下载国家和全球1-21级数据。这是一个更具挑战性的项目，我们希望有一天能成功完成。