BigQuery 概念验证

将数据导入 BigQuery

在处理大数据时，文件大小限制是一个问题。我们使用了 Unix 命令行“split”将数据文件拆分为适当大小的块，注意在行边界处拆分文件，而不是在记录的中间。在执行此操作时，需要考虑 Google Cloud Storage (GCS) 限制和 BigQuery 导入限制。

一旦我们成功安装了 Google 的 GCS 命令行工具 gsutil，我们就使用它将数据从亚马逊转移到 GCS，事实证明这是整个过程中最慢的部分。总共大约需要 12 个小时才能将所有行转移到 GCS。我们尝试使用 gsutil 中的并行上传功能，但这会导致我们的 EC2 实例成为 I/O 绑定。事后看来，我们可以花更多时间尝试不同的亚马逊区域、文件大小和并行上传，以加快此过程。

将数据放入 GCS 后，我们接下来创建了一个非常简单的文本文件来表示模式，并将其与 Big Query 命令行工具 (bq) 一起使用，在 BigQuery 中设置表格。我们首先使用一小部分数据进行了测试，从 BigQuery Web 控制台 执行了一些查询，以确保在加载整个数据集之前一切正常。

下一阶段是从 GCS 完成传输到新定义的 BigQuery 数据库。由于我们在从亚马逊上的源进行并行上传到 GCS 时遇到了问题，因此我们没有尝试对加载到 BigQuery 的操作使用并行功能。后来我们发现，我们可以这样做，并且可能将 8 小时的传输时间缩短到大约 15 分钟。

上传完所有数据后，我们尝试了一些查询。一开始，这些查询速度非常慢，可能是由于 BigQuery 内部的一些内部分布尚未完成。最初这些查询需要几分钟才能完成，但第二天早上，查询时间缩短到大约 7 到 10 秒，并且在整个练习的剩余时间里，查询时间保持在合理范围内。

使用 BigQuery 和 Google 图表创建大数据 Web 分析

我们决定使用 Google App Engine 为我们的查询创建一个简单的 Web 前端，并嵌入 Google 图表 以实现交互式可视化输出。

我们的网页对我们的应用程序进行 RESTful 调用，该应用程序反过来使用 Java Big Query API（Python 也是一种选择）对数据进行 RESTful 调用以调用查询。然后，结果使用 Google 图表库在客户端呈现。除了交互式图表之外，我们还能够添加一个简单的导出机制，利用了 BigQuery 结果保存到临时表格这一事实，可以通过“作业 ID”访问该表格。这为将查询结果导出到 GCS（因此导出到其他 Google 工具或作为 CSV 文件）提供了一种非常简单快捷的方法。所有这些都通过 OAUTH 进行保护，使我们能够对谁可以查看、访问和使用应用程序调用查询进行细粒度控制。

我们开始研究将我们的 Web 应用程序更改为使用异步机制来调用 BigQuery，但时间不够。也就是说，使用作业 ID 查询中间结果看起来非常简单。如果有机会再次进行，我们将从一开始就采用异步方法。

结论和优势

总的来说，我们对在短时间内使用 BigQuery、API 和实用程序所取得的成果印象深刻。我们能够以相对较低的投资（时间方面）来尝试不同的可视化和查询大量数据的方法，而无需昂贵的基础设施。

对于渴望深入了解海量数据集的组织来说，BigQuery 可能是一个可行的选择，它不需要购买专门的软件或额外的基础设施。即使对于已经拥有企业数据仓库的组织来说，BigQuery 也是测试理论或在数据仓库管理员对使用施加限制的其他情况下的一种选择。

问题和教训

我们在概念验证过程中遇到了其他人可以从中吸取教训的问题。