Snowflake Connector for Google Analytics Raw Data 的成本治理¶
使用 Snowflake Connector for Google Analytics Raw Data 需遵守 连接器条款。
本主题提供有关成本治理和为 Snowflake Connector for Google Analytics Raw Data 找到最佳仓库大小的最佳实践。
衡量连接器的成本¶
如果连接器有一个仅用于数据引入和存储的单独账户,并且该账户没有显示其他活动(例如用户使用所引入的数据执行查询),则您可以读取账户级别的总体成本。要了解更多信息,请参阅 探索总体成本。
如果账户不仅仅专用于连接器或者需要进一步调查成本,则应分别分析各个组件的收费成本:
有关成本这三个组成部分的介绍,请参阅 了解总体成本。
一般建议¶
要确定连接器产生的成本,您可以专门为连接器创建一个单独的账户。使用特定账户可以跟踪连接器生成的确切数据传输。
如果您无法为连接器使用单独的账户,请考虑以下选项:
要更轻松地跟踪存储成本,请创建一个单独的数据库来存储引入的数据。
要确定确切的计算成本,请仅为连接器分配仓库。
要构建自定义成本报告,请在数据库和仓库上使用 对象标签。
计算成本¶
我们建议您仅为连接器创建专用仓库。此配置允许您在仓库上创建 资源监视器。您可以使用监视器来发送电子邮件警报并暂停使用仓库,在超出设置的 credit 配额时停止连接器。Credit 配额续订后,连接器会自动恢复。请注意,如果在引入大量数据的配置中将 credit 配额设置得太低,可能会阻止连接器引入所有数据。一个重要好处是仓库大小可以根据数据量进行调整。
有关如何查看仓库消耗的 credit 的信息,请参阅 探索计算成本。您还可以为仓库分配 对象标签,并使用标签创建成本报告。
如果连接器使用的仓库被其他工作流程使用,您可以按角色分摊成本。要按角色拆分用量,请使用 拆分仓库用量查询,并在 QUERY_HISTORY 视图上添加以下 WHERE
子句:
WAREHOUSE_NAME = '<connector warehouse name>' AND
ROLE_NAME = '<role created for the connector to ingest data>'
请注意,角色是安装连接器时创建的名称,例如 SNOWFLAKE_CONNECTOR_FOR_GOOGLE_ANALYTICS_RAW_DATA。
该查询仅提供成本的近似值。
存储成本¶
Snowflake Connector for Google Analytics Raw Data 将数据存储在两个地方:
连接器数据库(通过公共共享创建,并且存储连接器内部状态)
由用户指定存储引入数据的架构
Snowflake 故障安全 功能也使用数据存储。故障安全中存储的数据量取决于连接器执行的表更新。
要使用 Snowsight 检查存储使用情况,可以使用单独的数据库来存储引入的数据。这可让您按对象来筛选存储使用情况图,从而按单个数据库显示使用情况。您也可以通过查询 DATABASE_STORAGE_USAGE_HISTORY 视图,以及按连接器使用的数据库进行筛选,来查看存储使用情况。
如果数据库包含与连接器无关的其他架构,您可以查询专门用于从连接器引入的数据的特定架构的存储空间用量。您可以先按数据库和架构名称筛选,并汇总使用了存储空间的列,再从 TABLE_STORAGE_METRICS 视图获取信息。
数据传输成本¶
Snowflake 仅根据连接器向 Google Analytics Raw Data 发出的请求大小对连接器生成的出口流量收费。来自 Google Analytics Raw Data 的回应不会在 Snowflake 产生成本。
有关数据传输用量的信息仅在账户级别以所有外部功能的汇总形式提供。要访问传输的字节数,请使用 DATA_TRANSFER_HISTORY 视图并按 EXTERNAL_ACCESS 传输类型筛选。
可能会有与 BigQuery 一侧的数据传输相关的额外费用:数据存储 (https://cloud.google.com/bigquery/pricing#storage) + 出口流量 (https://cloud.google.com/bigquery/pricing#data_extraction_pricing)。具体而言,连接器使用所谓的 Streaming 读取(存储读取 API)。
请查看相关文档了解详情。
运行状况检查任务成本¶
连接器会创建一项定期检查实例运行状况的内部无服务器任务,并向 Snowflake 发送用于监控目的的摘要。在完成安装向导,或在工作表中调用 CONFIGURE_CONNECTION
后,将会创建该任务。即使没有为引入启用任何属性,该任务每天也会产生最高 0.5 个 credit 的固定计算成本。
该任务无法显式暂停或删除,但是暂停连接器也会禁用运行状况检查。
确定连接器实例的最佳仓库大小¶
要找到连接器的最佳仓库大小,应考虑影响连接器性能的因素,例如:
Google Analytics 属性数量
每个属性产生的数据量
属性同步计划
我们建议您定义一组可衡量的期望,例如应同步所有表格的时间间隔,并选择满足这些期望的最小仓库大小。要确定是否可以缩小仓库规模,请参阅 监控仓库负载。
对于 Snowflake Connector for Google Analytics Raw Data,我们建议一开始使用 XSMALL 仓库,然后尝试使用更大的仓库,以尽可能提高性能。
此外,在不同的引入阶段,仓库大小要求可能会有很大的差异。例如,考虑以下情况:
在连接器加载历史数据(可能是多年的数据)的初始引入阶段,更大的仓库可能会有所帮助。
正常的每日引入 – 仅加载当前的每日增量数据时,最小的仓库就足够了。
此外,如果为引入启用了大型属性集,则可以考虑使用更大的仓库,以便连接器能够跟上数据流。