AWS PrivateLink 和 Snowflake Open Catalog¶

先决条件¶

• 您的 Snowflake Open Catalog 账户托管在 AWS 上。

• 您拥有必要的权限，可以通过 Open Catalog 账户的专用连接 URL 来配置您的 AWS DNS 服务。有关指导，请参阅 Snowflake 社区中的 如何将 AWS DNS 服务 (Route 53) 配置为通过 PrivateLink 访问 Snowflake (https://community.snowflake.com/s/article/How-to-configure-the-AWS-DNS-service-Route-53-to-access-Snowflake-via-a-PrivateLink)。

第 1 步：启用 AWS PrivateLink。¶

在此过程中，您可以为 Open Catalog 账户启用 AWS PrivateLink。此配置允许查询引擎通过专用连接连接到 Open Catalog。您将需要 Amazon Web Services (AWS) 账户的 12 位数标识符和包含联合用户访问凭据的联合令牌值。

1. 要获取联合令牌值，请使用 AWS CLI 执行以下命令并将该值复制到文本编辑器中：

   aws sts get-federation-token --name sam
   

   Copy

2. 登录 Snowflake Open Catalog。

3. 在导航菜单中，选择 Settings。

4. 选择 *Authorize。

5. 在 Authorize Private Link 对话框中，为账户启用专用连接：

   1. 在 ID 字段中，输入 Amazon Web Services (AWS) 账户的 12 位数标识符。

   2. 对于 Federated token，输入您复制到文本编辑器的联合令牌值。

   3. 选择 Save。

第 2 步：验证账户是否已获得授权¶

要验证 Open Catalog 账户是否已获得与 Snowflake Open Catalog 服务的专用连接的授权，请按照以下步骤操作：

1. 登录 Snowflake Open Catalog。

2. 在导航菜单中，选择 Settings。

3. 选择 Get。

4. 在“Get Private Link”授权对话框中，验证您的账户：

   1. 在 ID 字段中，输入 Amazon Web Services (AWS) 账户的 12 位数标识符。

   2. 在 Federated token 字段中，输入联合令牌值。您在 启用 AWS PrivateLink 时检索了此值。

   3. 选择 Save。系统将显示一条消息，说明您的账户是否已获得授权。

第 3 步：检索 Open Catalog 账户设置¶

检索这些设置，您稍后需要这些设置来创建和配置 VPC 端点和 VPC 网络。

1. 登录 Snowflake Open Catalog。

2. 在导航菜单中，选择 Settings。

3. 在“Settings”页面上，将以下设置的值复制到文本编辑器中：

   • PrivateLink 账户 URL

   • 无区域 PrivateLink 账户 URL

   • PrivateLink OCSP URL

   • 无区域 PrivateLink OCSP URL

   • VPCE 服务 ID

在 创建和配置 VPC 端点 (VPCE)、配置 VPC 网络 和 通过 AWS PrivateLink 连接到 Open Catalog 时，可以粘贴这些值。

有关每项设置的描述，请参阅 Snowflake 文档中的 SYSTEM$GET_PRIVATELINK_CONFIG 系统函数的返回值。在本主题中，账户设置的名称采用 JSON 格式。

第 4 步：创建和配置 VPC 端点¶

在此过程中，您在 AWS VPC 环境中创建和配置相应的 VPC 端点 (VPCE)。

有关说明，请参阅 Snowflake 文档中的 创建和配置 VPC 端点 (VPCE)，从第 2 步开始。

第 5 步：配置 VPC 网络¶

要配置 VPC 网络，请在 DNS 服务中创建 CNAME 记录，以将相应的端点值从 专用连接的 Open Catalog 账户设置 解析为 VPC 端点的 DNS 名称。

有关说明，请参阅 Snowflake 文档中的 配置 VPC 网络。请记住，这些说明适用于 Snowflake，因此其中提到的某些功能不适用于 Open Catalog。例如，regionless-snowsight-privatelink-url 适用于 Snowsight，Open Catalog 不支持该功能。

如需 DNS 配置方面的其他帮助，请与内部 AWS 管理员联系。

第 6 步：通过 AWS PrivateLink 连接到 Open Catalog¶

• 要注册服务连接并将查询引擎通过 AWS PrivateLink 连接到 Snowflake Open Catalog，请使用以下代码：

  import pyspark
  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.appName('iceberg_lab') \
    .config('spark.jars.packages', 'org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.4.1,<maven_coordinate>') \
    .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
    .config('spark.sql.defaultCatalog', 'opencatalog') \
    .config('spark.sql.catalog.opencatalog', 'org.apache.iceberg.spark.SparkCatalog') \
    .config('spark.sql.catalog.opencatalog.type', 'rest') \
    .config('spark.sql.catalog.opencatalog.uri','https://<open_catalog_privatelink_account_url>/polaris/api/catalog') \
    .config('spark.sql.catalog.opencatalog.header.X-Iceberg-Access-Delegation','vended-credentials') \
    .config('spark.sql.catalog.opencatalog.credential','<client_id>:<client_secret>') \
    .config('spark.sql.catalog.opencatalog.warehouse','<catalog_name>') \
    .config('spark.sql.catalog.opencatalog.scope','PRINCIPAL_ROLE:<principal_role_name>') \
    .getOrCreate()
  

  Copy

第 7 步（可选）：为 Snowflake 创建目录集成¶

如果您使用 Snowflake 查询 Open Catalog 管理的表，请使用专用 IP 地址为 Snowflake 创建目录。要创建此目录集成，Snowflake 账户必须与 Open Catalog 账户处于相同的部署状态。

有关示例，请参阅 Snowflake 文档中的 示例：使用专用 IP 地址的目录集成 <https://docs.snowflake.com/en/user-guide/tables-iceberg-open-catalog-query#example-catalog-integration-that-uses-a-private-ip-address>_。