google.cloud.gcp_bigquery_table_info 模块 – 收集 GCP 表的信息

注意

此模块是 google.cloud 集合 (版本 1.4.1) 的一部分。

如果您使用的是 ansible 包,则可能已安装此集合。它不包含在 ansible-core 中。要检查是否已安装它,请运行 ansible-galaxy collection list

要安装它,请使用:ansible-galaxy collection install google.cloud。您需要其他要求才能使用此模块,有关详细信息,请参阅 要求

要在 playbook 中使用它,请指定:google.cloud.gcp_bigquery_table_info

注意

由于违反了 Ansible 包含要求,google.cloud 集合将在 Ansible 12 中移除。该集合存在 未解决的完整性测试失败。有关更多信息,请参阅 讨论主题

概要

  • 收集 GCP 表的信息

要求

执行此模块的主机需要以下要求。

  • python >= 2.6

  • requests >= 2.18.4

  • google-auth >= 1.3.0

参数

参数

注释

access_token

字符串

如果凭据类型为 accesstoken,则为 OAuth2 访问令牌。

auth_kind

字符串 / 必需

使用的凭据类型。

选项

  • "application"

  • "machineaccount"

  • "serviceaccount"

  • "accesstoken"

dataset

字符串

数据集的名称。

env_type

字符串

指定您在哪个 Ansible 环境中运行此模块。

除非您知道自己在做什么,否则不应设置此项。

这只会更改任何 API 请求的用户代理字符串。

project

字符串

要使用的 Google Cloud Platform 项目。

scopes

列表 / 元素=字符串

要使用的作用域数组

service_account_contents

jsonarg

服务帐户 JSON 文件的内容,可以是字典或表示它的 JSON 字符串。

service_account_email

字符串

如果选择 machineaccount 并且用户不希望使用默认电子邮件,则为可选的服务帐户电子邮件地址。

service_account_file

路径

如果选择 serviceaccount 作为类型,则为服务帐户 JSON 文件的路径。

注释

注意

  • 对于身份验证,您可以使用 GCP_SERVICE_ACCOUNT_FILE 环境变量设置 service_account_file。

  • 对于身份验证,您可以使用 GCP_SERVICE_ACCOUNT_CONTENTS 环境变量设置 service_account_contents。

  • 对于身份验证,您可以使用 GCP_SERVICE_ACCOUNT_EMAIL 环境变量设置 service_account_email。

  • 对于身份验证,您可以使用 GCP_ACCESS_TOKEN 环境变量设置 access_token。

  • 对于身份验证,您可以使用 GCP_AUTH_KIND 环境变量设置 auth_kind。

  • 对于身份验证,您可以使用 GCP_SCOPES 环境变量设置 scopes。

  • 只有在未设置 playbook 值时,才会使用环境变量值。

  • service_account_emailservice_account_file 选项是互斥的。

示例

- name: get info on a table
  gcp_bigquery_table_info:
    dataset: example_dataset
    project: test_project
    auth_kind: serviceaccount
    service_account_file: "/tmp/auth.pem"

返回值

常见的返回值已在 此处 记录,以下是此模块特有的字段

描述

resources

复杂类型

资源列表

返回值: 始终

clustering

列表 / 元素=字符串

应该在其上对数据进行聚类的字段。仅支持顶级、非重复的简单类型字段。当您使用多个列对表进行聚类时,您指定的列的顺序很重要。指定的列的顺序决定数据的排序顺序。

返回值: 成功

creationTime

整数

此数据集创建的时间,以自纪元以来的毫秒数表示。

返回值: 成功

dataset

字符串

数据集的名称。

返回值: 成功

description

字符串

数据集的用户友好型描述。

返回值: 成功

encryptionConfiguration

复杂类型

自定义加密配置。

返回值: 成功

kmsKeyName

字符串

描述将用于保护目标 BigQuery 表的 Cloud KMS 加密密钥。与您的项目关联的 BigQuery 服务帐户需要访问此加密密钥。

返回值: 成功

expirationTime

整数

此表过期的时间,以自纪元以来的毫秒数表示。如果不存在,表将无限期保留。

返回值: 成功

externalDataConfiguration

复杂类型

描述存储在 BigQuery 之外的表的數據格式、位置和其他屬性。通過定義這些屬性,可以像查詢標準 BigQuery 表一樣查詢數據源。

返回值: 成功

自动检测

布尔值

尝试自动检测模式和格式选项。任何显式指定的选项都将被遵守。

返回值: 成功

bigtableOptions

复杂类型

如果 sourceFormat 设置为 BIGTABLE,则为附加选项。

返回值: 成功

columnFamilies

复杂类型

要公开在表模式中以及它们的类型的列族列表。

返回值: 成功

columns

复杂类型

应公开为单个字段(而不是 (列名,值) 对列表)的列列表。

返回值: 成功

encoding

字符串

当类型不是 STRING 时,值的编码。

返回值: 成功

fieldName

字符串

如果限定符不是有效的 BigQuery 字段标识符,则必须提供有效的标识符作为列字段名称,并在查询中用作字段名称。

返回值: 成功

onlyReadLatest

布尔值

如果设置此项,则仅公开此列中值的最新版本。

返回值: 成功

qualifierString

字符串

列的限定符。

返回值: 成功

type

字符串

将此列单元格中的值转换为的类型。

返回值: 成功

encoding

字符串

当类型不是 STRING 时,值的编码。

返回值: 成功

familyId

字符串

列族的标识符。

返回值: 成功

onlyReadLatest

布尔值

如果设置此项,则仅公开此列族中所有列的值的最新版本。

返回值: 成功

type

字符串

将此列族单元格中的值转换为的类型。

返回值: 成功

ignoreUnspecifiedColumnFamilies

布尔值

如果字段为 true,则 columnFamilies 列表中未指定的列族不会在表模式中公开。

返回值: 成功

readRowkeyAsString

布尔值

如果字段为 true,则读取行键列族并将其转换为字符串。

返回值: 成功

compression

字符串

数据源的压缩类型。

返回值: 成功

csvOptions

复杂类型

如果 sourceFormat 设置为 CSV,则为附加属性。

返回值: 成功

allowJaggedRows

布尔值

指示 BigQuery 是否应接受缺少尾随可选列的行。

返回值: 成功

allowQuotedNewlines

布尔值

指示 BigQuery 是否应允许包含 CSV 文件中换行符的带引号的数据部分。

返回值: 成功

encoding

字符串

数据的字符编码。

返回值: 成功

fieldDelimiter

字符串

CSV 文件中字段的分隔符。

返回值: 成功

quote

字符串

用于在 CSV 文件中引用数据部分的值。

返回值: 成功

skipLeadingRows

整数

BigQuery 读取数据时将跳过的 CSV 文件顶部的行数。

返回值: 成功

googleSheetsOptions

复杂类型

如果 sourceFormat 设置为 GOOGLE_SHEETS,则为附加选项。

返回值: 成功

skipLeadingRows

整数

BigQuery 读取数据时将跳过的 Google 表格顶部的行数。

返回值: 成功

ignoreUnknownValues

布尔值

指示 BigQuery 是否应允许表模式中未表示的额外值。

返回值: 成功

maxBadRecords

整数

BigQuery 读取数据时可以忽略的错误记录的最大数量。

返回值: 成功

schema

复杂类型

数据的模式。CSV 和 JSON 格式需要模式。

返回值: 成功

fields

复杂类型

描述表中的字段。

返回值: 成功

description

字符串

字段描述。

返回值: 成功

fields

列表 / 元素=字符串

如果 type 属性设置为 RECORD,则描述嵌套模式字段。

返回值: 成功

mode

字符串

字段模式。

返回值: 成功

name

字符串

字段名称。

返回值: 成功

type

字符串

字段数据类型。

返回值: 成功

sourceFormat

字符串

数据格式。

返回值: 成功

sourceUris

列表 / 元素=字符串

指向 Google Cloud 中数据的完全限定 URI。

对于 Google Cloud Storage URI:每个 URI 可以包含一个“*”通配符字符,并且它必须出现在“bucket”名称之后。与加载作业相关的尺寸限制适用于外部数据源。对于 Google Cloud Bigtable URI:只能指定一个 URI,并且它必须是 Google Cloud Bigtable 表的完全指定且有效的 HTTPS URL。对于 Google Cloud Datastore 备份,只能指定一个 URI。“*”通配符字符不允许使用。

返回值: 成功

friendlyName

字符串

此表的描述性名称。

返回值: 成功

id

字符串

唯一标识表的唯一 ID。

返回值: 成功

labels

字典

与此数据集关联的标签。您可以使用这些标签来组织和分组您的数据集。

返回值: 成功

lastModifiedTime

整数

上次修改此表的时间(自纪元以来的毫秒数)。

返回值: 成功

location

字符串

表所在的地理位置。此值继承自数据集。

返回值: 成功

name

字符串

表的名称。

返回值: 成功

numBytes

整数

此表的大小(以字节为单位),不包括流缓冲区中的任何数据。

返回值: 成功

numLongTermBytes

整数

表中被认为是“长期存储”的字节数。

返回值: 成功

numRows

整数

此表中的数据行数,不包括流缓冲区中的任何数据。

返回值: 成功

requirePartitionFilter

布尔值

如果设置为 true,则此表的查询需要可以用于分区消除的分区过滤器。

返回值: 成功

schema

复杂类型

描述此表的模式。

返回值: 成功

fields

复杂类型

描述表中的字段。

返回值: 成功

description

字符串

字段描述。最大长度为 1,024 个字符。

返回值: 成功

fields

列表 / 元素=字符串

如果 type 属性设置为 RECORD,则描述嵌套模式字段。

返回值: 成功

mode

字符串

字段模式。

返回值: 成功

name

字符串

字段名称。

返回值: 成功

type

字符串

字段数据类型。

返回值: 成功

streamingBuffer

复杂类型

包含有关此表的流缓冲区的信息(如果存在)。如果未向表中流式传输数据或流缓冲区中没有数据,则此字段将不存在。

返回值: 成功

estimatedBytes

整数

当前流缓冲区中字节数的下限估计值。

返回值: 成功

estimatedRows

整数

当前流缓冲区中行数的下限估计值。

返回值: 成功

oldestEntryTime

整数

如果流缓冲区可用,则包含流缓冲区中最旧条目的时间戳(自纪元以来的毫秒数)。

返回值: 成功

tableReference

复杂类型

描述此表 ID 的引用。

返回值: 成功

datasetId

字符串

包含此表的数据集的 ID。

返回值: 成功

projectId

字符串

包含此表的项目的 ID。

返回值: 成功

tableId

字符串

表的 ID。

返回值: 成功

timePartitioning

复杂类型

如果指定,则配置此表的基于时间的分区。

返回值: 成功

expirationMs

整数

保留分区存储的毫秒数。

返回值: 成功

field

字符串

如果未设置,则表将按伪列进行分区,通过“_PARTITIONTIME”(作为 TIMESTAMP 类型)或“_PARTITIONDATE”(作为 DATE 类型)进行引用。如果指定了字段,则表将按此字段进行分区。该字段必须是顶级 TIMESTAMP 或 DATE 字段。其模式必须为 NULLABLE 或 REQUIRED。

返回值: 成功

type

字符串

唯一支持的类型是 DAY,它将每天生成一个分区。

返回值: 成功

type

字符串

描述表类型。

返回值: 成功

view

复杂类型

视图定义。

返回值: 成功

useLegacySql

布尔值

指定是否为此视图使用 BigQuery 的旧版 SQL。

返回值: 成功

userDefinedFunctionResources

复杂类型

描述查询中使用的用户定义函数资源。

返回值: 成功

inlineCode

字符串

包含用户定义函数 (UDF) 代码的内联资源。提供内联代码资源等同于提供包含相同代码的文件的 URI。

返回值: 成功

resourceUri

字符串

要从 Google Cloud Storage URI (gs://bucket/path) 加载的代码资源。

返回值: 成功

作者

  • Google Inc. (@googlecloudplatform)