community.aws.data_pipeline 模块 – 创建和管理 AWS Datapipelines

注意

此模块是 community.aws 集合（版本 9.0.0）的一部分。

如果您使用的是 ansible 包，您可能已经安装了此集合。它不包含在 ansible-core 中。要检查是否已安装，请运行 ansible-galaxy collection list。

要安装它，请使用：ansible-galaxy collection install community.aws。您需要进一步的要求才能使用此模块，请参阅 要求 了解详细信息。

要在 playbook 中使用它，请指定：community.aws.data_pipeline。

community.aws 1.0.0 中的新功能

概要

• 创建和管理 AWS Datapipelines。创建在 AWS 中不是幂等的，因此 uniqueId 是通过哈希处理提供给 datapipeline 的选项（减去对象）来创建的。

• 管道定义必须采用此处给出的格式 https://docs.aws.amazon.com/datapipeline/latest/APIReference/API_PutPipelineDefinition.html#API_PutPipelineDefinition_RequestSyntax。

• 操作将等待可配置的时间量，以确保管道处于请求的状态。

要求

在执行此模块的主机上需要以下要求。

• python >= 3.6

• boto3 >= 1.28.0

• botocore >= 1.31.0

参数

参数	注释
access_key 别名: aws_access_key_id, aws_access_key, ec2_access_key 字符串	AWS 访问密钥 ID。 有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。 也可以使用 AWS_ACCESS_KEY_ID、AWS_ACCESS_KEY 或 EC2_ACCESS_KEY 环境变量，优先级递减。 aws_access_key 和 profile 选项是互斥的。 为了与 AWS botocore SDK 保持一致，在 5.1.0 版本中添加了 aws_access_key_id 别名。 ec2_access_key 别名已弃用，将在 2024-12-01 之后的版本中删除。 对 EC2_ACCESS_KEY 环境变量的支持已弃用，将在 2024-12-01 之后的版本中删除。
aws_ca_bundle 路径	验证 SSL 证书时要使用的 CA 包的位置。 也可以使用 AWS_CA_BUNDLE 环境变量。
aws_config 字典	用于修改 botocore 配置的字典。 参数可以在 AWS 文档中找到 https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config。
debug_botocore_endpoint_logs 布尔值	使用 botocore.endpoint 记录器来解析在任务期间执行的唯一（而不是总计）"resource:action" API 调用，并将集合输出到任务结果中的 resource_actions 键。使用 aws_resource_action 回调输出到 playbook 期间生成的总列表。 也可以使用 ANSIBLE_DEBUG_BOTOCORE_LOGS 环境变量。 选项 false ← (默认) true
description 字符串	为正在创建的管道提供的可选描述。 默认值: ""
endpoint_url 别名: ec2_url, aws_endpoint_url, s3_url 字符串	要连接到的 URL，而不是默认的 AWS 端点。虽然这可以用于连接到其他与 AWS 兼容的服务，但 amazon.aws 和 community.aws 集合仅针对 AWS 进行了测试。 也可以使用 AWS_URL 或 EC2_URL 环境变量，优先级递减。 ec2_url 和 s3_url 别名已弃用，将在 2024-12-01 之后的版本中移除。 对 EC2_URL 环境变量的支持已弃用，将在 2024-12-01 之后的版本中移除。
name string / required	要创建/修改/删除的 Datapipeline 的名称。
objects list / elements=dictionary	管道对象定义的列表，其中每个定义都是一个字典，包含键 id、name 和 fields。 默认值: []
fields list / elements=dictionary	定义对象属性的键值对。 该值指定为对另一个对象的引用 refValue 或字符串值 stringValue，但不能同时指定两者。
key 字符串	字段标识符。
refValue 字符串	字段值，表示为另一个对象的标识符。 stringValue 和 refValue 中必须指定一个，且只能指定一个。
stringValue 字符串	字段值。 stringValue 和 refValue 中必须指定一个，且只能指定一个。
id 字符串	对象的 ID。
name 字符串	对象的名称。
parameters list / elements=dictionary	管道定义中参数对象（字典）的列表。 默认值: []
attributes list / elements=dictionary	参数对象的属性（字典）列表。
key 字符串	字段标识符。
stringValue 字符串	字段值。
id 字符串	参数对象的 ID。
profile 别名：aws_profile 字符串	用于身份验证的命名 AWS 配置文件。 有关命名配置文件的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html。 也可以使用 AWS_PROFILE 环境变量。 profile 选项与 aws_access_key、aws_secret_key 和 security_token 选项互斥。
region 别名：aws_region, ec2_region 字符串	要使用的 AWS 区域。 对于 IAM、Route53 和 CloudFront 等全局服务，将忽略 region。 也可以使用 AWS_REGION 或 EC2_REGION 环境变量。 有关更多信息，请参阅 Amazon AWS 文档 http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region。 ec2_region 别名已弃用，将在 2024-12-01 之后的版本中移除 对 EC2_REGION 环境变量的支持已弃用，将在 2024-12-01 之后的版本中移除。
secret_key 别名：aws_secret_access_key, aws_secret_key, ec2_secret_key 字符串	AWS secret access key。 有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。 也可以使用 AWS_SECRET_ACCESS_KEY、AWS_SECRET_KEY 或 EC2_SECRET_KEY 环境变量，优先级依次降低。 secret_key 和 profile 选项互斥。 为了与 AWS botocore SDK 保持一致，在 5.1.0 版本中添加了 aws_secret_access_key 别名。 ec2_secret_key 别名已弃用，将在 2024-12-01 之后的版本中移除。 对 EC2_SECRET_KEY 环境变量的支持已弃用，将在 2024-12-01 之后的版本中移除。
session_token 别名：aws_session_token, security_token, aws_security_token, access_token 字符串	用于临时凭证的 AWS STS 会话令牌。 有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。 也可以使用 AWS_SESSION_TOKEN、AWS_SECURITY_TOKEN 或 EC2_SECURITY_TOKEN 环境变量，优先级依次降低。 security_token 和 profile 选项互斥。 在 3.2.0 版本中添加了别名 aws_session_token 和 session_token，在 6.0.0 版本中将参数从 security_token 重命名为 session_token。 security_token、aws_security_token 和 access_token 别名已弃用，将在 2024-12-01 之后的版本中移除。 对 EC2_SECRET_KEY 和 AWS_SECURITY_TOKEN 环境变量的支持已弃用，将在 2024-12-01 之后的版本中移除。
state 字符串	管道的请求状态。 选项 "present" ← (默认) "absent" "active" "inactive"
tags 别名：resource_tags 字典	要添加到管道的键值对字典。 默认值: {}
timeout integer	等待管道转换为请求状态的超时时间（秒），否则操作将失败。 默认值: 300
validate_certs 布尔值	设置为 false 时，与 AWS API 通信时将不验证 SSL 证书。 强烈建议不要设置 validate_certs=false，作为替代方案，请考虑设置 aws_ca_bundle。 选项 false true ← (默认)
values list / elements=dictionary	管道定义中参数值（字典）的列表。 默认值: []
id 字符串	参数值的 ID
stringValue 字符串	字段值

说明

注意

• 注意： 对于模块，环境变量和配置文件是从 Ansible“主机”上下文而不是“控制器”上下文中读取的。 因此，可能需要将文件显式复制到“主机”。 对于查找和连接插件，环境变量和配置文件是从 Ansible“控制器”上下文而不是“主机”上下文中读取的。

• Ansible 使用的 AWS SDK (boto3) 也可能会从其在 Ansible“主机”上下文中的配置文件（通常是 ~/.aws/credentials）读取凭证和其他设置（如区域）的默认值。 有关更多信息，请参阅 https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html。

示例

# Note: These examples do not set authentication details, see the AWS Guide for details.

# Create pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    objects: "{{pipelineObjects}}"
    parameters: "{{pipelineParameters}}"
    values: "{{pipelineValues}}"
    tags:
      key1: val1
      key2: val2
    state: present

# Example populating and activating a pipeline that demonstrates two ways of providing pipeline objects
- community.aws.data_pipeline:
  name: test-dp
  objects:
    - id: "DefaultSchedule"
      name: "Every 1 day"
      fields:
        - "key": "period"
          "stringValue": "1 days"
        - "key": "type"
          "stringValue": "Schedule"
        - "key": "startAt"
          "stringValue": "FIRST_ACTIVATION_DATE_TIME"
    - id: "Default"
      name: "Default"
      fields:
        - "key": "resourceRole"
          "stringValue": "my_resource_role"
        - "key": "role"
          "stringValue": "DataPipelineDefaultRole"
        - "key": "pipelineLogUri"
          "stringValue": "s3://my_s3_log.txt"
        - "key": "scheduleType"
          "stringValue": "cron"
        - "key": "schedule"
          "refValue": "DefaultSchedule"
        - "key": "failureAndRerunMode"
          "stringValue": "CASCADE"
  state: active

# Activate pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    state: active

# Delete pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    state: absent

返回值

通用返回值记录在此处，以下是此模块独有的字段

Key	描述
changed 布尔值	数据管道是否已被修改 返回值： 始终 示例： {"changed": true}
result 字典	包含数据管道数据 (data_pipeline) 和返回消息 (msg)。如果数据管道存在，则 data_pipeline 将包含键 description、name、pipeline_id、state、tags 和 unique_id。如果数据管道不存在，则 data_pipeline 将是一个空字典。msg 描述操作的状态。 返回值： 始终

作者

• Raghu Udiyar (@raags)

• Sloane Hertel (@s-hertel)

合集链接

• 问题跟踪器
• 存储库（源代码）
• 沟通