community.aws.s3_sync 模块 – 高效地将多个文件上传到 S3

注意

此模块是 community.aws 集合（版本 9.0.0）的一部分。

如果您正在使用 ansible 包，您可能已经安装了此集合。它不包含在 ansible-core 中。要检查它是否已安装，请运行 ansible-galaxy collection list。

要安装它，请使用：ansible-galaxy collection install community.aws。您需要进一步的要求才能使用此模块，有关详细信息，请参阅 要求。

要在 playbook 中使用它，请指定：community.aws.s3_sync。

community.aws 1.0.0 中的新增功能

概要

• S3 模块很棒，但是对于大量文件来说速度非常慢 - 即使是十几个文件也会很明显。除了速度之外，它还处理 globbing、包含/排除、MIME 类型、过期映射、递归、缓存控制和智能目录映射。

要求

执行此模块的主机需要以下要求。

• python >= 3.6

• boto3 >= 1.28.0

• botocore >= 1.31.0

参数

参数	注释
access_key 别名：aws_access_key_id、aws_access_key、ec2_access_key 字符串	AWS 访问密钥 ID。 有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。 也可以按优先级递减的顺序使用 AWS_ACCESS_KEY_ID、AWS_ACCESS_KEY 或 EC2_ACCESS_KEY 环境变量。 aws_access_key 和 profile 选项是互斥的。 为了与 AWS botocore SDK 保持一致，在 5.1.0 版本中添加了 aws_access_key_id 别名。 ec2_access_key 别名已被弃用，将在 2024-12-01 之后的版本中删除。 对 EC2_ACCESS_KEY 环境变量的支持已被弃用，将在 2024-12-01 之后的版本中删除。
aws_ca_bundle 路径	验证 SSL 证书时使用的 CA 捆绑包的位置。 也可以使用 AWS_CA_BUNDLE 环境变量。
aws_config 字典	用于修改 botocore 配置的字典。 可以在 AWS 文档中找到参数 https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config。
bucket 字符串 / 必需	存储桶名称。
cache_control 字符串	在上传的对象上设置的 Cache-Control 标头。 指令用逗号分隔。 默认值： ""
debug_botocore_endpoint_logs 布尔值	使用 botocore.endpoint 记录器来解析任务期间进行的唯一（而不是总计）"resource:action" API 调用，将集合输出到任务结果中的 resource_actions 键。使用 aws_resource_action 回调输出到 playbook 期间制作的总列表。 也可以使用 ANSIBLE_DEBUG_BOTOCORE_LOGS 环境变量。 选项 false ←（默认） true
delete 布尔值	删除存储桶中存在但文件根目录中不存在的远程文件。 选项 false ←（默认） true
endpoint_url 别名：ec2_url、aws_endpoint_url、s3_url 字符串	连接到而不是默认 AWS 端点的 URL。虽然这可以用于连接到其他与 AWS 兼容的服务，但 amazon.aws 和 community.aws 集合仅针对 AWS 进行测试。 也可以按优先级递减的顺序使用 AWS_URL 或 EC2_URL 环境变量。 ec2_url 和 s3_url 别名已被弃用，将在 2024-12-01 之后的版本中移除。 对 EC2_URL 环境变量的支持已被弃用，将在 2024-12-01 之后的版本中移除。
exclude 字符串	Shell 模式样式的文件匹配。 在 include 之后使用，用于删除文件（例如，跳过 "*.txt"） 对于多个模式，请用逗号分隔。 默认值: ".*"
file_change_strategy 字符串	用于确定只同步更改的差异确定方法。与 rsync 不同，文件不会被修补，它们会被完全跳过或完全上传。 date_size 如果文件大小不匹配或本地文件修改日期比 s3 版本更新，则会上传 checksum 将根据 s3 对分块 md5 的实现比较 etag 值。 force 将始终上传所有文件。 选项 "force" "checksum" "date_size" ← (默认)
file_root 路径 / 必需	用于同步的文件/目录路径。这是一个本地路径。 此根路径将从键名中删除，因此子目录将保留为键。
include 字符串	Shell 模式样式的文件匹配。 在 exclude 之前使用，用于确定符合条件的文件（例如，仅 "*.gif"） 对于多个模式，请用逗号分隔。 默认值: "*"
key_prefix 字符串	除了文件路径外，还使用此前缀预先设置 s3 路径。如果需要，模块将在前缀末尾添加斜杠。 默认值： ""
mime_map 字典	从扩展名到 MIME 类型的字典条目。这将覆盖任何默认/嗅探到的 MIME 类型。例如 {".txt": "application/text", ".yml": "application/text"}
mode 字符串	同步方向。 选项 "push" ← (默认)
permission 字符串	应用于同步文件的预定义 ACL。 更改此 ACL 只会更改新同步的文件，不会触发完整重新上传。 选项 "private" "public-read" "public-read-write" "authenticated-read" "aws-exec-read" "bucket-owner-read" "bucket-owner-full-control"
profile 别名: aws_profile 字符串	用于身份验证的命名 AWS 配置文件。 有关命名配置文件的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html。 也可以使用 AWS_PROFILE 环境变量。 profile 选项与 aws_access_key、aws_secret_key 和 security_token 选项互斥。
region 别名: aws_region, ec2_region 字符串	要使用的 AWS 区域。 对于 IAM、Route53 和 CloudFront 等全局服务，region 将被忽略。 也可以使用 AWS_REGION 或 EC2_REGION 环境变量。 有关更多信息，请参阅 Amazon AWS 文档 http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region。 ec2_region 别名已被弃用，将在 2024-12-01 之后的版本中移除 对 EC2_REGION 环境变量的支持已被弃用，将在 2024-12-01 之后的版本中移除。
secret_key 别名: aws_secret_access_key, aws_secret_key, ec2_secret_key 字符串	AWS secret access key。 有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。 也可以按优先级递减的顺序使用 AWS_SECRET_ACCESS_KEY、AWS_SECRET_KEY 或 EC2_SECRET_KEY 环境变量。 secret_key 和 profile 选项互斥。 为了与 AWS botocore SDK 保持一致，在 5.1.0 版本中添加了 aws_secret_access_key 别名。 ec2_secret_key 别名已被弃用，将在 2024-12-01 之后的版本中移除。 对 EC2_SECRET_KEY 环境变量的支持已被弃用，将在 2024-12-01 之后的版本中移除。
session_token 别名: aws_session_token, security_token, aws_security_token, access_token 字符串	用于临时凭证的 AWS STS 会话令牌。 有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。 也可以按优先级递减的顺序使用 AWS_SESSION_TOKEN、AWS_SECURITY_TOKEN 或 EC2_SECURITY_TOKEN 环境变量。 security_token 和 profile 选项互斥。 在 3.2.0 版本中添加了别名 aws_session_token 和 session_token，在 6.0.0 版本中将参数名称从 security_token 重命名为 session_token。 security_token、aws_security_token 和 access_token 别名已被弃用，将在 2024-12-01 之后的版本中移除。 对 EC2_SECRET_KEY 和 AWS_SECURITY_TOKEN 环境变量的支持已被弃用，将在 2024-12-01 之后的版本中移除。
storage_class 字符串 在 community.aws 1.5.0 中添加	要与添加到 S3 存储桶的每个对象关联的存储类。 选项 "STANDARD" ← (默认) "REDUCED_REDUNDANCY" "STANDARD_IA" "ONEZONE_IA" "INTELLIGENT_TIERING" "GLACIER" "DEEP_ARCHIVE" "OUTPOSTS"
validate_certs 布尔值	设置为 false 时，将不会验证与 AWS API 通信的 SSL 证书。 强烈建议不要设置 validate_certs=false，作为替代方法，请考虑设置 aws_ca_bundle。 选项 false true ← (默认)

备注

注意

• 注意： 对于模块，环境变量和配置文件是从 Ansible “host” 上下文读取，而不是从 “controller” 上下文读取。因此，可能需要将文件显式复制到“host”。对于查找和连接插件，环境变量和配置文件是从 Ansible “controller” 上下文读取，而不是从“host” 上下文读取。

• Ansible 使用的 AWS SDK (boto3) 也可能会从 Ansible “host” 上下文中的配置文件 (通常是 ~/.aws/credentials) 中读取凭据和其他设置（如区域）的默认值。有关更多信息，请参阅 https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html。

示例

- name: basic upload
  community.aws.s3_sync:
    bucket: tedder
    file_root: roles/s3/files/

- name: basic upload using the glacier storage class
  community.aws.s3_sync:
    bucket: tedder
    file_root: roles/s3/files/
    storage_class: GLACIER

- name: basic individual file upload
  community.aws.s3_sync:
    bucket: tedder
    file_root: roles/s3/files/file_name

- name: all the options
  community.aws.s3_sync:
    bucket: tedder
    file_root: roles/s3/files
    mime_map:
      .yml: application/text
      .json: application/text
    key_prefix: config_files/web
    file_change_strategy: force
    permission: public-read
    cache_control: "public, max-age=31536000"
    storage_class: "GLACIER"
    include: "*"
    exclude: "*.txt,.*"

返回值

通用返回值记录在 此处，以下是此模块独有的字段

Key	描述
filelist_actionable 列表 / 元素=字符串	经过策略决策后将要上传的文件列表 (字典) 返回值: 始终 示例: [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "mime_type": "application/json", "modified_epoch": 1477931256, "s3_path": "s3sync/policy.json", "whysize": "151 / 151", "whytime": "1477931256 / 1477929260"}]
filelist_initial 列表 / 元素=字符串	来自初始 globbing 的文件列表 (字典) 返回值: 始终 示例: [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "modified_epoch": 1477416706}]
filelist_local_etag 列表 / 元素=字符串	包含计算出的本地 etag 的文件列表 (字典) 返回值: 始终 示例: [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "mime_type": "application/json", "modified_epoch": 1477416706, "s3_path": "s3sync/policy.json"}]
filelist_s3 列表 / 元素=字符串	包含有关先前上传版本的信息的文件列表 (字典) 返回值: 始终 示例: [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "mime_type": "application/json", "modified_epoch": 1477416706, "s3_path": "s3sync/policy.json"}]
filelist_typed 列表 / 元素=字符串	包含计算出的或覆盖的 mime 类型的文件列表 (字典) 返回值: 始终 示例: [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "mime_type": "application/json", "modified_epoch": 1477416706}]
uploads 列表 / 元素=字符串	实际上传的文件列表 (字典) 返回值: 始终 示例： [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "s3_path": "s3sync/policy.json", "whysize": "151 / 151", "whytime": "1477931637 / 1477931489"}]

作者

• Ted Timmons (@tedder)

集合链接

• 问题跟踪器
• 仓库（源代码）
• 通信