重新分片集合

关于此任务

• 一次只能重新分片一个集合。

• writeConcernMajorityJournalDefault必须为true。

• 要重新分片具有唯一性约束的集合，新的分片键必须满足任何现有唯一索引的唯一索引要求。

• 以下命令和相应的shell方法在重新分片操作进行时在正在重新分片的集合上不受支持

  • collMod

  • convertToCapped

  • createIndexes

  • createIndex()

  • drop

  • drop()

  • dropIndexes

  • dropIndex()

  • renameCollection

  • renameCollection()

• 以下命令和方法在重新分片操作进行时在集群上不受支持

  • addShard

  • removeShard

  • 创建数据库集合：db.createCollection()

  • 删除数据库：dropDatabase

  警告：

  在重分片操作期间使用上述任何命令会导致重分片操作失败。

• 如果需要重分片的集合使用Atlas Search，则重分片操作完成后搜索索引将不可用。您需要手动重建搜索索引。

• 不能对分片的时间序列集合进行重分片。

在开始之前

在您开始重分片集合之前，请确保满足以下要求

• 您的应用程序可以容忍在受影响的集合阻止写入期间出现 两秒钟 的时间。在此期间，您的应用程序会经历延迟增加。

  如果您的负载无法容忍此要求，请考虑优化您的分片键。

• 您的数据库满足以下资源要求

  • 确保将集合将分布到的每个分片上可用的存储空间至少是您想要重分片的集合及其总索引大小除以分片数量的两倍。

    storage_req = ( ( collection_storage_size + index_size ) * 2 ) / shard_count

    例如，考虑一个包含 2 TB 数据并具有 400 GB 索引分布在四个分片上的集合。要在此集合上执行重分片操作，每个分片就需要 1.2 TB 的可用存储。

    1.2 TB storage = ( ( 2 TB collection + 0.4 TB index ) * 2 ) / 4 shards

    为了满足存储要求，您可能需要在重分片操作期间升级到下一个存储级别。操作完成后，您可以降级。

  • 确保您的 I/O 容量低于 50%。

  • 确保您的 CPU 负载低于 80%。

  重要

  数据库不会强制执行这些要求。无法分配足够的资源可能导致

  • 数据库空间不足并关闭

  • 性能下降

  • 操作时间比预期更长

  如果您的应用程序在交通较少的时间段，请在可能的情况下在此期间对集合执行此操作。

• 您必须重新编写应用程序的查询以使用 当前 分片键和 新 分片键。

  提示：

  如果您的应用程序可以容忍中断，您可以通过以下步骤避免重新编写应用程序的查询以使用当前和新的分片键

  1. 停止您的应用程序。

  2. 将应用程序重写为使用 新 分片键。

  3. 等待重分片完成。要监控重分片过程，请使用 $currentOp 管道阶段。

  4. 部署您重写的应用程序。

  在重分片完成之前，如果查询过滤器不包含当前分片键或唯一字段（如 _id），以下查询将返回错误

  • deleteOne()

  • findAndModify()

  • findOneAndDelete()

  • findOneAndReplace()

  • findOneAndUpdate()

  • replaceOne()

  • updateOne()

  为了最佳性能，我们建议您也将其他查询重写为包含新的分片键。

  一旦重新分片操作完成，您可以从查询中删除旧的分片键。

• 没有索引构建正在进行。使用 db.currentOp() 检查是否有正在进行的索引构建

   db.adminCommand(
      {
        currentOp: true,
        $or: [
          { op: "command", "command.createIndexes": { $exists: true }  },
          { op: "none", "msg" : /^Index Build/ }
        ]
      }
  )

  在结果文档中，如果 inprog 字段的值是一个空数组，则没有正在进行的索引构建

  {
     inprog: [],
     ok: 1,
     '$clusterTime': { ... },
     operationTime: <timestamp>
  }

步骤

在集合重新分片操作中，一个分片可以是一个

• 捐赠者，当前存储分片集合的数据块。

• 接收者，根据分片键和区域存储分片集合的新数据块。

一个分片可以同时是捐赠者和接收者。除非您使用区域，否则捐赠者分片集与接收者分片集相同。

配置服务器主节点始终是重新分片协调器，并启动重新分片操作的每个阶段。

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>
})

db.getSiblingDB("admin").aggregate([
  { $currentOp: { allUsers: true, localOps: false } },
  {
    $match: {
      type: "op",
      "originatingCommand.reshardCollection": "<database>.<collection>"
    }
  }
])

[
  {
    shard: '<shard>',
    type: 'op',
    desc: 'ReshardingRecipientService | ReshardingDonorService | ReshardingCoordinatorService <reshardingUUID>',
    op: 'command',
    ns: '<database>.<collection>',
    originatingCommand: {
      reshardCollection: '<database>.<collection>',
      key: <shardkey>,
      unique: <boolean>,
      collation: { locale: 'simple' }
    },
    totalOperationTimeElapsedSecs: <number>,
    remainingOperationTimeEstimatedSecs: <number>,
    ...
  },
  ...
]

{
  ok: 1,
  '$clusterTime': {
    clusterTime: <timestamp>,
    signature: {
      hash: Binary(Buffer.from("0000000000000000000000000000000000000000", "hex"), 0),
      keyId: <number>
    }
  },
  operationTime: <timestamp>
}

sh.status()

databases
[
  {
     database: {
     _id: '<database>',
     primary: '<shard>',
     version: {
       uuid: <uuid>,
       timestamp: <timestamp>,
       lastMod: <number>
     }
   },
   collections: {
     '<database>.<collection>': {
       shardKey: <shardkey>,
       unique: <boolean>,
       balancing: <boolean>,
       chunks: [],
       tags: []
     }
   }
  }
  ...
]

db.adminCommand({
  commitReshardCollection: "<database>.<collection>"
})

db.adminCommand({
  abortReshardCollection: "<database>.<collection>"
})

行为

错误情况