关于时间序列数据

比较时间序列集合与常规集合

在常规集合中，数据按顺序存储在磁盘上的块中，优化了写入速度。然而，它需要为每个数据点创建一个索引，这会迅速增长得非常大。它还需要第二个索引，其中包含时间序列标识符和自身的时间戳，以便用户可以查询单个序列。为了读取这些数据，MongoDB必须处理包含它的所有数据库和磁盘块，即使一个块只包含一个相关的文档。

此模型优化了CRUD操作和频繁的更新。银行账户余额只需要反映当前状态，因此每个账户持有人的文档会随着信息的更改而更新。

将此与时间序列集合进行比较。时间序列集合按顺序写入数据，这意味着最近的事务可以保留在内存中以便更快地检索。由于它们按顺序写入，因此文档存储在一起，因此不需要在文档不再在内存后读取每个磁盘块。数据按metaField索引，导致索引大小更小。

metaField如何影响桶分区

由于metaField的值必须与分组文档完全匹配，因此时间序列集合中的桶的数量取决于唯一的metaField值的数量。具有细粒度或变化的metaField值的集合会产生许多稀疏填充的、短期存在的桶。这会导致存储和查询效率降低。

例如，在以下文档中，metadata是选择metaField的好选择，因为它使得从给定的气象传感器查询数据变得容易。使用这些字段，MongoDB将单个传感器的读数组合在一起。

{
   timestamp: ISODate("2021-05-18T00:00:00.000Z"),
   metadata: { sensorId: 5578, type: 'temperature' },
   temp: 12,
   _id: ObjectId("62f11bbf1e52f124b84479ad")
}

创建

• MongoDB会在没有适合接收文档的桶时创建一个新的桶。这发生在以下任何一种情况为真时

  • 文档 metaField 与任何活动桶都不匹配。

  • 文档的时间戳超出了所有活动桶的范围。

  • 文档超过了所有活动桶的剩余大小或文档限制。

  新桶的起始时间戳基于集合的 粒度 向下取整。这处理了顺序不正确的文档连续到达的情况。

关闭

MongoDB 在以下任一情况下关闭桶

• 时间向前或向后移动超出了覆盖的时间范围，如由落在桶范围之外的传入文档时间戳所示。这些界限由集合的 粒度 设置确定。

• 桶达到了文档限制（默认1000）。

• 桶超过了其存储大小限制。这发生在

  • 大小超过了允许的最大值（默认125KiB）。

  • 文档数量低于一个最小数量（默认10）且大小低于12MiB。

    这是一个内部限制，当数据由更少、更大的文档组成时，它可以优化性能。

  • 活动桶的集合无法适应允许的存储引擎缓存大小。您可以使用 collStats 数据库命令来查看此信息。

• 桶目录超过了其允许的总内存分配量（默认为可用系统内存的2.5%）

• 冲突操作，如块迁移或更新，改变了桶的磁盘状态。

• mongod 重新启动。这关闭了所有桶。

删除

MongoDB在以下情况下删除一个桶：

• 它的最大允许时间戳小于当前时间减去集合的expireAfterSeconds参数。这相当于TTL集合的生存时间。

• delete或db.collection.deleteMany()命令删除桶中的最后一个文档。