存储大文件

概述

在本指南中，您将学习如何使用GridFS在MongoDB中存储和检索大文件。GridFS是由C++驱动程序实现的一个规范，它描述了在存储文件时如何将其分割成块，以及在检索文件时如何重新组装这些块。驱动程序对GridFS的实现是一个抽象层，它管理文件存储的操作和组织。

如果您文件的尺寸超过了BSON文档大小限制（16MB），请使用GridFS。有关GridFS是否适合您的用例的更详细信息，请参阅GridFS MongoDB服务器手册。

GridFS是如何工作的

GridFS将文件组织在一个名为“存储桶”的结构中，它是一组包含文件块及其描述信息的MongoDB集合。存储桶包含以下集合，这些集合的命名遵循GridFS规范中定义的约定

• chunks 集合，用于存储二进制文件块

• files 集合，用于存储文件元数据

当您首次向其中写入数据时，如果GridFS存储桶不存在，则驱动程序会创建它。存储桶包含以默认存储桶名称fs开头的先前集合，除非您指定了不同的名称。为了确保高效地检索文件和相关元数据，驱动程序会在每个集合上创建索引。驱动程序确保在执行GridFS存储桶的读写操作之前，这些索引存在。

有关GridFS索引的更多信息，请参阅MongoDB服务器手册中的GridFS Indexes。

当使用GridFS存储文件时，驱动程序会将文件分割成更小的块，每个块由chunks集合中的一个单独文档表示。它还在files集合中创建一个文档，其中包含文件ID、文件名和其他文件元数据。您可以通过传递一个流到C++驱动程序以消耗它，或者通过创建一个新的流并直接写入它来上传文件。

以下图显示了GridFS在上传到存储桶时如何分割文件

检索文件时，GridFS从指定存储桶中的files集合中获取元数据，并使用这些信息从chunks集合中的文档中重建文件。您可以通过将内容写入现有流或创建一个指向文件的新流来读取文件。

创建GridFS存储桶

要开始将文件存储或从GridFS检索文件，请调用数据库上的gridfs_bucket()方法。此方法访问现有的存储桶或创建一个新存储桶（如果不存在）。

以下示例在db数据库上调用gridfs_bucket()方法

auto bucket = db.gridfs_bucket();

mongocxx::options::gridfs::bucket opts;
opts.bucket_name("myCustomBucket");
auto bucket = db.gridfs_bucket(opts);

上传文件

您可以使用以下方法将文件上传到GridFS存储桶

• open_upload_stream(): 打开一个新上传流，您可以将文件内容写入其中

• upload_from_stream(): 将现有流的内容上传到GridFS文件

mongocxx::options::gridfs::upload opts;
opts.chunk_size_bytes(1048576);
auto uploader = bucket.open_upload_stream("my_file", opts);
// ASCII for "HelloWorld"
std::uint8_t bytes[10] = {72, 101, 108, 108, 111, 87, 111, 114, 108, 100};
for (auto i = 0; i < 5; ++i) {
    uploader.write(bytes, 10);
}
uploader.close();

std::ifstream file("/path/to/input_file", std::ios::binary);
bucket.upload_from_stream("new_file", &file);

检索文件信息

在本节中，您可以学习如何检索存储在 GridFS 桶的 files 集合中的文件元数据。元数据包含有关所引用文件的信息，包括

• 文件的 _id

• 文件名

• 文件长度/大小

• 上传日期和时间

• 一个可以存储其他信息的 metadata 文档

要从 GridFS 桶检索文件，请调用您的桶上的 mongocxx::gridfs::bucket::find() 方法。该方法返回一个 mongocxx::cursor 实例，您可以从中访问结果。有关游标的更多信息，请参阅从游标访问数据指南。

auto cursor = bucket.find({});
for (auto&& doc : cursor) {
    std::cout << bsoncxx::to_json(doc) << std::endl;
}

{ "_id" : { "$oid" : "..." }, "length" : 13, "chunkSize" : 261120, "uploadDate" :
{ "$date" : ... }, "filename" : "new_file" }
{ "_id" : { "$oid" : "..." }, "length" : 50, "chunkSize" : 1048576, "uploadDate" :
{ "$date" : ... }, "filename" : "my_file" }

下载文件

您可以通过以下方法从GridFS存储桶下载文件

• open_download_stream()：打开一个新下载流，从中您可以读取文件内容

• download_to_stream()：将整个文件写入现有的下载流

auto doc = db["fs.files"].find_one(make_document(kvp("filename", "new_file")));
auto id = doc->view()["_id"].get_value();
auto downloader = bucket.open_download_stream(id);
std::vector<uint8_t> buffer(downloader.file_length());
downloader.read(buffer.data(), buffer.size());

std::ofstream output_file("/path/to/output_file", std::ios::binary);
auto doc = db["fs.files"].find_one(make_document(kvp("filename", "new_file")));
auto id = doc->view()["_id"].get_value();
bucket.download_to_stream(id, &output_file);

删除文件

使用delete_file()方法删除文件的集合文档和与bucket关联的块。这实际上会删除文件。您必须通过其_id字段指定文件，而不是其文件名。

以下示例展示了如何通过将文件的_id值传递给delete_file()来删除名为"my_file"的文件。

auto doc = db["fs.files"].find_one(make_document(kvp("filename", "my_file")));
auto id = doc->view()["_id"].get_value();
bucket.delete_file(id);

API 文档

要了解如何使用 C++ 驱动存储和检索大文件，请参阅以下 API 文档

• gridfs_bucket()

• mongocxx::options::gridfs::bucket

• open_upload_stream()

• upload_from_stream()

• find()

• open_download_stream()

• download_to_stream()

• delete_file()