流模式

流模式

本页内容

概述

概述

Spark 连接器支持流模式，它使用 Spark Structured Streaming 在数据可用时立即处理数据，而不是等待时间间隔过去。Spark Structured Streaming 是一个数据流处理引擎，您可以通过 Dataset 或 DataFrame API 访问。

重要

Apache Spark 包含两个不同的流处理引擎

Spark Streaming与DStreams，现在是一个不再支持的遗留引擎
Spark结构化流处理.

本指南仅适用于Spark结构化流处理。

以下部分展示了如何使用Spark连接器以流模式从MongoDB读取数据，并将数据写入MongoDB。

提示

Apache Spark文档

要了解更多关于使用Spark处理数据流的信息，请参阅Spark编程指南。