Doris导入数据的几种方式

Doris 的导入方式取决于场景选择。
不要盲目使用它们。

对象存储还是HDFS？经纪人进口是最合适的。
我上周刚刚处理了 HDFS 导入，Broker 处理了它。

本地文件？直接导入就可以了。
这就是我在这个项目中所做的。
哪些Kafka实时数据？例程加载已完成。
用它来导入日志。

旧数据库数据？外部表同步。
简单高效。
JDBC如何同步？编程复杂但灵活。
哪个 JSON 数据？直接导入，表结构必须匹配。

您想批量导入大量数据吗？ SparkLoad 是最令人兴奋的。
对于极其大量的数据，Spark加速没有问题。

批量导入历史数据？仅 BrokerLoad。
我上周在项目中使用了它，而且进展很快。

小批量实时数据？ StreamLoad 是可靠的。
用它来查看测试数据。

连续导入Kafka？ RoutineLoad Perpetuum Mobile。
日志指标是实时进行的。
如何插入SQL数据？ InsertInto 使用起来很方便。
但是，不要频繁插入少量数据，因为这会影响查询。
哪个 S3 数据？ S3 直接加载。
从云存储迁移是没有麻烦的。
哪些MySQL数据？ MySQLLoad 导入 CSV。
从MySQL转过来后就可以使用了。

我应该选择哪一个？这取决于需求。
大文件如何堆叠？ BrokerLoad 或 SparkLoad。

实时数据？例程加载或流加载。
如何测试 ETL？对于简单的场景，InsertInto 就足够了。
哪个 JSON 数据？ StreamLoad 或 RoutineLoad。

你自己考虑一下。

八爪鱼采集器可以导出数据的后缀有哪几个

Octopus支持导出MySQL、SQLServer、Oracle数据库，并可以导入本地和云端数据。

云仅导入新数据并自动更新。

可以同时采集和路由，并定时导出。