数仓技术选型
- 考虑因素
考虑因素
数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，学习成本，总成本预算。
（图片来源网络，侵删）数据存储：MySQl，HDFS，HBase，Redis，MongoDB
数据采集：Flume，Kafka，DataX，Maxwell，Flink-CDC，Sqoop，Logstash
（图片来源网络，侵删）数据计算：Hadoop，Hive，Spark，Flink
数据查询：ClickHouse，Doris，Kylin
数据可视化：Superset，Echarts
任务调度：DolphinScheduler，Airflow
集群监控：Zabbix，Prometheus
元数据管理：Atlas
权限管理：Ranger，Sentry
