一、开源项目简介
![[开源]快速实现部署、管理、监控以及自动化运维大数据云原生平台-1 [开源]快速实现部署、管理、监控以及自动化运维大数据云原生平台](https://www.baicxx.com/wp-content/uploads/2025/10/640-150.png)
DataSophon
帮助您更容易地管理和监控集群
愿景
致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台,帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。
二、开源协议
使用Apache-2.0开源协议
三、界面展示
![[开源]快速实现部署、管理、监控以及自动化运维大数据云原生平台-2 [开源]快速实现部署、管理、监控以及自动化运维大数据云原生平台](https://www.baicxx.com/wp-content/uploads/2025/10/640-151.png)
四、功能概述
DataSophon是什么
《三体》,这部获世界科幻文学最高奖项雨果奖的作品以惊艳的”硬科幻”风被大家所熟知,其作者刘慈欣更是被誉为”单枪匹马将中国科幻提高到世界级水平”。
作为三体中非常重要的角色,智子(Sophon)是将九维的质子进行二维展开,通过电路蚀刻改造成超级计算机后,再转回到微观的十一维来监控人类的一举一动,并利用量子纠缠实现瞬时通信报告给4光年之外的三体文明。说白了智子是三体文明部署在地球的AI实时远程监控和管理平台。
DataSophon也是个类似的管理平台,只不过与智子不同的是,智子的目的是锁死人类的基础科学阻碍人类技术爆炸,而DataSophon是致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台,帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。
主要特性
-
极易部署,用户仅需几步即可完成初始化环境配置,从而快速地完成大规模大数据集群的部署,支持数千个节点规模。 -
全面兼容开源生态,基于开放式的管理架构,已集成多种常用大数据组件,包括数据集成、数据存储、计算引擎、任务调度、权限管理等大数据处理的各个环节。 -
兼容复杂环境,极简的架构设计,使其极易适配各种复杂环境,支持arm和x86机器混合部署,支持常用的Linux生态操作系统。 -
便捷运维,基于生产实践展示用户最关心的监控指标,可方便地对集群、节点和服务进行监控和运维操作,助您大幅提升运维工作效率。 -
安全可靠,DataSophon支持Kerberos身份认证和数据加密,使用Ranger数据访问控制,从而支持数据加密和权限控制,保证数据安全。 -
便捷告警,支持告警组和告警指标管理,监控指标全面丰富,用户可根据监控指标自定义告警组和告警指标。
五、技术选型
产品架构
![[开源]快速实现部署、管理、监控以及自动化运维大数据云原生平台-3 [开源]快速实现部署、管理、监控以及自动化运维大数据云原生平台](https://www.baicxx.com/wp-content/uploads/2025/10/640-152.png)
技术架构
![[开源]快速实现部署、管理、监控以及自动化运维大数据云原生平台-4 [开源]快速实现部署、管理、监控以及自动化运维大数据云原生平台](https://www.baicxx.com/wp-content/uploads/2025/10/640-153.png)
集成组件
各集成组件均进行过兼容性测试,并稳定运行于300+个节点规模的大数据集群,日处理数据量约4000亿条。在海量数据下,各大数据组件调优成本低,平台默认展示用户关心和需要调优的配置。
|
序号 |
名称 |
版本 |
描述 |
|
1 |
HDFS |
3.3.3 |
分布式大数据存储 |
|
2 |
YARN |
3.3.3 |
分布式资源调度与管理平台 |
|
3 |
ZooKeeper |
3.5.10 |
分布式协调系统 |
|
4 |
FLINK |
1.15.2 |
实时计算引擎 |
|
5 |
DolphoinScheduler |
3.1.1 |
分布式易扩展的可视化工作流任务调度平台 |
|
6 |
StreamPark |
1.2.3 |
流处理极速开发框架,流批一体&湖仓一体的云原生平台 |
|
7 |
Spark |
3.1.3 |
分布式计算系统 |
|
8 |
Hive |
3.1.0 |
离线数据仓库 |
|
9 |
Kafka |
2.4.1 |
高吞吐量分布式发布订阅消息系统 |
|
10 |
Trino |
367 |
分布式Sql交互式查询引擎 |
|
11 |
Doris |
1.1.5 |
新一代极速全场景MPP数据库 |
|
12 |
Hbase |
2.4.16 |
分布式列式存储数据库 |
|
13 |
Ranger |
2.1.0 |
权限控制框架 |
|
14 |
ElasticSearch |
7.16.2 |
高性能搜索引擎 |
|
15 |
Prometheus |
2.17.2 |
高性能监控指标采集与告警系统 |
|
16 |
Grafana |
9.1.6 |
监控分析与数据可视化套件 |
|
17 |
AlertManager |
0.23.0 |
告警通知管理系统 |

