JDP是企业级Core Data & Core AI 流分析平台, JDP全称JDataFlow Platfrom
,分析流动中的数据。JDP并不是一个框架,而是一套完整的解决方案,主要包括:
基础理念:
JDP
基于Streaming Analytics Visualization架构。开发工具:
Ambari
,基于Ambari源码扩展,JDP更好的融合Ambari。基础构成:
JDP
核心基于高性能的分布式关系型数据库构建,支撑万亿数据秒级响应能力。核心功能:
JDP
核心Core Data & Core AI:Core Data提供高度可视化的流数据分析,Streaming Analytics to Visualization。
Core AI提供分布式系统上的AI能力,Smart Database。
基础运维:开箱即用,可视化运维管理系统
Ambari Manager
:提供核心的服务管理与配置中心功能,保障集群的稳定可靠。
简单高效的管理大规模分布式系统,仅需专注业务应用。
设计原则
Internet of Things (IoT),连接一切的时代,数据在流动中被处理。
JDP流分析平台,简单高性能的数据分析,Core Data遵循分布式系统设计原则。
遵循企业现有服务体系。无缝融入现有企业数据中心系统,可直接交互数据。
特性
One-stop solution:开箱即用 & 简单 & 易用。
高性能:万亿数据秒级响应,提供PB级数据存储。
扩展性:规模化部署,可达几百台集群规模。
可视化:可视化的数据收集、数据存储、数据分析、数据报表。
可靠性:集群提供副本容错机制,硬件故障不会造成数据丢失。
简单运维:日志、监控、报警、配置、服务一栈式管理。
简单易用:提供标准SQL,拖拽式数据分析。
什么样的项目适合用JDP
目前JDP的定位主要是流数据处理能力
及结构数据管理能力
。基于这两大能力,JDP有自己的特定应用场景。主要如下:
流数据处理
即席查询
海量日志分析
实时数据采集
实时数据流转
数据可视化
功能概览
Core Data
是企业核心数据管理平台,拥有强大易用的数据收集、数据分析、数据可视化能力。
Data Pipeline
全链路数据流程管理,实时监测,动态数据流,可视化流程。
Core Data
核心功能:
Data Collect
SSL,SSH,HTTPS,数据流加密等
多租户、授权、策略管理
自定义收集器
快速开发测试
基于Web的用户界面
分布式Agent
低延迟 vs 高吞吐量
多数据源集成
高度可配置化
全链路数据流跟踪
容错处理
高可扩展性
安全
CoreEngine
动态数据表
可变Schema
实时数据流
动态数据流转
ClickStream
事件流监测
流数据处理
流数据感知
高性能 & 低延迟
Transfer Data
实时数据分发
批量数据分发
简单强大的
Policy engine
基于Web的用户界面
Distributed Database
高性能 & 低延迟
分布式SQL引擎
海量数据存储
多租户 & 授权 & 资源管理
设计简洁 & 线性扩张
高可靠,无中心、数据分片
远端数据源连接
Visualization Data
丰富的数据可视化集
一个易于使用的界面,用于探索和可视化数据
创建和共享仪表板
通过SQLAlchemy与大多数DBMS集成
可扩展的,细粒度的安全/权限模型
关于更多JDP流分析平台内容访问:https://tech.jikelab.com/labs-docs/zh-cn/
ClickHouse For JDP 微信群: xujiang_555 [备注:JDP群]
欢迎关注微信公众号[Whoami],阅读更多内容。
原创文章,转载请注明: 转载自Itweet的博客本博客的文章集合:
http://www.itweet.cn/blog/archive