暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

企业级开源Core Data & Core AI 流分析平台JDP

whoami 2018-05-03
356


JDP是企业级Core Data & Core AI 流分析平台, JDP全称JDataFlow Platfrom
,分析流动中的数据。JDP并不是一个框架,而是一套完整的解决方案,主要包括:

  • 基础理念:JDP
    基于Streaming Analytics Visualization架构。

  • 开发工具:Ambari
    ,基于Ambari源码扩展,JDP更好的融合Ambari。

  • 基础构成:JDP
    核心基于高性能的分布式关系型数据库构建,支撑万亿数据秒级响应能力。

  • 核心功能:JDP
    核心Core Data & Core AI:

    • Core Data提供高度可视化的流数据分析,Streaming Analytics to Visualization。

    • Core AI提供分布式系统上的AI能力,Smart Database。

  • 基础运维:开箱即用,可视化运维管理系统Ambari Manager

    • 提供核心的服务管理与配置中心功能,保障集群的稳定可靠。

    • 简单高效的管理大规模分布式系统,仅需专注业务应用。

设计原则

  • Internet of Things (IoT),连接一切的时代,数据在流动中被处理。

  • JDP流分析平台,简单高性能的数据分析,Core Data遵循分布式系统设计原则。

  • 遵循企业现有服务体系。无缝融入现有企业数据中心系统,可直接交互数据。

特性

  • One-stop solution:开箱即用 & 简单 & 易用。

  • 高性能:万亿数据秒级响应,提供PB级数据存储。

  • 扩展性:规模化部署,可达几百台集群规模。

  • 可视化:可视化的数据收集、数据存储、数据分析、数据报表。

  • 可靠性:集群提供副本容错机制,硬件故障不会造成数据丢失。

  • 简单运维:日志、监控、报警、配置、服务一栈式管理。

  • 简单易用:提供标准SQL,拖拽式数据分析。

什么样的项目适合用JDP

目前JDP的定位主要是流数据处理能力
结构数据管理能力
。基于这两大能力,JDP有自己的特定应用场景。主要如下:

  • 流数据处理

  • 即席查询

  • 海量日志分析

  • 实时数据采集

  • 实时数据流转

  • 数据可视化


功能概览


Core Data
是企业核心数据管理平台,拥有强大易用的数据收集、数据分析、数据可视化能力。

Data Pipeline
全链路数据流程管理,实时监测,动态数据流,可视化流程。

Core Data
核心功能:

  • Data Collect

    • SSL,SSH,HTTPS,数据流加密等

    • 多租户、授权、策略管理

    • 自定义收集器

    • 快速开发测试

    • 基于Web的用户界面

    • 分布式Agent

    • 低延迟 vs 高吞吐量

    • 多数据源集成

    • 高度可配置化

    • 全链路数据流跟踪

    • 容错处理

    • 高可扩展性

    • 安全

  • CoreEngine

    • 动态数据表

    • 可变Schema

    • 实时数据流

    • 动态数据流转

  • ClickStream

    • 事件流监测

    • 流数据处理

    • 流数据感知

    • 高性能 & 低延迟

  • Transfer Data

    • 实时数据分发

    • 批量数据分发

    • 简单强大的Policy engine

    • 基于Web的用户界面

  • Distributed Database

    • 高性能 & 低延迟

    • 分布式SQL引擎

    • 海量数据存储

    • 多租户 & 授权 & 资源管理

    • 设计简洁 & 线性扩张

    • 高可靠,无中心、数据分片

    • 远端数据源连接

  • Visualization Data

    • 丰富的数据可视化集

    • 一个易于使用的界面,用于探索和可视化数据

    • 创建和共享仪表板

    • 通过SQLAlchemy与大多数DBMS集成

    • 可扩展的,细粒度的安全/权限模型



关于更多JDP流分析平台内容访问:https://tech.jikelab.com/labs-docs/zh-cn/


ClickHouse For JDP  微信群:  xujiang_555  [备注:JDP群]


欢迎关注微信公众号[Whoami],阅读更多内容。

原创文章,转载请注明: 转载自Itweet的博客
本博客的文章集合:
http://www.itweet.cn/blog/archive

文章转载自whoami,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论