大数据实时分析案例.docx
免费下载
永洪科技大数据实时分析
永洪科技基于自有技术研发的一款数据存储、数据处理的软件 Yonghong Z-Data
Mart 是一款专业的数据集市软件。Hadoop Map Reduce 适合通过批处理方式访问海量
数据，但无法满足海量数据的实时处理的需求。实时商业智能建设的主要目标是支持实时
决策，这就对海量数据处理的即时、快速、稳定提出了更高的要求。Yonghong Z-Suite
Map Reduce 解决方案更好的实现了这些特点：
完全放弃了心跳机制，采用实时信息交换底层，进行实时的 Map-Reduce 任务分配
与执行。这一信息交换底层能够保障几十甚至上百个节点之间的高效信息交换，使得实时
的 Map-Reduce 任务分配与执行能够在毫秒级完成任务分解与派发工作。
Map Reduce 任务服务于海量数据处理，任务清晰。通过在 Map Node 中预先部署
Map 的数据处理和数据分析功能的代码文件集，在 Reduce 节点中预先部署 Reduce 的
数据处理和数据分析功能的代码文件集，在运行 Job 之前，每个 Map 和 Reduce 节点已
经具备了相应的数据处理和分析能力。这种方式极大地减少了实时传输和部署的时长。
直接在各节点之间传输中间结果和最终结果(Stream Computing)。由于 Map-
Reduce 采用了具有自主知识产权的高效率的实时信息交换底层，这一底层保障了大量传
输 Map 的中间结果、Reduce 的中间结果及最终结果的实效性。
本文档主要介绍两个案例，一个是互联网行业大数据案例，一个是电信行业的大数据
案例。
互联网大数据案例
案例背景
某著名咨询公司用户行为分析系统面临问题：实时分析的数据量大，基于 Hive 的分
析系统不够实时，但预算有限。
问题解决步骤
1. 首先提出了测试方案：
90 天细节数据约 50 亿条导入 YonghongDMÞ ，再定制 Dashboard 分析。
2. 简单测试：
先通过 5 台 PCServerÞ ，导入 1-2 天的数据，演示如何 ETL，如何做简单应用。
3. 按照提出的测试方案开始导入 90 天的数据，在导入数据中解决了如下问题：
解决步长问题，有效访问次数，Þ在几个分组内，停留时间大于 30 分钟。
解决 HBase 数据和 SQLServer Þ 数据的关联问题。
解决分组太多，Span 过多的问题。
4. 数据源及数据特征分析：
90 天的数据，Web 数据 7 亿，App 数据 37 亿，总估计在 50 亿。
每 个 表 有 20 多 个 字 段 ， 一 半 字 符 串 类 型 ， 一 半 数 值 类 型 ， 一 行 数 据 估 计
2000Byte。
每天 5000 万行，原始数据每天 100G，100 Þ 天是 10T 的数据。
抽取样本数据 100 万行，导入数据集市，数据量在 180M。
50 亿数据的若全部导入需要 900G 的量，Þ压缩比在 11:1。
of 10
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论