李松林:大数据实时处理技术以及其应用

原创
云计算
大数据实时处理需要思考的问题是:模型——海量数据、多个数据源整合、预定义好的数据模型、数据任务依赖关系简单、推和拉的问题;性能——高并发需求、大容量需求、高速度需求、批处理预算、硬件支持、容错、水平扩展;服务——关联获取价值,纬度按需定制、互联分析,报表等完成价值交付等。

  2013年4月26日-27日,由51CTO传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开。本次峰会将围绕大数据基础架构与上层应用的生态系统,解决大规模数据引发的问题,探索大数据基础的解决方案,激发数据挖掘带来的竞争力,让数据发出声音。51CTO作为本次峰会的主办方,将全程视频、图文直播报道这场数据的盛宴,更多内容请点击专题:2013大数据全球技术峰会

 

2013大数据全球技术峰会专题

 

李松林     京东商城商业智能和搜索部架构师

 

京东如今拥有整个电子商务完整的产业链,京东面临的大数据问题是:

1. 数据的来源更加丰富;

2. 数据间的关联性更加复杂;

3. 数据的价值——包括时效性和新商业模式。

Hadoop大数据的处理更加容易,这体现在ETL/企业数据仓库;数据挖掘/建模;搜索和推荐;日志存储等等。实际上,MapReduce批处理存在着缺陷,延迟较长,无法满足用户的实时需求,调度开销较大。

大数据包括三部分:

大数据实时处理需要思考的问题是:模型——海量数据、多个数据源整合、预定义好的数据模型、数据任务依赖关系简单、推和拉的问题;性能——高并发需求、大容量需求、高速度需求、批处理预算、硬件支持、容错、水平扩展;服务——关联获取价值,纬度按需定制、互联分析,报表等完成价值交付等。

大数据实时处理架构

 

大数据实时分析

 

大数据实时处理技术的优势在于:服务和应用;价值展现——分析可视化,数据可视化,数据反哺,计算即服务;仔细思考其价值。

大数据应用的问题主要来自于对系统的压力,如何解决呢?前端和后端的解耦、压缩、排队、后端更强劲这三方面重点。

 

结尾:以上是51CTO.com记者从一线为您带来的精彩报道。后续我们还有更加精彩的独家报道,敬请关注。

 

 

责任编辑:王程程 来源: 51CTO
相关推荐

2017-08-31 16:36:26

2017-08-09 13:30:21

大数据Apache Kafk实时处理

2016-11-08 12:49:27

大数据分布式系统Druid-IO

2017-01-04 10:29:37

Spark运维技术

2018-01-31 21:26:48

HadoopSparkStream大数据

2017-11-03 15:05:56

Storm数据处理服务器

2019-09-18 20:28:26

大数据数据处理数据采集

2023-10-26 07:36:02

分布式架构

2021-07-05 10:48:42

大数据实时计算

2017-11-21 14:14:04

PHPnode.js图片访问

2020-12-21 13:55:44

大数据大数据处理

2011-12-30 13:50:21

流式计算Hadoop

2016-11-02 09:02:56

交通大数据计算

2021-03-10 14:04:10

大数据计算技术

2013-01-21 09:31:22

大数据分析大数据实时分析云计算

2012-11-01 15:14:49

京东数据部架构师

2019-09-04 09:31:40

日志Flink监控

2017-01-15 13:45:20

Docker大数据京东

2016-12-15 21:41:15

大数据

2019-08-01 13:09:57

大数据分析建模信息化
点赞
收藏

51CTO技术栈公众号