大师网-带你快速走向大师之路 解决你在学习过程中的疑惑,带你快速进入大师之门。节省时间,提升效率

联机分析处理

联机分析处理OLAP是一种软件技术,它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information),即共享多维信息的快速分析的特征。其中F是快速性(Fast),指系统能在数秒内对用户的多数分析要求做出反应;A是可分析性(Analysis),指用户无需编程就可以定义新的专门计算,将其作为分析的一部 分,并以用户所希望的方式给出报告;M是多维性(Multi—dimensional),指提供对数据分析的多维视图和分析;I是信息性(Information),指能及时获得信息,并且管理大容量信息。[1] 

程序员大牛必备的英文词汇

程序员大牛必备的英文词汇 算法术语 Data Structures 基本数据结构 Dictionaries 字典 Priority Queues 堆 Graph DataStructures 图 Set DataStructures 集合 Kd-Trees 线段树 Numerical Problems数值问题 Solving LinearEquations 线性方程组 BandwidthReduction 带宽压缩 MatrixMultiplication 矩阵乘法 Determinants andPermanents 行列式 Constrained andUnconstrained Optimization 最值问题 Linear Programming线性规划 Random NumberGeneration 随机数生成 Fact

纲举目张:打通MySQL架构和业务的任督二脉

表的数据量大小与对应的线上表大小、归档周期有关。归档表的操作,除了归档过程的数据加载外,主要就是Select查询操作了,归档后就算是只读表。 (5)统计数据表 统计数据表,是指业务有离线统计分析需求时,需要将各种线上表和归档

顶级数据库行会Percona阿里全面解析下一代云数据库技术

顶级数据库行会Percona阿里全面解析下一代云数据库技术 摘要:几年前,数据库管理系统的企业市场似乎还如同铜墙铁壁,除了老牌厂商外,其他厂商休想打进来。 随着移动互联、物联网技术的发展,多终端应用的时代悄然而至。结构化与非结构化数据的爆发,推动人类社会进入大数据时代。海量数据瞬间涌来,让企业传统数据库系统不堪重负,针对海量数据的收集、存储与

LSM树原理、应用与优化-浅谈大数据原理(二)

LSM树原理、应用与优化-浅谈大数据原理(二) 前言:为什么传统数据库使用B树较多,而大数据存储使用LSM树较多?kudu为什么比hbase更适合支持OLAP查询? 上一篇场景和挑战 提到数据系统最基本的需求就是数据存取,多数情况下数据是一条条记录,每条记录包含key和value。为了提高存取记录的效率,我们知道传统数据库多使用B树作为索引结构。而在大数据场景下,hbase、kudu等存

Apache Kylin在美团数十亿数据OLAP场景下的实践

Apache Kylin在美团数十亿数据OLAP场景下的实践 本文根据2016年4月北京Apache Kylin Meetup上的分享讲稿整理,略有删节。 美团各业务线存在大量的OLAP分析场景,需要基于Hadoop数十亿级别的数据进行分析,直接响应分析师和城市BD等数千人的交互式访问请求,对OLAP服务的扩展性、稳定性、数据精确性和性能均有很高要求。本文主要介绍美团的具体OLAP需求,如何将Kylin应用到实际场景中

Druid:实时处理时序数据的OLAP数据库

Druid:实时处理时序数据的OLAP数据库 大数据分析和Druid 大数据一直是近年的热点话题,随着数据量的急速增长,数据处理的规模也从GB 级别增长到TB 级别,很多图像应用领域已经开始处理PB 级别的数据分析。大数据的核心目标是提升业务的竞争力,找到一些可以采取行动的洞察(Actionable Insight),数据分析就是其中的核心技术,包括数据收集、处理、建模和分析,最后找到

从GitHub中整理出来的15个最受欢迎的Python开源框架,你喜欢哪个

从GitHub中整理出来的15个最受欢迎的Python开源框架,你喜欢哪个 从GitHub中整理出的15个最受欢迎的Python开源框架。这些框架包括事件I/O,OLAP,Web开发,高性能网络通信,测试,爬虫等。 Django: Python Web应用开发框架 Django 应该是最出名的Python框架,GAE甚至Erlang都有框架受它影响。Django是走大而全的方向,它最出名的是其全自动化的管理后台:只需要使用起ORM,做简单的对象定义

KAP助力微软Power BI实现海量数据交互式分析

KAP助力微软Power BI实现海量数据交互式分析 作者:何京珂 编辑:Sammi Power BI是微软推出的行业领先的BI可视化工具,其拥有本地及云端多样的解决方案,与微软产品无缝整合,快速部署等特点令其在本地及云端都拥有广泛的应用。Power BI支持多样的数据源,包括关系型数据库SQL Server,Azure云上 的Blob存储以及HDInsight Hive等。然而随着企业信息化进程的加深,数据收集门槛的下降

Apache Kylin v2.2.0正式发布

0.82版本 KYLIN-2891 下载 下载Apache Kylin v2.2.0源代码及二进制安装包,请访问下载页面。 升级 升级至Apache Kylin v2.2.0版本,请参见升级指南。 x 升级和使用过程中有任何问题,请提交至Kylin的JIRA。 或发送邮件至Apache Kylin邮件列表: dev@kylin.apache.org 最后,我们衷心感谢每一位朋友的参与和贡献!

Apache Kylin在美团数十亿数据OLAP场景下的实践

Apache Kylin在美团数十亿数据OLAP场景下的实践 美团各业务线存在大量的OLAP分析场景,需要基于Hadoop数十亿级别的数据进行分析,直接响应分析师和城市BD等数千人的交互式访问请求,对OLAP服务的扩展性、稳定性、数据精确性和性能均有很高要求。本文主要介绍美团的具体OLAP需求,如何将Kylin应用到实际场景中,以及目前的使用方式和现状。同时也将Kylin和其它系统(如Presto、Dr

Impala读取HBase外部表的一个坑

Impala读取HBase外部表的一个坑 最近业务部门反应数据上报上来数据中有字段缺失。有个字段daily_amount在MQ里面是有值的,但是导入到impala后查到的确为NULL。先交代一下背景。数据平台的数据流水线如下: 数据流水线 数据上报后首先写入到MQ里,通过一个消费者将数据存入HBase中,每天通过Impala JDBC接口增量将数据以Parquet格式写入HDFS中。 1.首先想到数据有没有写到HBase中,通过H

【技术帖】Cognos连接KAP的入门指导

【技术帖】Cognos连接KAP的入门指导 引言 在大数据分析解决方案中,用户通常需要通过商业智能(Business Intelligence)或数据可视化工具来进行数据分析,探索数据价值。Cognos是IBM旗下的应用广泛的商务智能软件,善于进行联机分析处理(OLAP) 。在大数据架构中,企业对OLAP分析的数据量、实效性、并发能力等方面提出了更高的要求,迫切需要面向下一代的可扩展的高性能OLAP分析

JVM菜鸟进阶高手之路八(一些细节)

JVM菜鸟进阶高手之路八(一些细节) 转载请注明原创出处,谢谢! gc日志问题 查看docker环境的gc日志,发现是下面这种情况,很奇怪,一直怀疑是docker环境那里是否有点问题,并没有怀疑配置,之前物理机上面的gc日志都是正常那种。 表示很奇怪,后来飞哥告诉我,有没有PrintGCDetails这个参数呀?一看果然,加上之后gc日志就和我们以前看的正常格式一样了。 Xmn问题 -Xms4g -Xmx4

历程剖析:阿里云自研HTAP数据库的技术发展之路

历程剖析:阿里云自研HTAP数据库的技术发展之路 摘要:在阿里云数据库技术峰会上,阿里云高级数据库技术专家队皓庭分享了高度兼容MySQL,并且能免去传统数仓ETL过程实现数据分析,同时支持高并发、大吞吐量的在线事务处理的PB级数据存储数据库是如何实现的。 8月24日,阿里云数据库技术峰会到来,本次技术峰会邀请到了阿里集团和阿里云数据库老司机们,为大家分享

Apache Kylin查询性能优化

Apache Kylin查询性能优化 作者:周倚平 编辑:Sammi Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区,可在亚秒内查询巨大的Hive表。 在Apache Kylin的实际部署过程中,SQL查询有时并不能如预期在很短的时间内完成,需要开发人员进行有针对性的分析和优化。 在进行分析、优化

Apache Kylin在美团数十亿数据OLAP场景下的实践

Apache Kylin在美团数十亿数据OLAP场景下的实践 作为公司的平台部门,需要给各个业务线提供平台的服务,那么如何建设一个满足各种需求的公司平台级OLAP分析服务呢。首先,一个开源项目在公司真正落地会遇到很多障碍,这主要是由各个业务线不同的数据特点和业务特点决定的,所以本文会介绍一下美团的数据场景有什么特点;其次,针对这些数据特点,尤其是和Kylin设计初

TiDB RC4 Release

TiDB RC4 Release 8 月 4 日,TiDB 正式发布 RC4 版。该版本对 MySQL 兼容性、SQL 优化器、系统稳定性、性能做了大量的工作。性能方面重点优化了写入速度,计算任务调度支持优先级,避免分析型大事务影响在线事务。SQL 优化器全新改版,查询代价估算更加准确,且能够自动选择 Join 物理算子。功能方面进一步 MySQL 兼容性。 同时为了更好的支持 OLAP 业务,开源了 TiSpark 项目,可以通

cognos 多维分析技术(OLAP)的进化过程

cognos 多维分析技术(OLAP)的进化过程 发展背景 随着数据库技术的广泛应用,企业信息系统产生了大量的数据,如何从这些海量数据中提取对企业决策分析有用的信息成为企业决策管理人员所面临的重要难题。传统的企业数据库系统即联机事务处理系统(On-Line Transaction Processing