大师网-带你快速走向大师之路 解决你在学习过程中的疑惑,带你快速进入大师之门。节省时间,提升效率

联机分析处理

联机分析处理OLAP是一种软件技术,它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information),即共享多维信息的快速分析的特征。其中F是快速性(Fast),指系统能在数秒内对用户的多数分析要求做出反应;A是可分析性(Analysis),指用户无需编程就可以定义新的专门计算,将其作为分析的一部 分,并以用户所希望的方式给出报告;M是多维性(Multi—dimensional),指提供对数据分析的多维视图和分析;I是信息性(Information),指能及时获得信息,并且管理大容量信息。[1] 

KAP助力微软Power BI实现海量数据交互式分析

KAP助力微软Power BI实现海量数据交互式分析 作者:何京珂 编辑:Sammi Power BI是微软推出的行业领先的BI可视化工具,其拥有本地及云端多样的解决方案,与微软产品无缝整合,快速部署等特点令其在本地及云端都拥有广泛的应用。Power BI支持多样的数据源,包括关系型数据库SQL Server,Azure云上 的Blob存储以及HDInsight Hive等。然而随着企业信息化进程的加深,数据收集门槛的下降

Apache Kylin v2.2.0正式发布

0.82版本 KYLIN-2891 下载 下载Apache Kylin v2.2.0源代码及二进制安装包,请访问下载页面。 升级 升级至Apache Kylin v2.2.0版本,请参见升级指南。 x 升级和使用过程中有任何问题,请提交至Kylin的JIRA。 或发送邮件至Apache Kylin邮件列表: dev@kylin.apache.org 最后,我们衷心感谢每一位朋友的参与和贡献!

Apache Kylin在美团数十亿数据OLAP场景下的实践

Apache Kylin在美团数十亿数据OLAP场景下的实践 美团各业务线存在大量的OLAP分析场景,需要基于Hadoop数十亿级别的数据进行分析,直接响应分析师和城市BD等数千人的交互式访问请求,对OLAP服务的扩展性、稳定性、数据精确性和性能均有很高要求。本文主要介绍美团的具体OLAP需求,如何将Kylin应用到实际场景中,以及目前的使用方式和现状。同时也将Kylin和其它系统(如Presto、Dr

Impala读取HBase外部表的一个坑

Impala读取HBase外部表的一个坑 最近业务部门反应数据上报上来数据中有字段缺失。有个字段daily_amount在MQ里面是有值的,但是导入到impala后查到的确为NULL。先交代一下背景。数据平台的数据流水线如下: 数据流水线 数据上报后首先写入到MQ里,通过一个消费者将数据存入HBase中,每天通过Impala JDBC接口增量将数据以Parquet格式写入HDFS中。 1.首先想到数据有没有写到HBase中,通过H

【技术帖】Cognos连接KAP的入门指导

【技术帖】Cognos连接KAP的入门指导 引言 在大数据分析解决方案中,用户通常需要通过商业智能(Business Intelligence)或数据可视化工具来进行数据分析,探索数据价值。Cognos是IBM旗下的应用广泛的商务智能软件,善于进行联机分析处理(OLAP) 。在大数据架构中,企业对OLAP分析的数据量、实效性、并发能力等方面提出了更高的要求,迫切需要面向下一代的可扩展的高性能OLAP分析

JVM菜鸟进阶高手之路八(一些细节)

JVM菜鸟进阶高手之路八(一些细节) 转载请注明原创出处,谢谢! gc日志问题 查看docker环境的gc日志,发现是下面这种情况,很奇怪,一直怀疑是docker环境那里是否有点问题,并没有怀疑配置,之前物理机上面的gc日志都是正常那种。 表示很奇怪,后来飞哥告诉我,有没有PrintGCDetails这个参数呀?一看果然,加上之后gc日志就和我们以前看的正常格式一样了。 Xmn问题 -Xms4g -Xmx4

历程剖析:阿里云自研HTAP数据库的技术发展之路

历程剖析:阿里云自研HTAP数据库的技术发展之路 摘要:在阿里云数据库技术峰会上,阿里云高级数据库技术专家队皓庭分享了高度兼容MySQL,并且能免去传统数仓ETL过程实现数据分析,同时支持高并发、大吞吐量的在线事务处理的PB级数据存储数据库是如何实现的。 8月24日,阿里云数据库技术峰会到来,本次技术峰会邀请到了阿里集团和阿里云数据库老司机们,为大家分享

Apache Kylin查询性能优化

Apache Kylin查询性能优化 作者:周倚平 编辑:Sammi Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区,可在亚秒内查询巨大的Hive表。 在Apache Kylin的实际部署过程中,SQL查询有时并不能如预期在很短的时间内完成,需要开发人员进行有针对性的分析和优化。 在进行分析、优化

Apache Kylin在美团数十亿数据OLAP场景下的实践

Apache Kylin在美团数十亿数据OLAP场景下的实践 作为公司的平台部门,需要给各个业务线提供平台的服务,那么如何建设一个满足各种需求的公司平台级OLAP分析服务呢。首先,一个开源项目在公司真正落地会遇到很多障碍,这主要是由各个业务线不同的数据特点和业务特点决定的,所以本文会介绍一下美团的数据场景有什么特点;其次,针对这些数据特点,尤其是和Kylin设计初

TiDB RC4 Release

TiDB RC4 Release 8 月 4 日,TiDB 正式发布 RC4 版。该版本对 MySQL 兼容性、SQL 优化器、系统稳定性、性能做了大量的工作。性能方面重点优化了写入速度,计算任务调度支持优先级,避免分析型大事务影响在线事务。SQL 优化器全新改版,查询代价估算更加准确,且能够自动选择 Join 物理算子。功能方面进一步 MySQL 兼容性。 同时为了更好的支持 OLAP 业务,开源了 TiSpark 项目,可以通

cognos 多维分析技术(OLAP)的进化过程

cognos 多维分析技术(OLAP)的进化过程 发展背景 随着数据库技术的广泛应用,企业信息系统产生了大量的数据,如何从这些海量数据中提取对企业决策分析有用的信息成为企业决策管理人员所面临的重要难题。传统的企业数据库系统即联机事务处理系统(On-Line Transaction Processing

Finereport和Finebi的区别

Finereport和Finebi的区别 1.问题描述 大家现在可能都知道,目前帆软旗下特色产品主要是FineReport和FineBI,但是部分用户可能会有个疑问:FineReport和FineBI到底有什么区别? 2.产品介绍FineReport和FineBI作为两种分析工具,最终的结果可以放在一个信息门户上(op=fs、移动门户上) 主要差别: 1、数据处理——FineReport是直连数据库;FineBI是做大数据建模,生成多维数据集; 2、FineReport

PAX:一个 Cache 友好高效的行列混存方案

PAX:一个 Cache 友好高效的行列混存方案 今年,Spanner 终于发了另一篇 Paper Spanner: Becoming a SQL System,里面提到 Spanner 使用了一直新的存储格式 - Ressi,用来支持 OLTP 和 OLAP。在 Ressi 里面,使用了 PAX 来组织数据。因为 TiDB 定位就是一个 HTAP 系统,所以我也一直在思考在 TiKV 这层如何更好的存储数据,用来满足 HTAP 的需要,既然 Spanner 使用了 PAX,那么就有研究的必要了。 PAX 的论

一文读懂Apache Kylin

:Build Cube with Streaming Data,需要注意的一点是,Apache Kylin现在的流式构建方式是v1.6后才存在的,之前的版本可能会出现构建方式不同或不存在流式构建方式等情况。 Apache Kylin除了可以在Web UI界面进行构建和查询,还为Cube的构建提供了RESTful API,为数据的查询提供了RESTful API和JDBC/ODBC接口,用户可以根据自身情况选择合适的构建和查询方式。 4 进一步学习 官方文档

Kyligence:Hadoop平台上的超高性能OLAP解

Kyligence:Hadoop平台上的超高性能OLAP解 感谢关注天善智能,走好数据之路↑↑↑ 欢迎关注天善智能,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习,问答、求职一站式搞定! 本文来源于6月25日天善智能大数据沙龙【上海站】Kyligence解决方案架构师冯礼的分享,未经允许,不得转载。 更多内容,请关注Kyligence官网。

SQL on Hadoop开源项目总结

SQL on Hadoop开源项目总结 随着Hadoop的流行,越来越多的企业把数据存储在Hadoop上,或者Non-SQL数据库上,随之相关的数据处理技术也从一开始的Map Reduce一统江湖,到现在各种技术竞相出现。最新的趋势是,大家普遍希望能够快速得到查询结果,做交互式查询,同时也希望传统的BI(Business Intelligence,商务智能)工具可以直接和基于Hadoop的大数据平台连接起来,以便使用现用工具进

初识Postgres-XL

初识Postgres-XL 第一节 简介Postgres-XL是一款开源的PG集群软件,XL代表eXtensible Lattice,即可扩展的PG“格子”之意,以下简称PGXL。官方称其既适合写操作压力较大的OLTP应用,又适合读操作为主的大数据应用。它的前身是Postgres-XC(简称PGXC),PGXC是在PG的基础上加入了集群功能,主要适用于OLTP应用;PGXL是在PGXC的基础上的升级产品,加入了一些适用于OLAP应用的特性,如 Massively Paral

多维数据查询OLAP及MDX语言学习整理

[CT] } on rows FROM Sales 轴必须从 0 开始,并且连续,不能跳过。下面的是不可以的: SELECT { [Time].[TX])这样空行就去掉了。non empty 可用于任何轴上。 CROSS JOIN 很多时候,我们需要对两个不同的集合进行交叉,也就是要得到两个集合成员的所有组合。CrossJoin()函数就是用来得到组合的最直接方式,它的语法是 CrossJoin (set1, set2)以下语句在每个季度下分出两个度量SELECTCrossJoin ({ [Time].