English (United Kingdom)

https://curated-unify.zendy.io/wp-json/zendy-region/v1/featured_content/oa?rat=en

https://curated-unify.zendy.io/wp-json/zendy-region/v1/highlighted_journal/

Global: Zendy Plus annual

Presents the access of premium content as premium feature

Premium Content

Presents the keyphrase highlighting as premium feature

Keyphrase Highlighting

Presents the summarisation as premium feature

Summarisation

Insights

Presents the pdf analysis as premium feature

PDF Analysis

Presents the zaia usage as premium feature

ZAIA

Global: Zendy Tools annual

Global: Zendy Free Plan

Global: Zendy Tools monthly

Global: Zendy Plus monthly

SCABORA, L. C.. Evaluation of the Star Schema Benchmark applied to NoSQL columnoriented distributed database systems. 2016. 113 f. Monograph (Master student – Program in Computer Science and Computational Mathematics) – Instituto de Ciências Matemáticas e de Computação (ICMC/USP), São Carlos – SP. Due to the explosive increase in data volume, centralized data warehousing applications become very costly and are facing several problems to deal with data scalability. This is related to the fact that these applications need to store huge volumes of data and to perform analytical queries (i.e., OLAP queries) against these voluminous data efficiently. One solution is to employ scenarios characterized by the use of NoSQL databases managed in parallel and distributed environments. Among the challenges related to these scenarios, there is a need to investigate the performance of data warehousing applications that store the data warehouse (DW) in column-oriented NoSQL databases. In this context, benchmarks are widely used to perform standard and experimental analysis of distinct systems. However, most of the benchmarks for DW focus on relational database systems and centralized environments. In this master’s research, we investigate how to extend the Star Schema Benchmark (SSB), which was proposed for centralized DWs, to the distributed and column-oriented NoSQL database HBase. We introduce proposals and analysis mainly based on experimental performance tests considering each one of the four steps of a benchmark, i.e. schema and workload, data generation, parameters and metrics, and validation. The main results described in this master’s research are described as follows: (i) proposal of the FactDate schema, which optimizes queries that access few dimensions of the DW; (ii) investigation of the applicability of different schemas for different business scenarios; (iii) proposal of two additional queries to the SSB workload; (iv) analysis of the data distribution generated by the SSB, verifying if the data aggregated by OLAP queries are balanced between the nodes of a cluster; (v) investigation of the influence caused by three important parameters of the Hadoop MapReduce framework in the OLAP query processing; (vi) evaluation of the relationship between the OLAP query performance and the number of nodes of a cluster; and (vii) employment of hierarchical materialized views using the Spark framework to optimize the processing performance of consecutive OLAP queries that require progressively more or less aggregated data. These results represent important findings that enable the future proposal of a benchmark for DWs stored in NoSQL databases and managed in parallel and distributed environments. Key-words: Data warehouse, NoSQL databases, HBase, Hadoop MapReduce, Star Schema Benchmark. LISTA DE ILUSTRAÇÕES Figura 2.1 – Exemplo de modelagem de dados tridimensional. . . . . . . . . . . . . . . 29 Figura 2.2 – Exemplo do esquema estrela para o modelo multidimensional presente na Figura 2.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 Figura 2.3 – Exemplo do esquema estrela após a normalização dos atributos país, estado e cidade. Este novo esquema é denominado esquema floco de neve. . . . . . 32 Figura 2.4 – Representação do modelo multidimensional conceitual em pelo menos três esquemas relacionais lógicos: estrela, floco de neve e constelação de fatos. . 33 Figura 2.5 – Exemplo de como uma tabela conceitual pode ser armazenada segundo o paradigma orientado a coluna, organizado em famílias de colunas. . . . . . 36 Figura 2.6 – Exemplo de organização de uma tabela relacional em famílias de colunas no HBase, representando o armazenamento lógico e físico. . . . . . . . . . . . 37 Figura 2.7 – Principais componentes da hierarquia de sistemas distribuídos utilizados durante este estudo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 Figura 2.8 – Exemplo de particionamento e armazenamento de um arquivo dentro do HDFS. 39 Figura 2.9 – Execução do modelo MapReduce para contar palavras de um texto. . . . . . 40 Figura 2.10–Exemplo do processamento em MapReduce de uma consulta SQL envolvendo três tabelas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 Figura 2.11–Adaptação de um DW para sistemas NoSQL distribuídos. . . . . . . . . . . 44 Figura 3.1 – Esquema do benchmark TPC-H. . . . . . . . . . . . . . . . . . . . . . . . 48 Figura 3.2 – Esquema resumido do benchmark TPC-DS. . . . . . . . . . . . . . . . . . 51 Figura 3.3 – Esquema do benchmark SSB. . . . . . . . . . . . . . . . . . . . . . . . . . 52 Figura 3.4 – Modelo de dados do BigBench. . . . . . . . . . . . . . . . . . . . . . . . . 59 Figura 4.1 – Ilustração das quatro etapas de um benchmark de DW, relacionando cada uma delas com a seção em que elas são investigadas neste trabalho. . . . . . 65 Figura 4.2 – Representação da organização física do esquema proposto, denominado FactDate, em contraste com os esquemas existentes na literatura. . . . . . . 66 Figura 4.3 – Comparação entre os três esquemas avaliados dentro da categoria de consultas de baixa dimensionalidade. . . . . . . . . . . . . . . . . . . . . . . . . . . 70 Figura 4.4 – Comparação entre os três esquemas avaliados dentro da categoria de consultas de alta dimensionalidade. . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 Figura 4.5 – Comparação do tempo médio decorrido das consultas, divididas pela quantidade de dimensões agregadas pelas consultas. . . . . . . . . . . . . . . . . 74 Figura 4.6 – Consulta Qnew1, responsável por agregar dados das dimensões Date e Part. 75 Figura 4.7 – Consulta Qnew2, a qual consiste na operação de drill-down sobre a consulta Qnew1, tornando-se dez vezes mais seletiva. . . . . . . . . . . . . . . . . . 75 Figura 4.8 – Quantidade percentual de registros que são agregados de cada RegionServer, agrupados por consulta, considerando SF = 10. . . . . . . . . . . . . . . . . 78 Figura 4.9 – Quantidade percentual de registros que são agregados de cada RegionServer, agrupados por consulta, considerando SF = 20. . . . . . . . . . . . . . . . . 79 Figura 4.10–Tempo médio de processamento de consultas que agregam dados de soma total. 81 Figura 4.11–Tempo médio de processamento de consultas que agregam dados divididos em categorias, ou seja, possuem a cláusula group by. . . . . . . . . . . . . . 82 Figura 4.12–Tempo médio de processamento de consultas Qnew1 e Qnew2, que realizam duas agregações dos dados divididos em longas categorias. . . . . . . . . . 82 Figura 4.13–Tempo decorrido das consultas de classe 4 (Q4.1, Q4.2 e Q4.2) conforme varia-se a quantidade máxima de processos Reduce definidos. . . . . . . . . 84 Figura 4.14–Tempo decorrido de consultas OLAP sobre um arquivo de texto desnormalizado, correspondente ao valor 20 de SF. . . . . . . . . . . . . . . . . . . . 86 Figura 4.15–Tempo decorrido de consultas OLAP sobre o esquema FactDate do HBase. . 86 Figura 4.16–Tempo decorrido de consultas OLAP sobre o esquema FactDate do HBase, variando o tamanho dos RegionServers. . . . . . . . . . . . . . . . . . . . . 87 Figura 4.17–Teste de escalabilidade, considerando a comparação do tempo médio de processamento das consultas sobre uma mesma base de dados, variando a quantidade de nós utilizados no processamento das consultas. . . . . . . . . 89 Figura 4.18–Percentual de ganho de desempenho das quatro categorias de consultas, ao comparar o tempo de processamento de uma consulta em 4 nós com o tempo decorrido dessa mesma consulta em 2 nós. . . . . . . . . . . . . . . . . . . 90 Figura 4.19–Tempo de processamento das consultas OLAP iterativas, organizada por classe de consultas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 Figura 4.20–Análise do tempo das consultas iterativas, variando o volume de dados nos valores 10, 50 e 100 de SF. . . . . . . . . . . . . . . . . . . . . . . . . . . 95 Figura A.1 – Exemplo de uma instância do SSB, mostrando como essa tupla foi traduzida para o formato JSON, para que possa ser armazenada no MongoDB. . . . . 110 Figura A.2 – Consulta Q1.1 da carga de trabalho do SSB, representada de duas formas para ser processada dentro do MongoDB. . . . . . . . . . . . . . . . . . . . 111 Figura A.3 – Consulta Q4.2 da carga de trabalho do SSB, traduzida para comandos MapReduce. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 Figura A.4 – Tempo de processamento das consultas no MongoDB, em contraste com o processamento dessas mesmas consultas no HBase, usando os esquemas SameCF e FactDate. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

Avaliação do Star Schema Benchmark aplicado a bancos de dados NoSQL distribuídos e orientados a colunas