Delayed Transfer Entropy applied to Big Data
Recent popularization of technologies such as Smartphones, Wearables, Internet of Things, Social Networks and Video streaming increased data creation. Dealing with extensive data sets led the creation of term big data, often defined as when data volume, acquisition rate or representation demands non...
Main Author: | |
---|---|
Other Authors: | |
Format: | Others |
Language: | en |
Published: |
Biblioteca Digitais de Teses e Dissertações da USP
2018
|
Subjects: | |
Online Access: | http://www.teses.usp.br/teses/disponiveis/18/18153/tde-19022019-134228/ |
id |
ndltd-usp.br-oai-teses.usp.br-tde-19022019-134228 |
---|---|
record_format |
oai_dc |
spelling |
ndltd-usp.br-oai-teses.usp.br-tde-19022019-1342282019-05-09T20:18:08Z Delayed Transfer Entropy applied to Big Data Delayed Transfer Entropy aplicado a Big Data Dourado, Jonas Rossi Análise de Big Data Big Data analysis Causalidade Causality Cluster heterogêneo de computadores Delayed Transfer Entropy Delayed Transfer Entropy Estratégias de paralelismo Heterogeneous computer cluster Parallelism strategies Surrogate Surrogate Recent popularization of technologies such as Smartphones, Wearables, Internet of Things, Social Networks and Video streaming increased data creation. Dealing with extensive data sets led the creation of term big data, often defined as when data volume, acquisition rate or representation demands nontraditional approaches to data analysis or requires horizontal scaling for data processing. Analysis is the most important Big Data phase, where it has the objective of extracting meaningful and often hidden information. One example of Big Data hidden information is causality, which can be inferred with Delayed Transfer Entropy (DTE). Despite DTE wide applicability, it has a high demanding processing power which is aggravated with large datasets as those found in big data. This research optimized DTE performance and modified existing code to enable DTE execution on a computer cluster. With big data trend in sight, this results may enable bigger datasets analysis or better statistical evidence. A recente popularização de tecnologias como Smartphones, Wearables, Internet das Coisas, Redes Sociais e streaming de Video aumentou a criação de dados. A manipulação de grande quantidade de dados levou a criação do termo Big Data, muitas vezes definido como quando o volume, a taxa de aquisição ou a representação dos dados demanda abordagens não tradicionais para analisar ou requer uma escala horizontal para o processamento de dados. A análise é a etapa de Big Data mais importante, tendo como objetivo extrair informações relevantes e às vezes escondidas. Um exemplo de informação escondida é a causalidade, que pode ser inferida utilizando Delayed Transfer Entropy (DTE). Apesar do DTE ter uma grande aplicabilidade, ele possui uma grande demanda computacional, esta última, é agravada devido a grandes bases de dados como as encontradas em Big Data. Essa pesquisa otimizou e modificou o código existente para permitir a execução de DTE em um cluster de computadores. Com a tendência de Big Data em vista, esse resultado pode permitir bancos de dados maiores ou melhores evidências estatísticas. Biblioteca Digitais de Teses e Dissertações da USP Maciel, Carlos Dias 2018-11-30 Dissertação de Mestrado application/pdf http://www.teses.usp.br/teses/disponiveis/18/18153/tde-19022019-134228/ en Liberar o conteúdo para acesso público. |
collection |
NDLTD |
language |
en |
format |
Others
|
sources |
NDLTD |
topic |
Análise de Big Data Big Data analysis Causalidade Causality Cluster heterogêneo de computadores Delayed Transfer Entropy Delayed Transfer Entropy Estratégias de paralelismo Heterogeneous computer cluster Parallelism strategies Surrogate Surrogate |
spellingShingle |
Análise de Big Data Big Data analysis Causalidade Causality Cluster heterogêneo de computadores Delayed Transfer Entropy Delayed Transfer Entropy Estratégias de paralelismo Heterogeneous computer cluster Parallelism strategies Surrogate Surrogate Dourado, Jonas Rossi Delayed Transfer Entropy applied to Big Data |
description |
Recent popularization of technologies such as Smartphones, Wearables, Internet of Things, Social Networks and Video streaming increased data creation. Dealing with extensive data sets led the creation of term big data, often defined as when data volume, acquisition rate or representation demands nontraditional approaches to data analysis or requires horizontal scaling for data processing. Analysis is the most important Big Data phase, where it has the objective of extracting meaningful and often hidden information. One example of Big Data hidden information is causality, which can be inferred with Delayed Transfer Entropy (DTE). Despite DTE wide applicability, it has a high demanding processing power which is aggravated with large datasets as those found in big data. This research optimized DTE performance and modified existing code to enable DTE execution on a computer cluster. With big data trend in sight, this results may enable bigger datasets analysis or better statistical evidence. === A recente popularização de tecnologias como Smartphones, Wearables, Internet das Coisas, Redes Sociais e streaming de Video aumentou a criação de dados. A manipulação de grande quantidade de dados levou a criação do termo Big Data, muitas vezes definido como quando o volume, a taxa de aquisição ou a representação dos dados demanda abordagens não tradicionais para analisar ou requer uma escala horizontal para o processamento de dados. A análise é a etapa de Big Data mais importante, tendo como objetivo extrair informações relevantes e às vezes escondidas. Um exemplo de informação escondida é a causalidade, que pode ser inferida utilizando Delayed Transfer Entropy (DTE). Apesar do DTE ter uma grande aplicabilidade, ele possui uma grande demanda computacional, esta última, é agravada devido a grandes bases de dados como as encontradas em Big Data. Essa pesquisa otimizou e modificou o código existente para permitir a execução de DTE em um cluster de computadores. Com a tendência de Big Data em vista, esse resultado pode permitir bancos de dados maiores ou melhores evidências estatísticas. |
author2 |
Maciel, Carlos Dias |
author_facet |
Maciel, Carlos Dias Dourado, Jonas Rossi |
author |
Dourado, Jonas Rossi |
author_sort |
Dourado, Jonas Rossi |
title |
Delayed Transfer Entropy applied to Big Data |
title_short |
Delayed Transfer Entropy applied to Big Data |
title_full |
Delayed Transfer Entropy applied to Big Data |
title_fullStr |
Delayed Transfer Entropy applied to Big Data |
title_full_unstemmed |
Delayed Transfer Entropy applied to Big Data |
title_sort |
delayed transfer entropy applied to big data |
publisher |
Biblioteca Digitais de Teses e Dissertações da USP |
publishDate |
2018 |
url |
http://www.teses.usp.br/teses/disponiveis/18/18153/tde-19022019-134228/ |
work_keys_str_mv |
AT douradojonasrossi delayedtransferentropyappliedtobigdata AT douradojonasrossi delayedtransferentropyaplicadoabigdata |
_version_ |
1719066974700437504 |