Uma arquitetura para suporte à mineração de dados paralela e distribuída em ambientes de computação de alto desempenho

Abstract

Este trabalho apresenta uma arquitetura para suporte à execução de tarefas de mineração de dados em ambientes de computação de alto desempenho, tais como: clusters, máquinas SMP e grades. Esta arquitetura automatiza o processo de dimensionamento da aplicação paralela, criando ferramentas para a construção automática de tarefas, mapeamento, gerência e execução dessas aplicações nos recursos computacionais disponíveis. Os mecanismos criados para a execução de aplicações de mineração possibilitam a combinação do paralelismo do fluxo de dados e de instruções. Como contribuição do trabalho, destaca-se a organização da arquitetura proposta e a criação de um algoritmo para mapeamento de aplicações de mineração paralelas em ambientes computacionais heterogêneos. Enfatiza-se o suporte ao aproveitamento de recursos com múltiplos núcleos de processamento (multi-cores). Além disso, apresenta-se a paralelização de um algoritmo de mineração de dados para regressão.

In this paper, we present an architecture to support the execution of data mining applications on high performance computing environments such as clusters, SMP and grids. This architecture automates the process of parallel applications sizing, presenting tools for automatic construction of parallel tasks, automatic scheduling, managing and execution of these applications on high performance computing environments. The mechanisms created for executing mining applications make it possible to explore both data and instruction parallelism. The main contributions of this work are the organization of the proposed architecture and the creation of an algorithm for mapping parallel data mining applications on heterogeneous computational environments. The support of multi-core resources is taken on account. Furthermore, we present the parallelization of a data mining algorithm for regression.