| Abstract: | O volume de dados na rede global está atingindo uma escala sem precedentes exigindo mudanças tecnológicas em diferentes espectros da computação para lidar com a crescente necessidade de desempenho. Embora as complexidades dos dados tenham aumentado, o impacto real depende da capacidade de extração e transformação desses conjuntos maciços de dados brutos e variados para extrair informações valiosas. Obter informações sobre esses dados derivou um amplo espectro para análise de Big Data. A análise de dados representou um grande desafio ao projetar sistemas de gerenciamento de recursos altamente escaláveis para integrar, extrair e transformar dados brutos em informações, mantendo a experiência dos usuários e as expectativas dos negócios. Os sistemas de gerenciamento de recursos para Big Data geralmente consolidam aplicativos e usam virtualização em nível de sistema operacional (contêineres) para permitir o compartilhamento de recursos e melhorar a eficiência. No entanto, o desempenho ainda varia imprevisivelmente devido à competição no acesso a recursos compartilhados como CPU, memória, disco e rede. A intuição inicial que motiva o desenvolvimento desse trabalho é capacidade dos processadores modernos de disponibilizar informações que possam ser usadas para classificar a interferência emanada de aplicativos em contêiner. Portanto, conjeturamos que os clusters que interpresetam esses dados podem acelerar as aplicações no processo de análise de Big Data e melhorar a eficiência de recursos. Para confirmar nossa tese, primeiro estudamos as necessidades de desempenho de Big Data e os pontos fracos existentes no isolamento de desempenho de contêineres.Obtendo informações desses estudos para propor uma colocação de contêiner com reconhecimento de interferência, reunimos tudo isso em um protótipo de planejador com reconhecimento de interferência, que resultou em ganhos de até 35% no desempenho da programação e 42% na eficiência dos recursos, portanto, confirmando a tese. .
World’s gigantic data collection is reaching a crucial point for significant technological changes to deal with the immense variety and performance needs. While the complexities of data have been increasing, the real impact depends on the ability of extraction and transformation of these massive and varied raw data sets to uncover valuable information. Gaining insights into this information has led to the area of Big Data analytics. Data analysis has represented a major challenge in designing highly scalable resource management systems to integrate, extract and transform data into information, while maintaining users’ experience and business’ expectation. Resource management systems for Big Data generally consolidate applications and use system-level virtualization (containers) to enable resource sharing and improve efficiency, but performance still vary unpredictably due to the competition in access to shared resources like CPU, memory, disk and network. The initial intuition motivating our work is that the system-level information availability could be used to classify the interference emanate from containerized applications. We therefore conjecture that interference-aware clusters may speed up applications to accelerate Big Data analytics and improve resource-efficiency, while maintaining users’ experiences and business’ expectations. To confirm our thesis, we first studied Big Data performance needs and existing container system performance isolation weaknesses. Gaining insight from these studies to propose an container placement with interference recognition, we put all these together in an interference-aware scheduler prototype, which resulted in gains of up to 35% in scheduling performance and 42% in resource efficiency, thus, confirming the thesis. |
