fbpx

Cortex Intelligence – Big Data para Sortimento de Produtos

Sobre o Atende Simples

A Cortex Intelligence é a plataforma de inteligência líder em marketing e vendas no Brasil. A Cortex usa a ciência de dados e Big Data em informações retiradas do mercado e dos negócios de clientes. Essas informações são organizadas para gerar insights que possam agregar valor e melhorar os resultados dos seus clientes.

Como a Cortex lida com grandes quantidades de dados que auxiliam as análises dos usuários da plataforma, poder de processamento e agilidade são essenciais para o seu negócio.

O Desafio

A empresa estava desenvolvendo um sistema para automatizar o processo de ETL (Extração, Transformação e Carregamento) dos dados de venda de diversas lojas. Isso aumentaria a velocidade das análises de negócio, que identificariam a distribuição mais adequada para os sortimentos dos produtos para cada grupo de lojas. Até então, todo o processo de sortimento era feito de forma manual. As bases de dados eram baixadas, importadas em tabelas e trabalhadas uma a uma.

Esse fluxo manual levava em torno de 10 a 14 dias para ser concluído. Isso dificultava o trabalho dos analistas de negócios, que esperavam todo esse tempo para ter acesso à análise solicitada, e limitava profissionais da Cortex a essa única tarefa. Além disso, como é um processo manual, ocorriam muitos erros, que demandavam ainda mais tempo para serem analisados e tratados.

A Solução

A Solvimm foi contratada para desenvolver e automatizar todo o fluxo de ETL para o sortimento dos dados de uma grande varejista na plataforma da Cortex. Buscava-se diminuir o tempo de execução de maneira escalável, aumentar a velocidade do negócio, liberando os profissionais para outras tarefas, e reduzir custos.

Para isso, optou-se pela arquitetura serverless, orientada a microsserviços. Essa arquitetura foi escolhida porque os fluxos de processamento são pontuais e intensos, além disso, a análise é feita sob demanda pelos analista de negócios.

Dessa forma, utilizou-se o AWS Lambda para realizar a transformação dos dados dentro do fluxo de ETL. O Lambda é um serviço altamente disponível, escalável e redundante, sendo também pago por uso, o que reduziu drasticamente o custo por análise.

Assim, quando uma análise é solicitada, o API Gateway, serviço da AWS que age como um proxy, dispara a requisição para um Lambda que inicia o pipeline através do Amazon SNS, um serviço que coordena a entrega de mensagens. O pipeline disparado busca os dados brutos no banco de dados relacional, chamado AWS RDS. Ao retornar, os dados são processados pelo Lambda e entregues à aplicação da Cortex para exibição da análise.

O Resultado

Com a automatização do fluxo de ETL, o tempo médio de processamento foi reduzido de 14 dias para 2 minutos. Além disso, os erros associados ao processamento manual foram reduzidos. A automatização do fluxo e consequente agilidade na geração de análises aumentaram a interação entre a Cortex e o seu cliente. Essa solução também reduziu os custos com o processamento, levando em consideração valor-hora do trabalho humano realizado e a escalabilidade dos fluxos, que agora são desencadeados de acordo com a demanda.