 |
Sobre a Cortex Intelligence
A Cortex Intelligence é a plataforma de inteligência líder em marketing e vendas no Brasil. A Cortex aplica ciência de dados e Big Data nas suas soluções para os clientes, utilizando como fontes principais bases de dados de mercado e informações internas dos seus clientes.
A plataforma permite que os usuários gerem seus próprios insights de forma autônoma e contínua, possibilitando o tracking da efetividade das suas ações nos resultados dos seus negócios.
Como a Cortex lida com grandes quantidades de dados, características como poder de processamento e agilidade são essenciais para o seu negócio.
O Desafio
O cliente da Cortex era uma empresa multinacional de bens de consumo. Ela atua no mercado brasileiro em todas as regiões em diversas categorias (produtos de limpeza, higiene e beleza, alimentação etc).
Eles possuem uma área de análise de mercado, cujo objetivo é realizar análises de desempenho dos diversos varejistas “clientes-finais”. Nessas análises eles precisam analisar, na granularidade do produto, quais possuem um desempenho de vendas bom em relação ao mercado, levando em consideração também a composição ótima do sortimento das lojas. Cada categoria de produto, no entanto, possui cerca de 2 a 5 milhões de registros de dados por mês, totalizando um volume de trabalho total de quase 100 milhões de registros.
A empresa lidava com as análises desses dados de uma forma manual: apesar de os dados já estarem armazenados no Cortex, havia uma série de tratamentos e comparações que eram realizadas em ferramentas como Excel – um verdadeiro “ETL Offline”. Até então, o processo era feito de forma manual. As bases de dados eram baixadas, importadas em tabelas e trabalhadas uma a uma. Esse fluxo manual levava em torno de 10 a 14 dias para ser concluído. Isso dificultava o trabalho dos analistas de negócios, que esperavam todo esse tempo para ter acesso à análise solicitada, e limitava profissionais a essa única tarefa. Além de não ser escalável, gerava um potencial para uma série de erros.
A área de Gestão de Categorias teria sucesso na sua atividade caso conseguissem, por meio de análises sob demanda e rápidas, identificar a distribuição mais adequada para os sortimentos dos produtos para cada grupo de lojas de um determinado cliente.
A Solução
A Solvimm foi contratada para desenvolver e automatizar todo o fluxo de ETL para o sortimento dos dados na plataforma da Cortex, pensando na integração e otimização para análise de grandes varejistas e 10 segmentos de produtos. Buscava-se diminuir o tempo de execução de maneira escalável, aumentar a velocidade do negócio, liberando os profissionais para outras tarefas, e reduzir custos.
Para isso, optou-se por utilizar uma arquitetura serverless, orientada a microsserviços. Essa abordagem foi escolhida porque os fluxos de processamento são pontuais e intensos, além disso, a análise é feita sob demanda pelos analistas de negócios.
Dessa forma, utilizou-se o AWS Lambda para realizar a transformação dos dados dentro do fluxo de ETL. O Lambda é um serviço altamente disponível, escalável e redundante, sendo também pago por uso, o que reduziu drasticamente o custo por análise.
Assim, quando uma análise é solicitada, o API Gateway, serviço gerenciado da AWS que facilita o desenvolvimento e gerenciamento de APIs, faz uma chamada para uma função Lambda que inicia o pipeline através do Amazon SNS, um serviço que coordena a entrega de mensagens. O pipeline disparado busca os dados brutos no serviço de banco de dados relacional gerenciado, o Amazon RDS. Ao retornar, os dados são processados pelo Lambda e entregues à aplicação da Cortex para exibição da análise.
O analista não precisava mais ficar refém dos processos manuais de baixar e preparar os dados. Além disso, todos os critérios de negócio foram parametrizados na plataforma e incorporados, de forma dinâmica, ao processamento dos dados escolhidos. Isso significa que o cliente final poderá realizar diversas combinações de critérios que estão parametrizados na interface do Cortex e são sempre atualizados no momento do disparo do fluxo ETL.
O Resultado
Com a automatização do fluxo de ETL, o tempo médio de processamento foi reduzido de uma a duas semanas para 5 a 20 minutos (dependendo do volume de dados e lojas), que significa uma otimização de 99,76%. Além disso, os erros associados ao processamento manual foram reduzidos a eventuais erros de parametrização.
A automatização do fluxo e consequente agilidade na geração de análises aumentaram a interação entre a Cortex e o seu cliente, e do cliente com os varejistas que ele auxilia – agora os analistas podem realizar análises prévias horas antes de uma reunião com o cliente. Outro ponto crucial é que, como as análises passadas ficam armazenadas no Cortex, elas podem ser utilizadas por outros analistas ou como base de comparação de análises futuras.
Essa solução também reduziu os custos com o processamento, levando em consideração valor-hora do trabalho humano realizado e a escalabilidade dos fluxos, que agora são desencadeados de acordo com a demanda.
Depoimento
Solvimm desenvolveu um projeto ETL muito complexo com a Cortex. Forneceu não apenas a estrutura da AWS, mas também desenvolveu um fluxo de dados complexo, integrado à nossa plataforma de BI. Os profissionais estão acostumados a uma dinâmica ágil e foi fácil atingir as metas intermediárias e finais do projeto.
Eduardo Rodrigues, Head of Professional Services
Entre em Contato
Se tiver interesse em saber como a Solvimm pode ajudar a solucionar desafios, entre em contato conosco e converse com os nossos especialistas.