 |
Dentre os pilares do Well Architected Framework, o pilar de Excelência Operacional está relacionado à habilidade de sustentar aplicações, ganhar insights da operação, melhoramento contínuo, a fim de produzir valor para o negócio. O pilar de Excelência Operacional olha para aspectos de executar operações como código, fazer alterações frequentes, pequenas e reversíveis, refinar procedimentos de operações com frequência, antecipar falhas e aprendizado com todas as falhas operacionais.
Já quando estamos tratando do ponto de vista workloads de Data & Analytics, que são as aplicações construídas com uso ou para uso intensivo de dados, além desses pontos básicos, alguns extras devem ser adicionados para tratarmos as especificidades de aplicação de uso intensivo de dados. Vamos a elas:
Monitorar a saúde dos pipelines de transformação de Dados
Depois que os pipelines de transformação de Dados estão no ar, no ambiente de produção, a etapa de manutenção entra em ação. A manutenção do pipeline envolve toda parte de Operabilidade, simplicidade e capacidade de evolução do sistema. Com isso em mente, como podemos garantir que as pipelines de transformação de Dados estão saudáveis?
Diferentemente de outros workloads, os pipelines de dados precisam garantir não só que o sistema e a infraestrutura estejam funcionando, mas também que os dados que estão trafegando por aqueles pipelines estão com qualidade.
Construir uma estrutura de monitoramento de saúde dos pipelines então envolve conseguir responder perguntas como:
- Todos os workloads envolvidos estão funcionando?
- O processo de coordenação dos pipelines está de acordo com o esperado?
- Cada componente individual está saudável, conseguindo suportar as demandas, ou seja, o fluxo de dados necessário?
- O fluxo como um todo está operando, ou seja, todas as pequenas partes envolvidas estão saudáveis e a relação entre elas está funcionando conforme o esperado
Modernização de deploy de aplicação de Analytics
Se por um lado as aplicações de dados são um pouco diferente de outros workloads quando estamos tratando da saúde dos pipelines de extração, transformação e carga de dados – ETLs (Extract Transform and Load), o envio das mudanças para produção em pequenas partes, reproduzíveis e automatizadas são iguais.
Práticas de integração contínua e de entrega contínua devem estar presentes nos pipelines de transformação de dados para garantir que novas funcionalidades, novos pipelines e correções vão o mais rápido possível para produção com garantia de qualidade, onde a garantia estará na implementação de testes automatizados para testar infraestrutura, o código, os dados e as transformações de dados.
Para garantir a qualidade de entrega veloz, pontos importantes para análise são:
- Os pipelines de transformação de dados vão para produção de forma automatizada?
- Conseguimos garantir que todos os ETLs são reproduzíveis em outras contas?
- Existem testes para assegurar que os pipelines de transformação de dados que estão indo para produção estão funcionando como deveriam?
Modelo de financeiro de accountability para uso e workloads de dados
Não temos uma palavra em português que englobe accountability de forma completa. Para esse contexto, de accountability financeiro, estamos interessados naquelas atividades que não podem ser compartilhadas nem delegadas. Por exemplo, como cada time e pessoa estão usando os recursos financeiros para interagir com os produtos de dados?
Os pipelines de dados vão sendo construídos, em geral, com objetivo de criar uma plataforma de dados para que outras áreas consigam utilizar esses dados para criação de produtos, sejam eles gerados por análise, integração e/ou modelos de ciência de dados. Para garantir o retorno sobre esse investimento (ROI), os usuários desses pipelines devem estar cientes de como o uso de dados onera o orçamento para que possam criar estratégias para seu melhor uso.
Alguns pontos que podemos levantar sobre isso são:
- Existe um modelo de uso de recursos de dados?
- Os times e pessoas que usam os dados gerados pelos pipelines de dados entendem como isso impacta o custo de toda organização?
- Existe alguma iniciativa para promover a cultura de frugalidade e accoutability?
Ficou interessado em como podemos endereçar cada um desses pontos com tecnologias, técnicas e boas práticas em ambientes de dados e computação em nuvem? Não deixe de acompanhar os próximos artigos desta série do Well Architected com foco em Data & Analytics.