 |
Conceito
ETL é uma técnica de integração de dados que surgiu da necessidade dos negócios de reunir dados de fontes diversificadas para que pudessem ser analisados. A sigla se refere às três etapas pelas quais os dados passam antes de estarem prontos para uso: Extração, Transformação e Carga (em inglês, Extraction, Transformation e Load).
Na etapa de extração, os dados são transferidos dos sistemas nos quais foram gerados para uma staging area, onde são convertidos para um formato padrão. Depois, na etapa de transformação, os dados são tratados e conformados a regras, que facilitarão a sua leitura em um momento posterior. Então, são carregados em um data warehouse, onde estão prontos para leitura. Esses passos podem ser seguidos simultaneamente, sem que seja necessário esperar a conclusão da etapa de extração para então começar a etapa de transformação, por exemplo.
Essa técnica pode ser confundida com o ELT (em inglês, Extraction, Load e Transformation), no qual a etapa de carregamento é feita antes da transformação, que se dá no banco de dados. A diferença entre o ELT e o ETL é que, no primeiro, o processamento é feito pelo banco de dados, sem a presença de um mecanismo auxiliar na etapa de transformação.
Abaixo, alguns dos benefícios proporcionados pelo ETL.
Benefícios
Histórico dos dados
Ao reunir as informações do negócio em um repositório, o ETL fornece um histórico da empresa e auxilia a produção de relatórios e análises sobre dados relevantes para iniciativas corporativas.
Fácil de usar
Ferramentas de ETL eliminam a necessidade de programar o código para extrair e processar dados. Isso já é feito pela ferramenta, basta especificar as fontes dos dados e as regras para a sua transformação.
Funções avançadas para categorizar e limpar dados
Ferramentas ETL possuem muitas funções para auxiliar na limpeza e categorização de dados. Além disso, o uso dessas ferramentas apresenta vantagens na transferência e transformação de um grande volume de dados com regras complexas, simplificando seu cálculo, mudança e integração.
Metainformação
Os metadados, ou seja, informações sobre como identificar, localizar e compreender os dados, são gerados automaticamente pelas aplicações ETL. Isso reduz falhas e auxilia a administração desses dados.
Aplicações
O ETL é usado para integração de dados desde os anos 1970, quando os bancos de dados começaram a fazer parte do cotidiano das organizações, e teve sua popularidade reforçada no final década de 1980, com a incorporação dos data warehouses. Hoje em dia, no contexto do Big Data, a técnica ETL continua relevante.
Dessa forma, as ferramentas ETL evoluíram para suportar integração com outros sistemas, além dos data warehouses tradicionais: sistemas transacionais, armazenamento de dados operacionais, plataformas de BI (Business Intelligence), centralizadores MDM (master data management), plataforma Hadoop e a nuvem.
ETL é, portanto, uma técnica que agrega valor a diferentes áreas de negócios ao simplificar o processo de integração de dados. IBM InfoSphere DataStage, Informatica PowerCenter, Microsoft SSIS, Oracle Data Integrator e Matillion são algumas ferramentas ETL.