Você já ouviu falar em “Data Warehouse”? Se sim, você sabe o que significa e para que serve? Fizemos uma abordagem prática a respeito deste conceito, confira abaixo.
O que é Data Warehouse?
Existem diversas definições para Data Warehouse, tais como:
- Também conhecido como DW ou Armazém de dados, o Data Warehouse representa uma grande base de dados utilizada para apoiar as decisões do negócio;
- O Data Warehouse funciona como um repositório de dados no qual possibilita a análise de grandes volumes de dados registrados pelos sistemas transacionais;
- O Data Warehouse é um banco de dados especializado em consultas e análises gerenciais;
Para você entender melhor este conceito, é importante que conheça o dia-a-dia de uma empresa, assim como seus desafios e obstáculos. Elaboramos um exemplo para ilustrar a aplicação deste conceito.
Para que serve o Data Warehouse?
Vamos a um exemplo prático para reforçar o que representa um Data Warehouse.
Um exemplo para você entender a importância do Data Warehouse
Imagine que duas pessoas abriram uma loja de roupas em uma determinada região e que diariamente eram realizadas 10 vendas. As vendas, por sua vez, eram registradas em um sistema com um banco de dados. Com o passar do tempo, a loja passou a ser mais conhecida pelos moradores locais e, consequentemente, as vendas começaram a decolar. Os dados referente aos clientes, vendas e produtos também cresceram bastante. A loja precisou contratar mais colaboradores para atender a toda demanda. Por exemplo, um profissional de gestão de pessoas para cuidar da parte da contratação de pessoal, um setor de financeiro para administrar as finanças da empresa, um comercial para atender os clientes, e assim por diante. Todo esse pessoal utilizam basicamente o mesmo sistema e banco de dados adotados juntamente com a abertura da loja.
O sistema implantado por esta loja, assim como a maioria dos sistemas do mercado, possui um banco de dados otimizado para transações, ou seja, ele é adequado e ágil para operações de inclusão, alteração e exclusão, seja de vendas, produtos, clientes, entre outros dados.
Os funcionários da loja de roupa responsáveis em fazer análises gerenciais dos dados da empresa, precisam consultar constantemente todos esses dados. Por exemplo, o setor de RH precisa de um relatório de vendas e comissões, enquanto o pessoal do comercial precisa de um relatório para acompanhar as metas de vendas. Neste caso, o sistema implantado, por si só, não conseguirá atender bem a todas solicitações de maneira ágil e efetiva.
Será preciso que a loja adere a uma das quatro estratégias abaixo:
Crescimento horizontal – Melhorar o poder de processamento
Substituir o servidor atual por um mais robusto e potente. Para empresas de pequeno e médio porte, essa alternativa irá praticamente resolve o problema. Se a empresa for de grande porte, há outra alternativa que pode ser adotada. Neste caso, a empresa precisa crescer verticalmente, conforme mostrado abaixo.
Crescimento vertical – Duplicação do banco de dados
Uma cópia do banco de dados pode ser a solução para atender à toda empresa de maneira ágil. Enquanto os vendedores registram os novos e clientes e respectivas vendas no no banco de dados, os funcionários de RH e financeiro irão trabalhar com uma cópia do banco de dados que é atualizada regularmente quando necessário. Para calcular comissões, por exemplo, não é necessário dos dados em tempo real para a emissão de relatórios.
A vantagem desse modelo é o custo acessível. Basta comprar um novo servidor e realizar uma cópia do banco de dados. O gerenciamento entre os servidores também é considerada prática, uma vez que é necessário fazer basicamente a cópia do banco de dados de um servidor para o outro.
Como desvantagem, citamos a necessidade de um profissional com experiência que entenda do funcionamento de todo o negócio e sistema, para assim conseguir emitir os relatórios devidos. Uma outra desvantagem se diz respeito ao não reaproveitamento do processamento, ou seja, toda vez que um colaborador precisa emitir um relatório, torna-se necessário que o servidor processe tudo novamente, consumindo recurso computacional, energia, deixando o sistema mais lento, e etc.
De acordo com o tamanho da empresa, é necessário então recorrer a uma outra alternativa. Confira abaixo.
Crescer verticalmente e implantar um Data Warehouse
Como funciona isso? O sistema irá basicamente continuar registrando as informações de produtos, vendas, clientes, entre outros. No entanto, será criado também um novo banco de dados, só que não tratando-se de uma cópia do original, assim como a alternativa mostrada acima. Esse novo banco será estruturado de maneira personalizada, conforme a necessidade dos setores internos da empresa. Por exemplo, haverá uma seção neste banco de dados responsável pelas informações de folha de pagamentos dos funcionários da empresa, e uma outra para acompanhamento de metas do comercial. Desta maneira, o DW não estará consumindo o recurso computacional quando for necessário emitir um relatório.
Como os bancos Data Warehouse são alimentadas?
Os bancos de Data Warehouse são alimentados por meio da tecnologia ETL, que basicamente são responsáveis por coletar as informações da base de produção, transformá-la no formato necessário e, ao invés de fornecer o relatório na tela, ele é salvo nas tabelas do DW.
Confira algumas vantagens da aplicação deste modelo: Alta performance – uma vez que os usuários estão distribuídos e cada um acessa o servidor que precisa, facilidade na montagem de consultas e análise de dados – uma vez que os dados estão organizados adequadamente da maneira que as pessoas precisam, e reaproveitamento do processador – uma vez executado o ETL, os dados serão transformados e todos poderão se beneficiar disso.
As desvantagens desse modelo são: o alto gerenciamento que acabam saindo caro para as empresas. Apesar disso, o modelo é muito popular nas grandes empresas por conta dos benefícios e vantagens que ele proporciona a todos.
Para finalizar, vamos imaginar que a loja de roupas deste exemplo tornou-se uma multinacional, com pessoas do mundo inteiro acessando seu Data Warehouse. E suponha também que isso fez com que o seu sistema e banco DW passassem a ser insuficientes para atender a todos. Nesta situação, considerando que a empresa possui um servidor para a produção e um outro para o DW, pode-se então aumentar o número de servidores. Se não for viável, pode-se duplicar os DWs, de maneira que cada setor acesse uma cópia deste banco. Se isso não resolver o problema, há ainda um outro caminho a seguir: criar Sub-DWs. Veja abaixo:
Crescer Verticalmente criando Sub-DWs
Neste caso, a empresa vai permanecer com a sua base de produção, faz o ETL e cria o DW, e após isso, é criado um novo ETL para salvar os dados em um Data Marts, que são Sub-Data Warehouses, especializados em uma determinada área ou linha de negócio. No caso de nosso exemplo, poderia ter um Data Mart para o RH no Brasil, um Data Mart para o comercial na Europa, outro para o financeiro na China, e assim por diante.
Se você gostou dessa abordagem prática a respeito do conceito Data Warehouse, compartilhe este post com seus amigos. =D
