N\u00e3o \u00e9 exagero dizer que os dados s\u00e3o uma esp\u00e9cie de mat\u00e9ria-prima dos neg\u00f3cios. Afinal, \u00e9 por meio do trabalho com eles que as empresas ter\u00e3o repert\u00f3rio e conhecimento para tomar decis\u00f5es de mercado cada vez mais acertadas, com base em fontes confi\u00e1veis.<\/p>\n
Nesse contexto, duas solu\u00e7\u00f5es se destacam: data warehouse e data mining. Enquanto uma se responsabiliza pelo armazenamento e a centraliza\u00e7\u00e3o, a outra descreve um processo no qual os dados s\u00e3o transformados em algo inteiramente novo.<\/p>\n
Neste post, falaremos mais sobre o conceito, a diferen\u00e7a entre data warehouse e data mining e quais s\u00e3o os benef\u00edcios de cada uma das solu\u00e7\u00f5es. Boa leitura!<\/p>\n
Pela sua tradu\u00e7\u00e3o, o termo significaria, simplesmente, “armaz\u00e9m de dados”. Contudo, ele extrapola o conceito de mero banco de dados, uma vez que se trata de um grande reposit\u00f3rio, em que informa\u00e7\u00f5es de fontes diversas s\u00e3o armazenadas de maneira centralizada<\/a>, em um \u00fanico local.<\/p>\n Um profissional especializado consegue utilizar um data warehouse para armazenar, coletar, limpar e transformar dados de v\u00e1rias fontes. N\u00e3o \u00e0 toa, essa solu\u00e7\u00e3o costuma ser utilizada como base para an\u00e1lises avan\u00e7adas, como no uso de tecnologias de ci\u00eancia de dados, como o big data e o business intelligence<\/a>.<\/p>\n Como o data warehouse n\u00e3o \u00e9 vol\u00e1til (quando informa\u00e7\u00f5es s\u00e3o apagadas ap\u00f3s o uso), o data warehouse \u00e9 capaz de registrar todas as altera\u00e7\u00f5es realizadas nos arquivos e novas entradas.<\/p>\n Esse enorme armaz\u00e9m \u00e9 muito utilizado para apoiar as decis\u00f5es das empresas e oferecer o acesso a dados hist\u00f3ricos e atuais, o que \u00e9 importante para fomentar an\u00e1lises avan\u00e7adas.<\/p>\n Por meio do trabalho com os dados alocados no data warehouse, os gestores e profissionais especializados poder\u00e3o gerar relat\u00f3rios, descobrir insights para orientar suas decis\u00f5es de neg\u00f3cio e at\u00e9 mesmo basear suas campanhas promocionais com base no que foi analisado no trabalho com essa solu\u00e7\u00e3o digital.<\/p>\n Um exemplo pr\u00e1tico: imagine uma empresa que comercialize roupas e cal\u00e7ados. Ela come\u00e7a devagar, com apenas uma loja. Contudo, em alguns meses ela come\u00e7a a expandir significativamente suas opera\u00e7\u00f5es e se transforma em uma pot\u00eancia dentro do setor.<\/p>\n No come\u00e7o, como o n\u00edvel de atividade geral da empresa ainda estava reduzido, ela tamb\u00e9m n\u00e3o gerava tantos dados. J\u00e1 quando a organiza\u00e7\u00e3o expandiu significativamente seu p\u00fablico, ela passou a gerar uma grande quantidade de dados, que eram oriundos de diversas fontes \u2014 hist\u00f3rico de vendas, cadastro dos clientes, informa\u00e7\u00f5es de campanhas, entre outras.<\/p>\n Desse modo, grandes volumes de dados passaram a ser gerados a todo momento, criando diversos bancos de dados conforme a atividade digital da empresa crescia. Assim, ela passa a precisar de um data warehouse para reunir tudo o que foi gerado.<\/p>\n Ao contar com um data warehouse, ela passou a armazenar dados que podem ser transformados em conhecimento relevante, al\u00e9m de gerar relat\u00f3rios para centrar as decis\u00f5es, realizar diagn\u00f3stico e tomar decis\u00f5es estrat\u00e9gicas e gerenciais.<\/p>\n O data warehouse, apesar de ser uma solu\u00e7\u00e3o que existe h\u00e1 mais de tr\u00eas d\u00e9cadas e que ganhe robustez a cada ano, geralmente s\u00f3 armazena dados limpos e organizados. O objetivo \u00e9 que eles se tornem imediatamente dispon\u00edveis para a an\u00e1lise e o uso.<\/p>\n Nesse sentido, ele prev\u00ea o armazenamento de um conjunto de dados estruturados, o que facilita as etapas seguintes, come\u00e7ando pela descoberta de material \u00fatil para ser aplicado \u00e0 gest\u00e3o do neg\u00f3cio.<\/p>\n J\u00e1 o data lake, outro conceito similar, tem essa capacidade de preparar e estruturar dados. Essa solu\u00e7\u00e3o simplesmente guarda essas informa\u00e7\u00f5es em estado bruto.<\/p>\n J\u00e1 o data mining, que pode ser traduzido como “minera\u00e7\u00e3o de dados”, \u00e9 um conceito que se relaciona \u00e0 utiliza\u00e7\u00e3o de processos e t\u00e9cnicas para transformar uma massa de dados em informa\u00e7\u00f5es \u00fateis.<\/p>\n Nesse sentido, \u00e9 como se o data mining “visitasse” o armaz\u00e9m de dados (o data warehouse) e pegasse pedacinhos de informa\u00e7\u00e3o para analis\u00e1-los e transform\u00e1-los em insights relevantes para a empresa.<\/p>\n Voc\u00ea j\u00e1 se perguntou como as empresas conseguem “prever” o comportamento de clientes e lan\u00e7ar campanhas de marketing e produtos que satisfazem uma necessidade de mercado? Parte disso \u00e9 pesquisa (como a aplica\u00e7\u00e3o de question\u00e1rios e formul\u00e1rios), j\u00e1 outra parte \u00e9 por meio do data mining.<\/p>\n O data mining trabalha buscando padr\u00f5es consistentes, regras de associa\u00e7\u00e3o e sequ\u00eancias temporais, por exemplo. Isso ajuda a empresa a tra\u00e7ar rela\u00e7\u00f5es sistem\u00e1ticas entre vari\u00e1veis e identificar padr\u00f5es de comportamento \u2014 como descobrir o que os clientes est\u00e3o mais suscet\u00edveis a comprar em uma determinada \u00e9poca do ano.<\/p>\n No processo de minera\u00e7\u00e3o de dados, o tratamento tem como objetivo a cria\u00e7\u00e3o de par\u00e2metros de interpreta\u00e7\u00e3o. Isso \u00e9 feito por meio de t\u00e9cnicas de recupera\u00e7\u00e3o, modelos estat\u00edsticos e, em alguns casos, intelig\u00eancia artificial.<\/p>\n \u00c9 bom lembrar que ao falarmos de “gera\u00e7\u00e3o de dados” n\u00e3o estamos nos referindo unicamente a empresas que utilizam ferramentas car\u00edssimas e modernas. S\u00f3 o ato de ligar um notebook e pesquisar uma p\u00e1gina na internet j\u00e1 \u00e9 uma maneira de gerar dados.<\/p>\n N\u00e3o \u00e0 toa, quando pegamos um ano isolado, como 2020, descobrimos que 40 trilh\u00f5es de gigabytes de dados foram gerados no mundo todo<\/a>. Nesse sentido, algumas empresas aproveitam isso para criar estrat\u00e9gias em cima da sua atividade digital.<\/p>\n H\u00e1 uma infinidade de abordagens que tornam a minera\u00e7\u00e3o de dados uma alternativa para otimizar os processos da sua empresa. Afinal, esse trabalho pode ter motiva\u00e7\u00f5es externas (a satisfa\u00e7\u00e3o dos clientes) e internas (a cria\u00e7\u00e3o e implementa\u00e7\u00e3o de procedimentos mais eficientes).<\/p>\n Isso porque o objetivo da minera\u00e7\u00e3o de dados \u00e9 gerar decis\u00f5es melhores. Contudo, o escopo \u00e9 grande: pode ser em rela\u00e7\u00e3o a estrat\u00e9gias de marketing, detec\u00e7\u00e3o e combate a fraudes ou at\u00e9 mesmo \u00e0 melhoria das estrat\u00e9gias de neg\u00f3cio. Trata-se, portanto, de uma grande vantagem competitiva.<\/p>\n Outro conceito que tamb\u00e9m envolve o termo “data<\/a>” (o termo em ingl\u00eas para “dados”) \u00e9 o big data. Para que voc\u00ea tire definitivamente as suas d\u00favidas em rela\u00e7\u00e3o a essas varia\u00e7\u00f5es, vale a pena diferenci\u00e1-lo tamb\u00e9m.<\/p>\n Enquanto o data warehouse \u00e9 um enorme reposit\u00f3rio para que os dados digitais sejam alocados, o big data pode ser definido como a pr\u00f3pria quantidade de dados que s\u00e3o gerados todos os dias em uma infraestrutura tecnol\u00f3gica.<\/p>\n J\u00e1 o data mining, como o pr\u00f3prio nome sugere, representa a minera\u00e7\u00e3o dos dados. Isso porque eles nem sempre representam conhecimento relevante para o neg\u00f3cio por si s\u00f3 \u2014 por isso, a empresa precisa de ferramentas de data mining para transformar aquela massa em informa\u00e7\u00e3o \u00fatil e concreta.<\/p>\n \u00c9 no data warehouse que \u00e9 alocado um agrupamento de dados de diversas fontes e de forma inteligente. Um bom exemplo \u00e9 as informa\u00e7\u00f5es corporativas que podem ser usadas em conjunto das solu\u00e7\u00f5es de business intelligence e big data para tra\u00e7ar padr\u00f5es por meio do comportamento dos consumidores.<\/p>\n Falando sobre big data e data mining, enquanto o primeiro \u00e9 a massa de dados gerados e que precisam de uma an\u00e1lise para virar informa\u00e7\u00e3o concreta, o segundo \u00e9 uma forma efetiva de tratar os dados e transform\u00e1-los nessa informa\u00e7\u00e3o concreta.<\/p>\n Para que n\u00e3o fique nenhuma d\u00favida em rela\u00e7\u00e3o aos conceitos, vamos citar as diferen\u00e7as sobre tr\u00eas quesitos distintos: objetivo, uso e tecnologia, com alguns exemplos ilustrativos.<\/p>\n Basicamente, o data warehouse armazena dados, enquanto o data mining \u00e9 representado por tecnologias que buscam transformar os dados de uma organiza\u00e7\u00e3o em conhecimento relevante para o neg\u00f3cio.<\/p>\n Toda empresa que utiliza a internet para as suas opera\u00e7\u00f5es gera dados em seus sistemas. Isso vale at\u00e9 mesmo para pequenos neg\u00f3cios e \u00f3rg\u00e3os governamentais.<\/p>\n Por isso, enquanto o data warehouse serve como um reposit\u00f3rio, o data mining mergulha nesse reposit\u00f3rio para tra\u00e7ar padr\u00f5es e gerar insights.<\/p>\n Alguns exemplos de data warehouse s\u00e3o o Azure Synapse Analytics, Amazon Redshift e o Oracle ADW. J\u00e1 o data mining pode ser representado por diversas tecnologias, como ERPs, CRMs e ferramentas de data science que tenham o objetivo de converter dados em conhecimento.<\/p>\n Assim, enquanto o conceito de data warehouse est\u00e1 mais ligado a uma tecnologia espec\u00edfica, o data mining se relaciona a um m\u00e9todo de processamento.<\/p>\n Como vimos no texto, qualquer empresa gera dados, independentemente do seu porte e do seu ramo. Por isso, cada uma delas pode buscar uma solu\u00e7\u00e3o que caiba em seu or\u00e7amento e proporcione o aproveitamento da massa de informa\u00e7\u00e3o em potencial, gerada pelas atividades digitais di\u00e1rias.<\/p>\n Uma dica interessante \u00e9 entrar em contato com parceiros especializados, tanto para obter o “armaz\u00e9m de dados” como para trabalhar com uma ferramenta que converta seu hist\u00f3rico digital em conhecimento \u00fatil para o neg\u00f3cio.<\/p>\n Para isso, existem empresas e profissionais que trabalham com big data management<\/a>, por exemplo, e parceiros para transformar a cultura de uma empresa para que ela adote uma mentalidade de trabalho voltada ao trabalho com dados \u2014 conhecida como data driven<\/a>.<\/p>\n Como voc\u00ea viu no artigo, data warehouse e data mining s\u00e3o conceitos diferentes, embora possam trabalhar em comum para uma gest\u00e3o orientada a dados. Com a quantidade de informa\u00e7\u00e3o em potencial que \u00e9 gerada a cada dia, em qualquer neg\u00f3cio, seria um desperd\u00edcio n\u00e3o aproveit\u00e1-la a seu favor.<\/p>\nExemplo pr\u00e1tico<\/h3>\n
Diferen\u00e7a em rela\u00e7\u00e3o ao data lake<\/h3>\n
O que \u00e9 data mining?<\/h2>\n
Diferen\u00e7as em rela\u00e7\u00e3o ao big data<\/h3>\n
Quais s\u00e3o as diferen\u00e7as entre Data Warehouse e Data Mining?<\/h2>\n
Objetivo<\/h3>\n
Uso<\/h3>\n
Tecnologia<\/h3>\n
Como as empresas podem usar essas tecnologias?<\/h2>\n