O tema de hoje é Pushdown Optimization, um dos mais recentes plug-ins lançados pela Informatica para otimização de cargas pelo PowerCenter.
A ideia do Pushdown é passar toda ou parte da lógica de um mapping para instruções SQL que são diretamente executadas no banco de dados.
Imagine um ambiente aonde o processo de carga execute na madrugada com um servidor sobrecarregado do PowerCenter e existam recursos disponíveis no banco de dados. Este é o cenário recomendado para utilização do Pushdown: utilizar os recursos disponíveis no banco de dados e minimizar a sobrecarga no servidor do PowerCenter.
Quando o plug-in do Pushdown é instalado, uma nova aba dentro da edição da session é criada. Sua utilização é bem fácil, o próprio PowerCenter, caso seja possível, gerará um SQL que representa toda a lógica do mapa construído. Dessa forma, você pode aplicar a técnica do Pushdown em mappings já construídos.
O Pushdown pode ser utilizado nos seguintes bancos de dados:
- Oracle 9.x and above
- IBM DB2
- Teradata
- Microsoft SQL Server
- Sybase ASE
- Databases que usam ODBC drivers
Tipos de Pushdown
Source-Side: O Integration Service passa a maior parte da lógica do mapping para o banco de dados Source.
Target-Side: O Integration Service passa a maior parte da lógica do mapping para o banco de dados Target.
Full Pushdown: O Integration Service passa a maior parte da lógica para ambos os bancos Source e Target.
Conclusão
Eu realizei alguns testes com o Pushdown e na prática ele ainda falta amadurecer muito.
O plug-in consegue apenas converter mapas que possuem uma lógica bem simples, sem expressions e outros componentes. Na maioria dos casos você terá que fazer adaptações no mapa para que o script seja gerado.
A ideia de passar parte do processamento para o banco de dados foi uma ótima jogada da Informatica, porém ficamos no aguardo para que a próxima versão deste plug-in possa ser mais bem utilizada em ambientes que há tempos necessitam de ganho de performance.
Uma alternativa para este problema é o plug-in de Real-Time, lançado recentemente pela Informatica, onde os dados são enviados para o ambiente de BI próximo ao tempo real. Com certeza esse tipo de arquitetura será testada e implementada nas empresas que possuem grande volumes de dados dentro dos próximos 5 anos.
Abraço,
Marcos David Caliman
sexta-feira, 13 de novembro de 2009
quinta-feira, 29 de outubro de 2009
Furnas investe na integração de dados
Decision Report 28/10/2009
Maior geradora estatal de energia elétrica do Brasil, a Furnas fechou contrato com a Informatica Corporation para migrar as informações de seu legado em ambiente mainframe para um sistema de gestão corporativa (ERP).
O projeto piloto terá duração de quatro meses e envolve os departamentos Financeiro e de RH, o que possibilitará a automação e o armazenamento de todas as informações de negócios em um único sistema.
Até então, a geradora não possuía um sistema integrado de ERP e por isso, os colaboradores encontravam dificuldades em acessar as informações estratégicas para a tomada de decisões.
Todos os dados ficam armazenados em bases de dados, como CA-Datacom e IBM-DB2. O objetivo do projeto é utilizar as soluções da Informatica Corporation para facilitar o processo de migração de informações desses sistemas proprietários para o ERP.
Parte integral da plataforma da Informatica Corporation, o PowerCenter auxiliará a Furnas a entregar aos usuários do ERP dados confiáveis. Após a aplicação da solução de integração dos dados, uma tecnologia de garantia da qualidade das informações será usada para aperfeiçoar os processos de negócios das áreas envolvidas.
O processo de implementação será acompanhado por uma equipe de usuários e uma equipe de desenvolvimento de Furnas, para que a empresa tenha um melhor controle sobre os dados.
Fonte: http://www.decisionreport.com.br/publique/cgi/cgilua.exe/sys/start.htm?infoid=5426&sid=31
Maior geradora estatal de energia elétrica do Brasil, a Furnas fechou contrato com a Informatica Corporation para migrar as informações de seu legado em ambiente mainframe para um sistema de gestão corporativa (ERP).
O projeto piloto terá duração de quatro meses e envolve os departamentos Financeiro e de RH, o que possibilitará a automação e o armazenamento de todas as informações de negócios em um único sistema.
Até então, a geradora não possuía um sistema integrado de ERP e por isso, os colaboradores encontravam dificuldades em acessar as informações estratégicas para a tomada de decisões.
Todos os dados ficam armazenados em bases de dados, como CA-Datacom e IBM-DB2. O objetivo do projeto é utilizar as soluções da Informatica Corporation para facilitar o processo de migração de informações desses sistemas proprietários para o ERP.
Parte integral da plataforma da Informatica Corporation, o PowerCenter auxiliará a Furnas a entregar aos usuários do ERP dados confiáveis. Após a aplicação da solução de integração dos dados, uma tecnologia de garantia da qualidade das informações será usada para aperfeiçoar os processos de negócios das áreas envolvidas.
O processo de implementação será acompanhado por uma equipe de usuários e uma equipe de desenvolvimento de Furnas, para que a empresa tenha um melhor controle sobre os dados.
Fonte: http://www.decisionreport.com.br/publique/cgi/cgilua.exe/sys/start.htm?infoid=5426&sid=31
segunda-feira, 26 de outubro de 2009
Vivo economiza US$ 28 milhões com data warehouse
Projeto da operadora unificou dados de seis empresas, que transacionavam cerca de 2 bilhões de registros diários.
Por Rodrigo Afonso, da COMPUTERWORLD*
21 de outubro de 2009 - 07h15
Criada a partir de seis empresas de telecomunicações, a operadora Vivo se viu diante de um grande desafio no processo de unificação das companhias: reunir, em um único data warehouse corporativo (ou repositório de dados), todas as informações de seus mais de 46 milhões de clientes. O cenário era complexo. As empresas reunidas contavam com ferramentas de diversos fornecedores de business intelligence (BI), diferentes processos e mais de mil usuários.
Tudo isso gerava um tempo de resposta muito alto para a operadora. Para solucionar o problema, a empresa optou pela integração de todos os sistemas na plataforma da Teradata. Esta tarefa envolveu 40 áreas de negócios e 100 usuários concentrados no projeto, focados em integrar 2 bilhões de registros diários. Hoje, o tamanho do banco de dados é de 100 terabytes.
Para chegar à receita ideal, a extração e a análise de dados ficou a cargo de solução da MicroStrategy e todo o processo de desenvolvimento teve relação estreita com a área de negócios. A ordem era não implementar nada que não partisse de uma necessidade dessas áreas. Resultado: uma economia de 28 milhões de dólares.
Deste valor, 15 milhões de dólares foram economizados com impostos, segundo Daniela Calaes, gerente de sistemas de BI da Vivo, que falou em evento da Teradata realizado esta semana em Washington (EUA). Além disso, ao conseguir obter um retrato mais fiel dos consumidores com potencial para se tornarem devedores, a Vivo conseguiu reduzir em 13 milhões de dólares a receita perdida em situações de clientes devedores.
Outro benefício, de acordo com Daniela, foi a possibilidade de dirigir melhor campanhas de marketing para incentivar o consumo de diferentes produtos por clientes com potencial para aumentar gastos. E a própria rede e a cobertura tiveram melhorias. A partir das ferramentas de análise, a Vivo avaliou comportamentos atuais e históricos da rede para otimizar seu uso, identificar falhas e ampliar a infraestrutura onde fosse necessário. Assim, o custo da manutenção caiu em 20% e a capacidade da rede foi ampliada.
Para o futuro, a empresa prepara a integração com a Telemig Celular, cuja conclusão da compra foi realizada em abril do ano passado, e a implementação de novos módulos de informações, que já estão sendo requeridos pelas áreas de negócios. A área de TI da companhia quer também o aumento da performance do data warehouse, buscando garantir a informação sempre em tempo real.
Implementada a ferramenta, a meta agora é transformar o data warehouse na única fonte de dados da companhia, integrando todas as informações isoladas que ainda persistem na corporação.
Fonte: http://computerworld.uol.com.br/tecnologia/2009/10/20/vivo-economiza-us-15-milhoes-com-integracao-de-data-warehouse/
Por Rodrigo Afonso, da COMPUTERWORLD*
21 de outubro de 2009 - 07h15
Criada a partir de seis empresas de telecomunicações, a operadora Vivo se viu diante de um grande desafio no processo de unificação das companhias: reunir, em um único data warehouse corporativo (ou repositório de dados), todas as informações de seus mais de 46 milhões de clientes. O cenário era complexo. As empresas reunidas contavam com ferramentas de diversos fornecedores de business intelligence (BI), diferentes processos e mais de mil usuários.
Tudo isso gerava um tempo de resposta muito alto para a operadora. Para solucionar o problema, a empresa optou pela integração de todos os sistemas na plataforma da Teradata. Esta tarefa envolveu 40 áreas de negócios e 100 usuários concentrados no projeto, focados em integrar 2 bilhões de registros diários. Hoje, o tamanho do banco de dados é de 100 terabytes.
Para chegar à receita ideal, a extração e a análise de dados ficou a cargo de solução da MicroStrategy e todo o processo de desenvolvimento teve relação estreita com a área de negócios. A ordem era não implementar nada que não partisse de uma necessidade dessas áreas. Resultado: uma economia de 28 milhões de dólares.
Deste valor, 15 milhões de dólares foram economizados com impostos, segundo Daniela Calaes, gerente de sistemas de BI da Vivo, que falou em evento da Teradata realizado esta semana em Washington (EUA). Além disso, ao conseguir obter um retrato mais fiel dos consumidores com potencial para se tornarem devedores, a Vivo conseguiu reduzir em 13 milhões de dólares a receita perdida em situações de clientes devedores.
Outro benefício, de acordo com Daniela, foi a possibilidade de dirigir melhor campanhas de marketing para incentivar o consumo de diferentes produtos por clientes com potencial para aumentar gastos. E a própria rede e a cobertura tiveram melhorias. A partir das ferramentas de análise, a Vivo avaliou comportamentos atuais e históricos da rede para otimizar seu uso, identificar falhas e ampliar a infraestrutura onde fosse necessário. Assim, o custo da manutenção caiu em 20% e a capacidade da rede foi ampliada.
Para o futuro, a empresa prepara a integração com a Telemig Celular, cuja conclusão da compra foi realizada em abril do ano passado, e a implementação de novos módulos de informações, que já estão sendo requeridos pelas áreas de negócios. A área de TI da companhia quer também o aumento da performance do data warehouse, buscando garantir a informação sempre em tempo real.
Implementada a ferramenta, a meta agora é transformar o data warehouse na única fonte de dados da companhia, integrando todas as informações isoladas que ainda persistem na corporação.
Fonte: http://computerworld.uol.com.br/tecnologia/2009/10/20/vivo-economiza-us-15-milhoes-com-integracao-de-data-warehouse/
segunda-feira, 31 de agosto de 2009
Utilitários ETL Teradata
Alguns utilitários disponibilizados pela Teradata auxiliam no processo de carga utilizando a ferramenta PowerCenter.
Podemos utilizar loaders, por exemplo, para agilizar processos de inserção/atualização/deleção de registros em tabelas no Teradata. Sem a utilização de loaders as cargas tornariam-se muito mais lentas. Existe uma fantástica integração do loader MultiLoad com o PowerCenter. Podemos construir um mapa com um componente de update strategy decidindo se os registros irão ser incluídos ou atualizados e, utilizando o MultiLoad, automaticamente o PowerCenter gera os scripts necessários para as duas operações de forma transparente para o desenvolvedor.Podemos utilizar BTEQS quando queremos passar todo o processamento SQL diretamente para o Teradata.
1.Loaders
São utilizados para acelerar o processo de carga nas tabelas do Teradata. Para isso é gerado um arquivo texto temporário com os dados a serem carregados pelo Loader e a carga é feita em bloco de registros, por isso é mais rápida.
Os tipos de loader suportados pelo PowerCenter são:
Fast Load
Deve ser utilizado apenas em tabelas vazias.
Multi Load
Realiza operações de INSERT, UPDATE, DELETE, e UPSERT.
Pode ser realizado num mesmo mapa, utilizando um mesmo loader, operações de insert e update por exemplo, setadas através do componente update strategy.
TPump
Realiza atualizações do banco transacional para o DW próximo a real-time.
Trabalha com tabelas vazias ou populadas.
Realiza operações de INSERT, UPDATE, DELETE, e ATOMIC UPSERT.
2.BTEQS
São utilizados para executar bloco de comandos no Teradata.
No Oracle, os BTEQS seriam os blocos de comandos PL/SQL.
3. Fast Export
Realizar export de grande volume de dados de uma ou mais tabela para arquivo texto. O export pode ser realizado a partir de uma consulta SQL.
Podemos utilizar loaders, por exemplo, para agilizar processos de inserção/atualização/deleção de registros em tabelas no Teradata. Sem a utilização de loaders as cargas tornariam-se muito mais lentas. Existe uma fantástica integração do loader MultiLoad com o PowerCenter. Podemos construir um mapa com um componente de update strategy decidindo se os registros irão ser incluídos ou atualizados e, utilizando o MultiLoad, automaticamente o PowerCenter gera os scripts necessários para as duas operações de forma transparente para o desenvolvedor.Podemos utilizar BTEQS quando queremos passar todo o processamento SQL diretamente para o Teradata.
1.Loaders
São utilizados para acelerar o processo de carga nas tabelas do Teradata. Para isso é gerado um arquivo texto temporário com os dados a serem carregados pelo Loader e a carga é feita em bloco de registros, por isso é mais rápida.
Os tipos de loader suportados pelo PowerCenter são:
Fast Load
Deve ser utilizado apenas em tabelas vazias.
Multi Load
Realiza operações de INSERT, UPDATE, DELETE, e UPSERT.
Pode ser realizado num mesmo mapa, utilizando um mesmo loader, operações de insert e update por exemplo, setadas através do componente update strategy.
TPump
Realiza atualizações do banco transacional para o DW próximo a real-time.
Trabalha com tabelas vazias ou populadas.
Realiza operações de INSERT, UPDATE, DELETE, e ATOMIC UPSERT.
2.BTEQS
São utilizados para executar bloco de comandos no Teradata.
No Oracle, os BTEQS seriam os blocos de comandos PL/SQL.
3. Fast Export
Realizar export de grande volume de dados de uma ou mais tabela para arquivo texto. O export pode ser realizado a partir de uma consulta SQL.
quinta-feira, 20 de agosto de 2009
Solução integra nuvem da Amazon e sistemas legados
Ferramenta da Informatica Corporation possibilita gerenciamento remoto de tarefas de integração na Amazon EC2.
Por Rodrigo Afonso, da COMPUTERWORLD
A empresa norte-americana Informatica Corporation, fornecedora de softwares e serviços para integração de dados, anunciou a versão beta da PowerCenter Cloud Edition, ferramenta que integra dados na nuvem pública da Amazon, empresa norte-americana de data center e comércio eletrônico.
A ferramenta foi desenvolvida especificamente para a Amazon complementar a oferta de computação em nuvens. Sua função é permitir o gerenciamento remoto de tarefas de integração, por meio de um navegador de internet.
“A solução possibilita que as empresas trabalhem em conformidade com as melhores práticas, ao permitir que as informações sejam tratadas e rastreadas dentro de suas diversas camadas, passos importantes quando se lida com uma nuvem pública”, conta o diretor técnico da Informatica no Brasil, Delmar Assis.
Segundo Assis, a integração oferecida pela ferramenta incorpora também o trânsito de dados entre os sistemas legados dos quais as organizações não podem prescindir e sua estrutura nas nuvens. “Essa necessidade fica evidente, por exemplo, com aplicações de gestão de relacionamento (CRM), processos de vendas, colaboração, entre outros”, diz.
Além da Amazon, a Informatica Corporation já fechou com a Salesforce, que oferece sistemas de CRM no modelo de software como serviço, e pretende que seu crescimento com as soluções acompanhem o mercado. A expectativa da consultoria Gartner é de que o mercado para as soluções de gerenciamento de cloud computing dobre no ano de 2010.
O lançamento do PowerCenter na nuvem da Amazon será realizado ainda no segundo semestre desse ano.
fonte: http://computerworld.uol.com.br/tecnologia/2009/08/19/solucao-integra-nuvem-da-amazon-e-sistemas-legados/
Por Rodrigo Afonso, da COMPUTERWORLD
A empresa norte-americana Informatica Corporation, fornecedora de softwares e serviços para integração de dados, anunciou a versão beta da PowerCenter Cloud Edition, ferramenta que integra dados na nuvem pública da Amazon, empresa norte-americana de data center e comércio eletrônico.
A ferramenta foi desenvolvida especificamente para a Amazon complementar a oferta de computação em nuvens. Sua função é permitir o gerenciamento remoto de tarefas de integração, por meio de um navegador de internet.
“A solução possibilita que as empresas trabalhem em conformidade com as melhores práticas, ao permitir que as informações sejam tratadas e rastreadas dentro de suas diversas camadas, passos importantes quando se lida com uma nuvem pública”, conta o diretor técnico da Informatica no Brasil, Delmar Assis.
Segundo Assis, a integração oferecida pela ferramenta incorpora também o trânsito de dados entre os sistemas legados dos quais as organizações não podem prescindir e sua estrutura nas nuvens. “Essa necessidade fica evidente, por exemplo, com aplicações de gestão de relacionamento (CRM), processos de vendas, colaboração, entre outros”, diz.
Além da Amazon, a Informatica Corporation já fechou com a Salesforce, que oferece sistemas de CRM no modelo de software como serviço, e pretende que seu crescimento com as soluções acompanhem o mercado. A expectativa da consultoria Gartner é de que o mercado para as soluções de gerenciamento de cloud computing dobre no ano de 2010.
O lançamento do PowerCenter na nuvem da Amazon será realizado ainda no segundo semestre desse ano.
fonte: http://computerworld.uol.com.br/tecnologia/2009/08/19/solucao-integra-nuvem-da-amazon-e-sistemas-legados/
terça-feira, 11 de agosto de 2009
Passsei!!!
Sou um profissional certificado agora.
Podem agora me chamar de PowerCenter Developer Certified!!! rs
Abraço a todos.
Marcos Caliman
Podem agora me chamar de PowerCenter Developer Certified!!! rs
Abraço a todos.
Marcos Caliman
segunda-feira, 6 de julho de 2009
Passos para construção do primeiro processo de carga
No post anterior descrevi para que serve cada ferramenta da suíte do PowerCenter. Agora mostro o que fazer em cada ferramenta para construir o primeiro processo de carga.
Deverão ser criados para isso os objetos: folder, mapa, source, target, database connection, session e workflow.
Repository Manager
1. Criar Folder e Usuários
Workflow Manager
2. Criar Database Connections
Designer
3. Importar sources e targets para o repositório
4. Criar Mapa
Workflow Manager
5. Criar Workflow e adicionar a session para o mapa criado
6. Executar o Workflow
Workflow Monitor
7. Acompanhar a execução do workflow e identificar problemas da carga
Deverão ser criados para isso os objetos: folder, mapa, source, target, database connection, session e workflow.
Repository Manager
1. Criar Folder e Usuários
Workflow Manager
2. Criar Database Connections
Designer
3. Importar sources e targets para o repositório
4. Criar Mapa
Workflow Manager
5. Criar Workflow e adicionar a session para o mapa criado
6. Executar o Workflow
Workflow Monitor
7. Acompanhar a execução do workflow e identificar problemas da carga
Assinar:
Postagens (Atom)
