Maurício Renner - segunda-feira, 07/06/2010 - 11:38
O PowerCenter, principal produto da fornecedora de software de integração de dados Informatica Corporation foi reconhecido pela Forrester Research como a ferramenta de ETL mais utilizadas pelas empresas.
Metade dos profissionais de TI familiarizados com integração de dados utilizam a solução da Informatica Corporation.
Nos últimos anos, a Informatica fez aquisições nas áreas de gerenciamento de MDM (Master Data Management) para qualidade de dados, gerenciamento do ciclo de vida das informações, integração em nuvem, processamento de eventos complexos, troca de dados B2B e troca de mensagens de alta performance.
Fundamental
O relatório Enterprise ETL: Evolving And Indispensible To Your Data Management Strategy, desenvolvido pela Forrester Research, em maio de 2010, mostra que cerca de 50% dos entrevistados disseram considerar o ETL imprescindível para suas operações diárias e que aproximadamente três quartos das empresas pretendem expandir o uso de ETL no próximo ano.
Ainda de acordo com o estudo, a classificação e o gerenciamento de metadados são as soluções complementares mais compradas de fornecedores de ETL, seguidas de software de gerenciamento de qualidade de dados.
A Forrester destaca, ainda, que as empresas deveriam migrar suas soluções customizadas para soluções ETL comerciais.
Fonte: http://www.baguete.com.br/noticias/software/07/06/2010/forrester-powercenter-e-lider-em-etl
quarta-feira, 30 de junho de 2010
quinta-feira, 13 de maio de 2010
Matar Worklow no PowerCenter
Alguma vezes, quando desejamos parar a execução de um workflow usando apenas as funções stop ou abort, não temos êxito e o status do workflow fica "eternamente" como running.
Nestes casos, quando o servidor está instalado em ambiente UNIX, podemos utilizar o comando kill para "matar" este workflow ativo.
O número do processo (pid) do workflow pode ser encontrado na sexta linha do log da execução do mesmo:
"Session task instance [s_TESTE]: started a process with pid [820] on node [node_caliman]."
Então, para esse workflow, bastaria executar o comando abaixo:
kill -9 820
Abraço a todos,
Marcos David M Caliman
Nestes casos, quando o servidor está instalado em ambiente UNIX, podemos utilizar o comando kill para "matar" este workflow ativo.
O número do processo (pid) do workflow pode ser encontrado na sexta linha do log da execução do mesmo:
"Session task instance [s_TESTE]: started a process with pid [820] on node [node_caliman]."
Então, para esse workflow, bastaria executar o comando abaixo:
kill -9 820
Abraço a todos,
Marcos David M Caliman
quinta-feira, 1 de abril de 2010
Banco Popular foca qualidade dos dados
Decision Report, 31/03/2010
Terceira maior instituição financeira espanhola, o Banco Popular acaba de adotar a solução Informatica Data Quality, da Informatica Corporation, para melhorar a qualidade dos dados processados pela companhia e aumentar a eficácia de suas campanhas de negócios.
Essa implementação é parte de uma iniciativa em andamento que visa ao aperfeiçoamento das operações do banco e à atração e retenção de clientes. A nova ferramenta ajudará a companhia a oferecer produtos sob medida e de forma oportuna à base de clientes.
Em dezembro de 2008, o banco estabeleceu, junto com o departamento de TI, uma divisão com a finalidade de examinar a qualidade das informações utilizadas. Isso foi feito devido à consciência de que os clientes devem ser abordados com ofertas de produtos que realmente atendam a suas necessidades. Para isso, precisão é indispensável.
A Divisão de Qualidade do banco publica, mensalmente, um Índice de Qualidade de Dados baseado em 23 variáveis, que assegura a completude e a fidelidade das informações. Essas 23 categorias incluem campos como nome, data de nascimento, formação e os códigos CNAE (classificação nacional de atividades econômicas) e CNO (título profissional).
Todos esses campos são classificados como obrigatórios, necessários ou desejáveis, ou seja, são ligados a questões de conformidade regulatória, a requisitos de negócios e a informações úteis em relação a preferências e interesses do cliente.
Processo otimizado
Antes da implementação do Informatica Data Quality, a distinção entre os tipos de variações era feita por meio de programação manual, um processo de grande complexidade devido ao acréscimo de novos requisitos. Por essa razão, o Banco Popular avaliou diversas ferramentas de automação de qualidade de dados optando pela solução da Informatica Corporation.
Como o Banco Popular Group já utilizava outra ferramenta da companhia, o Informatica PowerCenter, para fazer a integração de dados provenientes de todos os sistemas do banco, foi possível reaproveitar a estrutura desenvolvida para esse projeto.
“Em vista dos resultados obtidos em uma prova de conceito com 280 mil registros, o Banco Popular escolheu o Informatica Data Quality”, afirma o diretor da Divisão de Qualidade do Banco Popular, Alberto Romero. As vantagens proporcionadas pelo software incluem um dicionário completo dos domínios existentes, que é essencial para lançar ofertas por e-mail, e o fato de ser muito fácil de usar, mesmo quando os usuários não têm formação técnica.
Motivada com os resultados da prova de conceito, a instituição pretende fazer com que a solução seja usada pelas áreas de negócios. “Nosso intuito é envolver as pessoas da área de negócios — das agências às diretorias regionais — para que essa disciplina não seja mais vista como uma tarefa que compete exclusivamente ao departamento de TI. Isso também torna as estratégias de negócios mais eficazes”, complementa.
Automação e economia de tempo
Uma das maiores vantagens da implementação prevista para 2010 é aumento da independência e autonomia da Divisão de Qualidade da instituição, que se tornará capaz de definir suas próprias regras sem depender do cronograma das equipes de desenvolvimento. É esperado, ainda, que o nível de qualidade de dados registrado no relatório mensal chegue a 90% em todas as variáveis - atualmente esse valor gira em torno de 74%.
Da mesma forma, a automação do processo como um todo resultará em significativa economia do tempo gasto pela equipe técnica da Divisão de Qualidade, que poderá se dedicar a análises aprofundadas de todas as informações. Além disso, a solução reforçará a capacidade da empresa para acompanhar as mudanças nos requisitos regulatórios que dizem respeito ao gerenciamento e à proteção de dados no setor financeiro.
Fonte:
http://www.decisionreport.com.br/publique/cgi/cgilua.exe/sys/start.htm?infoid=6163&sid=1
Terceira maior instituição financeira espanhola, o Banco Popular acaba de adotar a solução Informatica Data Quality, da Informatica Corporation, para melhorar a qualidade dos dados processados pela companhia e aumentar a eficácia de suas campanhas de negócios.
Essa implementação é parte de uma iniciativa em andamento que visa ao aperfeiçoamento das operações do banco e à atração e retenção de clientes. A nova ferramenta ajudará a companhia a oferecer produtos sob medida e de forma oportuna à base de clientes.
Em dezembro de 2008, o banco estabeleceu, junto com o departamento de TI, uma divisão com a finalidade de examinar a qualidade das informações utilizadas. Isso foi feito devido à consciência de que os clientes devem ser abordados com ofertas de produtos que realmente atendam a suas necessidades. Para isso, precisão é indispensável.
A Divisão de Qualidade do banco publica, mensalmente, um Índice de Qualidade de Dados baseado em 23 variáveis, que assegura a completude e a fidelidade das informações. Essas 23 categorias incluem campos como nome, data de nascimento, formação e os códigos CNAE (classificação nacional de atividades econômicas) e CNO (título profissional).
Todos esses campos são classificados como obrigatórios, necessários ou desejáveis, ou seja, são ligados a questões de conformidade regulatória, a requisitos de negócios e a informações úteis em relação a preferências e interesses do cliente.
Processo otimizado
Antes da implementação do Informatica Data Quality, a distinção entre os tipos de variações era feita por meio de programação manual, um processo de grande complexidade devido ao acréscimo de novos requisitos. Por essa razão, o Banco Popular avaliou diversas ferramentas de automação de qualidade de dados optando pela solução da Informatica Corporation.
Como o Banco Popular Group já utilizava outra ferramenta da companhia, o Informatica PowerCenter, para fazer a integração de dados provenientes de todos os sistemas do banco, foi possível reaproveitar a estrutura desenvolvida para esse projeto.
“Em vista dos resultados obtidos em uma prova de conceito com 280 mil registros, o Banco Popular escolheu o Informatica Data Quality”, afirma o diretor da Divisão de Qualidade do Banco Popular, Alberto Romero. As vantagens proporcionadas pelo software incluem um dicionário completo dos domínios existentes, que é essencial para lançar ofertas por e-mail, e o fato de ser muito fácil de usar, mesmo quando os usuários não têm formação técnica.
Motivada com os resultados da prova de conceito, a instituição pretende fazer com que a solução seja usada pelas áreas de negócios. “Nosso intuito é envolver as pessoas da área de negócios — das agências às diretorias regionais — para que essa disciplina não seja mais vista como uma tarefa que compete exclusivamente ao departamento de TI. Isso também torna as estratégias de negócios mais eficazes”, complementa.
Automação e economia de tempo
Uma das maiores vantagens da implementação prevista para 2010 é aumento da independência e autonomia da Divisão de Qualidade da instituição, que se tornará capaz de definir suas próprias regras sem depender do cronograma das equipes de desenvolvimento. É esperado, ainda, que o nível de qualidade de dados registrado no relatório mensal chegue a 90% em todas as variáveis - atualmente esse valor gira em torno de 74%.
Da mesma forma, a automação do processo como um todo resultará em significativa economia do tempo gasto pela equipe técnica da Divisão de Qualidade, que poderá se dedicar a análises aprofundadas de todas as informações. Além disso, a solução reforçará a capacidade da empresa para acompanhar as mudanças nos requisitos regulatórios que dizem respeito ao gerenciamento e à proteção de dados no setor financeiro.
Fonte:
http://www.decisionreport.com.br/publique/cgi/cgilua.exe/sys/start.htm?infoid=6163&sid=1
segunda-feira, 1 de fevereiro de 2010
Quadrante Mágico para Ferramentas de Integração de Dados - Gartner NOV/2009
Pessoal,
Segue abaixo trecho retirado do mais recente relatório do Gartner, divulgado em novembro de 2009, sobre ferramentas de integração de dados.
A Informatica segue como líder de mercado, seguida por perto pela IBM:
Pontos Fortes
- É o fornecedor mais reconhecido no mundo empresarial.
- Apesar das condições do mercado de 2009 e forte concorrência, a Informatica tem continuado a crescer, organicamente e através de aquisições.
-Lançamento da versão 9, que reúne a integração de dados e a qualidade de dados, alinhado com a nova tendência do mercado de consolidação destas duas classes de tecnologia.
Cuidados
- Forte concorrência de grandes fornecedores (IBM, Microsoft, Oracle e SAP).
- É uma das soluções de integração de dados mais caras do mercado e continua enfrentando um concorrentes com menores custos
Segue abaixo trecho retirado do mais recente relatório do Gartner, divulgado em novembro de 2009, sobre ferramentas de integração de dados.
A Informatica segue como líder de mercado, seguida por perto pela IBM:
Pontos Fortes
- É o fornecedor mais reconhecido no mundo empresarial.
- Apesar das condições do mercado de 2009 e forte concorrência, a Informatica tem continuado a crescer, organicamente e através de aquisições.
-Lançamento da versão 9, que reúne a integração de dados e a qualidade de dados, alinhado com a nova tendência do mercado de consolidação destas duas classes de tecnologia.
Cuidados
- Forte concorrência de grandes fornecedores (IBM, Microsoft, Oracle e SAP).
- É uma das soluções de integração de dados mais caras do mercado e continua enfrentando um concorrentes com menores custos
sexta-feira, 22 de janeiro de 2010
Artigo sobre Performance e Conceitos atuias do PowerCenter 8
Segue abaixo o link do artigo “Getting the most out of your Informatica PowerCenter 8 Environment”.
Este artigo é muito interessante para desenvolvedores e analistas que trabalham com o PowerCenter 8 e destaca os conceitos atuais sobre performance e a arquitetura 64 bits.
http://www.element61.be/e/resourc-detail.asp?ResourceId=57
Abraço
Marcos David M Caliman
Este artigo é muito interessante para desenvolvedores e analistas que trabalham com o PowerCenter 8 e destaca os conceitos atuais sobre performance e a arquitetura 64 bits.
http://www.element61.be/e/resourc-detail.asp?ResourceId=57
Abraço
Marcos David M Caliman
Origem do comando IIF
Após merecidas férias volto a postar neste blog.
Hoje o post é um desafio.
Alguém saberia me dizer por que comando condicional "SE" no PowerCenter chama-se IIF e não IF?
Abraço a todos
Marcos David M Caliman
Hoje o post é um desafio.
Alguém saberia me dizer por que comando condicional "SE" no PowerCenter chama-se IIF e não IF?
Abraço a todos
Marcos David M Caliman
sexta-feira, 13 de novembro de 2009
Pushdown Optimization - Uma Breve Introdução
O tema de hoje é Pushdown Optimization, um dos mais recentes plug-ins lançados pela Informatica para otimização de cargas pelo PowerCenter.
A ideia do Pushdown é passar toda ou parte da lógica de um mapping para instruções SQL que são diretamente executadas no banco de dados.
Imagine um ambiente aonde o processo de carga execute na madrugada com um servidor sobrecarregado do PowerCenter e existam recursos disponíveis no banco de dados. Este é o cenário recomendado para utilização do Pushdown: utilizar os recursos disponíveis no banco de dados e minimizar a sobrecarga no servidor do PowerCenter.
Quando o plug-in do Pushdown é instalado, uma nova aba dentro da edição da session é criada. Sua utilização é bem fácil, o próprio PowerCenter, caso seja possível, gerará um SQL que representa toda a lógica do mapa construído. Dessa forma, você pode aplicar a técnica do Pushdown em mappings já construídos.
O Pushdown pode ser utilizado nos seguintes bancos de dados:
- Oracle 9.x and above
- IBM DB2
- Teradata
- Microsoft SQL Server
- Sybase ASE
- Databases que usam ODBC drivers
Tipos de Pushdown
Source-Side: O Integration Service passa a maior parte da lógica do mapping para o banco de dados Source.
Target-Side: O Integration Service passa a maior parte da lógica do mapping para o banco de dados Target.
Full Pushdown: O Integration Service passa a maior parte da lógica para ambos os bancos Source e Target.
Conclusão
Eu realizei alguns testes com o Pushdown e na prática ele ainda falta amadurecer muito.
O plug-in consegue apenas converter mapas que possuem uma lógica bem simples, sem expressions e outros componentes. Na maioria dos casos você terá que fazer adaptações no mapa para que o script seja gerado.
A ideia de passar parte do processamento para o banco de dados foi uma ótima jogada da Informatica, porém ficamos no aguardo para que a próxima versão deste plug-in possa ser mais bem utilizada em ambientes que há tempos necessitam de ganho de performance.
Uma alternativa para este problema é o plug-in de Real-Time, lançado recentemente pela Informatica, onde os dados são enviados para o ambiente de BI próximo ao tempo real. Com certeza esse tipo de arquitetura será testada e implementada nas empresas que possuem grande volumes de dados dentro dos próximos 5 anos.
Abraço,
Marcos David Caliman
A ideia do Pushdown é passar toda ou parte da lógica de um mapping para instruções SQL que são diretamente executadas no banco de dados.
Imagine um ambiente aonde o processo de carga execute na madrugada com um servidor sobrecarregado do PowerCenter e existam recursos disponíveis no banco de dados. Este é o cenário recomendado para utilização do Pushdown: utilizar os recursos disponíveis no banco de dados e minimizar a sobrecarga no servidor do PowerCenter.
Quando o plug-in do Pushdown é instalado, uma nova aba dentro da edição da session é criada. Sua utilização é bem fácil, o próprio PowerCenter, caso seja possível, gerará um SQL que representa toda a lógica do mapa construído. Dessa forma, você pode aplicar a técnica do Pushdown em mappings já construídos.
O Pushdown pode ser utilizado nos seguintes bancos de dados:
- Oracle 9.x and above
- IBM DB2
- Teradata
- Microsoft SQL Server
- Sybase ASE
- Databases que usam ODBC drivers
Tipos de Pushdown
Source-Side: O Integration Service passa a maior parte da lógica do mapping para o banco de dados Source.
Target-Side: O Integration Service passa a maior parte da lógica do mapping para o banco de dados Target.
Full Pushdown: O Integration Service passa a maior parte da lógica para ambos os bancos Source e Target.
Conclusão
Eu realizei alguns testes com o Pushdown e na prática ele ainda falta amadurecer muito.
O plug-in consegue apenas converter mapas que possuem uma lógica bem simples, sem expressions e outros componentes. Na maioria dos casos você terá que fazer adaptações no mapa para que o script seja gerado.
A ideia de passar parte do processamento para o banco de dados foi uma ótima jogada da Informatica, porém ficamos no aguardo para que a próxima versão deste plug-in possa ser mais bem utilizada em ambientes que há tempos necessitam de ganho de performance.
Uma alternativa para este problema é o plug-in de Real-Time, lançado recentemente pela Informatica, onde os dados são enviados para o ambiente de BI próximo ao tempo real. Com certeza esse tipo de arquitetura será testada e implementada nas empresas que possuem grande volumes de dados dentro dos próximos 5 anos.
Abraço,
Marcos David Caliman
Assinar:
Postagens (Atom)
