Utilitários ETL Teradata

Alguns utilitários disponibilizados pela Teradata auxiliam no processo de carga utilizando a ferramenta PowerCenter.

Podemos utilizar loaders, por exemplo, para agilizar processos de inserção/atualização/deleção de registros em tabelas no Teradata. Sem a utilização de loaders as cargas tornariam-se muito mais lentas. Existe uma fantástica integração do loader MultiLoad com o PowerCenter. Podemos construir um mapa com um componente de update strategy decidindo se os registros irão ser incluídos ou atualizados e, utilizando o MultiLoad, automaticamente o PowerCenter gera os scripts necessários para as duas operações de forma transparente para o desenvolvedor.Podemos utilizar BTEQS quando queremos passar todo o processamento SQL diretamente para o Teradata.

1.Loaders

São utilizados para acelerar o processo de carga nas tabelas do Teradata. Para isso é gerado um arquivo texto temporário com os dados a serem carregados pelo Loader e a carga é feita em bloco de registros, por isso é mais rápida.

Os tipos de loader suportados pelo PowerCenter são:

Fast Load
Deve ser utilizado apenas em tabelas vazias.

Multi Load
Realiza operações de INSERT, UPDATE, DELETE, e UPSERT.
Pode ser realizado num mesmo mapa, utilizando um mesmo loader, operações de insert e update por exemplo, setadas através do componente update strategy.

TPump
Realiza atualizações do banco transacional para o DW próximo a real-time.
Trabalha com tabelas vazias ou populadas.
Realiza operações de INSERT, UPDATE, DELETE, e ATOMIC UPSERT.


2.BTEQS

São utilizados para executar bloco de comandos no Teradata.
No Oracle, os BTEQS seriam os blocos de comandos PL/SQL.

3. Fast Export

Realizar export de grande volume de dados de uma ou mais tabela para arquivo texto. O export pode ser realizado a partir de uma consulta SQL.

Solução integra nuvem da Amazon e sistemas legados

Ferramenta da Informatica Corporation possibilita gerenciamento remoto de tarefas de integração na Amazon EC2.
Por Rodrigo Afonso, da COMPUTERWORLD

A empresa norte-americana Informatica Corporation, fornecedora de softwares e serviços para integração de dados, anunciou a versão beta da PowerCenter Cloud Edition, ferramenta que integra dados na nuvem pública da Amazon, empresa norte-americana de data center e comércio eletrônico.

A ferramenta foi desenvolvida especificamente para a Amazon complementar a oferta de computação em nuvens. Sua função é permitir o gerenciamento remoto de tarefas de integração, por meio de um navegador de internet.

“A solução possibilita que as empresas trabalhem em conformidade com as melhores práticas, ao permitir que as informações sejam tratadas e rastreadas dentro de suas diversas camadas, passos importantes quando se lida com uma nuvem pública”, conta o diretor técnico da Informatica no Brasil, Delmar Assis.

Segundo Assis, a integração oferecida pela ferramenta incorpora também o trânsito de dados entre os sistemas legados dos quais as organizações não podem prescindir e sua estrutura nas nuvens. “Essa necessidade fica evidente, por exemplo, com aplicações de gestão de relacionamento (CRM), processos de vendas, colaboração, entre outros”, diz.

Além da Amazon, a Informatica Corporation já fechou com a Salesforce, que oferece sistemas de CRM no modelo de software como serviço, e pretende que seu crescimento com as soluções acompanhem o mercado. A expectativa da consultoria Gartner é de que o mercado para as soluções de gerenciamento de cloud computing dobre no ano de 2010.

O lançamento do PowerCenter na nuvem da Amazon será realizado ainda no segundo semestre desse ano.

fonte: http://computerworld.uol.com.br/tecnologia/2009/08/19/solucao-integra-nuvem-da-amazon-e-sistemas-legados/

Passsei!!!

Sou um profissional certificado agora.

Podem agora me chamar de PowerCenter Developer Certified!!! rs

Abraço a todos.
Marcos Caliman

Passos para construção do primeiro processo de carga

No post anterior descrevi para que serve cada ferramenta da suíte do PowerCenter. Agora mostro o que fazer em cada ferramenta para construir o primeiro processo de carga.
Deverão ser criados para isso os objetos: folder, mapa, source, target, database connection, session e workflow.

Repository Manager
1. Criar Folder e Usuários
Workflow Manager
2. Criar Database Connections
Designer
3. Importar sources e targets para o repositório
4. Criar Mapa
Workflow Manager
5. Criar Workflow e adicionar a session para o mapa criado
6. Executar o Workflow
Workflow Monitor
7. Acompanhar a execução do workflow e identificar problemas da carga

Ferramentas do PowerCenter 8

Para aqueles que estão começando a trabalhar agora com o PowerCenter e não sabe qual ferramenta utilizar para uma determinada construção, segue abaixo um resumo de cada uma delas:

Repository Manager
É uma ferramenta voltada para administração do repositório. Com ela podemos criar projetos, usuários, gerenciar permissões, e várias outras funções relacionadas à administração do repositório. A primeira coisa a fazer após a instalação do PowerCenter é utilizar esta ferramenta para criação de folder (projeto) e usuários.

Designer
Principal ferramenta do software. É através do Designer que conseguimos construir nossos processos ETL (mapas). Um mapa mais simples deve ser composto por um source, um source qualifier e um target. Para construir um mapa, primeiro deve ser importado os metadados da tabela/arquivo do source e target para o repositório.Os componentes, tratados pelo fabricante como ‘transformations’, mais utilizados no designer são:

• Filter – filtrar registros
• Expression – fazer tranformações
• Joiner- unir dois fluxos no mapa
• Lookup – buscar valores de tabelas de lookup

Workflow Manager
É uma ferramenta que permite executar, agendar as execuções dos procedimentos ETL no servidor ETL. Nela podemos também criar conexões do servidor com o banco de dados (database connections). Para executarmos a carga de um mapa construído no Designer precisamos criar uma session e colocar esta session dentro de um workflow. Podemos construir um workflow com outras tasks, tais como o command e e-mail.

Workflow Monitor
É uma ferramenta que permite visualizar, monitorar, parar, abortar e re-executar os processos no servidor ETL, além de visualizar logs dos processos em execução e os últimos executados.

Estatísticas do Site: Junho de 2009

Olá Pessoal!

Estamos próximos de completar 1000 visitantes.
Atualmente foram 752 visitantes e um total de 1.934 páginas visitadas.

Segue abaixo a lista dos países com maior acesso a este blog:

1- Brasil
2- Estados Unidos
3- Portugal
4- Canadá
5- Espanha

Qual a diferença entre os comandos STOP e ABORT usados no Workflow Monitor?

Esta é uma dúvida que pelo menos metade dos desenvolveres em PowerCenter possui.

Muitas vezes utilizamos o comando ABORT por ele finalizar a execução de uma session de uma maneira mais rápida que o STOP.

O comando ABORT deve ser utilizado apenas em casos extremos. Ele força o término da execução da sesssion em no máximo 60 segundos.

Caso algum processo de banco de dados demore mais que 60 segundos para responder ao Powercenter, ele continuará ativo no banco de dados. Neste caso, peça ao dba que mate o processo preso diretamente no banco de dados.

Então o recomendado é utilizar sempre o comando STOP.

Abraço
Marcos Caliman