Gerenciador de Carga do DW

Filtros


Atalhos para busca

Objetivo

Disponibilizar ao administrador do Sistema Consinco os seguintes recursos de gerenciamento relativos ao Consinco Data Warehouse:

  • Configurar opções relativas a fatos e dimensões;
  • Executar cargas de dados avulsas;
  • Acompanhar as cargas que estiverem em andamento em tempo real;
  • Consultar logs de cargas;

Caminho

Max Gerencial > Gerencial > Gerenciador DW – DW00010

Pré-Requisitos e Restrições

Funcionalidades

Cargas

Na aba “Cargas” é possível disparar a execução de cargas “manuais” para o DW, bem como acompanhar o andamento de cargas em execução (em tempo real).

Para disparar manualmente uma carga para o DW Consinco:

  • Escolha o Tipo de Carga: Carga Geral, Somente Dimensões, Somente Fatos ou Personalizada.
    • A carga geral sempre considera todas as empresas e o período padrão configurado nos fatos (últimos N dias antes do dia de hoje). Nas demais opções é possível escolher as empresas e o período. As dimensões não são filtradas pelo período, somente os fatos.
  • Escolha as Empresas: Todas, Todas Ativas ou Somente as Escolhidas
    • Ao optar pela opção “Somente as Escolhidas”, as empresas deverão ser selecionadas pelo botão “Empresas…”.
  • Escolha o Período
    • O período pode ser informado digitando uma data inicial e data final ou selecionando uma das opções pré-definidas na lista de opções de períodos.
  • Clicar em Disparar Carga
    • As cargas serão disparadas em modo “assíncrono”, ou seja, o usuário poderá continuar utilizando o módulo normalmente, ou mesmo disparar outras cargas se desejar.

Para visualizar em tempo real as cargas em execução, pressione o botão de refresh da tabela “Cargas em execução”. Com o botão direito do mouse sobre este botão, é possível escolher um dos intervalos de atualização disponíveis, que variam de 1 segundo a 5 minutos. O padrão inicial é 5 segundos.

As informações listadas nesta tela são:

  • Ação: a rotina no qual está sendo executada, descrita em código técnico.

  • Duração: o tempo decorrido da execução (formato: hh:mm:ss)

  • Máquina: o nome do domínio e terminal que disparou a carga.

  • Usuário: o nome do usuário de sistema operacional logado na máquina que disparou a carga.

  • Estado: indica o tipo de operação naquele momento dentro do Oracle de acordo com a sessão do banco de dados.

  • Programa: o nome do executável que está rodando a carga (ex: MaxGerencial.exe).

  • Terminal: o nome do terminal que disparou a carga.

  • Status: o status atual da sessão no Oracle.

  • Início da Sessão: a data e hora de início da execução da carga.

Deve ser observado para que não ocorra a execução de cargas em paralelo cujos dados podem ser mutuamente interferentes entre eles. Por exemplo, duas cargas de fatos para as mesmas empresas e mesmo período.

Logs

Na aba “Logs” é possível visualizar os logs ou registros de execução das cargas para o DW. As rotinas de carga do DW foram criadas para serem executadas de forma não interativa, ou seja, caso ocorram erros durante a execução eles não aparecerão na chamada da rotina. As execuções sempre geram logs, independente se houve falha ou não e que podem ser facilmente visualizados por esta aba.

Para consultar os logs basta informar um período, nome da tabela (fato ou dimensão) e o tipo de log (Com Erro, Sem Erro ou Tudo). Caso tenha ocorrido algum erro na execução, a linha em questão aparecerá em vermelho e a mensagem do erro na coluna “Retorno”.

Se a coluna “Retorno” estiver vazia (sem valor), significa que a carga executou com sucesso.

As informações listadas nesta tela são:

  • Nome da tabela: nome da dimensão ou fato, ou “CARGA_GERAL” quando finalizada uma execução geral.

  • Data hora término: data e hora de término da carga (o log é gerado sempre no final da carga).

  • Duração: tempo da carga, ou duração total quando a linha for “CARGA_GERAL”.

  • Qtde Registros: quantidade de registros atualizados no DW para o fato ou dimensão em questão.

  • Retorno: mensagem de erro ou nulo (vazio) quando a execução não teve falhas.

  • Parâmetros: parâmetros que foram utilizados na chamada da carga (ex: empresas, período, etc).

  • Versão ETL: armazena a versão da rotina de carga.

 

Dimensões

Na aba “Dimensões” é possível visualizar e alterar algumas das configurações de carga disponíveis para as dimensões existentes no DW.

As informações listadas nesta tela são:

  • Nome da tabela: o nome da dimensão.

  • Ordem Carga: a ordem sequencial de execução das dimensões. Algumas dimensões precisam preceder outras, por essa razão, há uma ordem pré-estabelecida (inalterável) visando a consistência de dados.

  • Status: se a carga da dimensão está “Ativa” (marcado) ou “Inativa” (desmarcado)

  • Qtd Dias Retenção: não se aplica.

  • Qtd Dias Refresh: não se aplica.

  • Data Hora Última Carga: data e hora da última carga da dimensão.

  • Duração Última Carga: duração (formato 00h00m00s) da última carga da dimensão.

  • Qtd Registros Última Carga: quantidade de registos atualizados na última carga da dimensão.

Cargas de dimensões geralmente devem ser disparadas primeiro, para garantir que não haja erros relativos as referências (Foreign Keys) nos fatos relacionados à atualização de novas dimensões.

 

Fatos

Na aba “Fatos” é possível visualizar e alterar as configurações de carga para os fatos existentes no DW.


As informações listadas nesta tela são:

  • Nome da tabela: o nome do fato.

  • Ordem Carga: a ordem sequencial de execução dos fatos. Algumas dimensões precisam preceder outras, por essa razão, há uma ordem pré-estabelecida (inalterável) visando a consistência de dados.

  • Status: se a carga do fato está “Ativa” (marcado) ou “Inativa” (desmarcado)

  • Qtd Dias Retenção: quantos dias serão mantidos os dados na tabela fato. Por padrão, o valor é de 0 (zero, ilimitado). Se definido um valor diferente de 0 (zero), serão mantidos na tabela fato apenas os dados referente aos últimos x dias, sendo os demais apagados a cada execução da carga.

  • Qtd Dias Refresh: quantos dias serão recarregados na tabela fato a cada carga executada. Por padrão, o valor é de 3 dias. Deve-se observar que quanto maior o valor deste parâmetro, maior é o esforço de carga, o que resulta em tempos de execução maiores. O valor para este parâmetro deve observar as características da operação, configurando de forma que, se houver rotineiramente operações que atualizem dados de forma retroativa na operação, esse grau de alteração retroativa englobe no máximo a quantidade de dias especificado neste parâmetro.

  • Data Hora Última Carga: data e hora da última carga do fato.

  • Duração Última Carga: duração (formato 00h00m00s) da última carga do fato.

  • Qtd Registros Última Carga: quantidade de registos atualizados na última carga do fato.

Qualquer alteração de configuração que for aplicada, só terá efeito na próxima execução das cargas e não afetará os dados já carregados no DW, exceto a configuração de retenção.

Carga Diária Automática

A execução da carga diária é realizada por meio de scheduler criado na base do ERP chamado CARGA_DW_CONSINCO (nome padrão) criado no momento do setup do DW. Recomenda-se que a execução ocorra preferencialmente após o término da baixa de PDV (aplicável ao segmento de varejo) e processamento da média de venda. Para alterar o horário de execução da carga diária, basta alterar o horário de execução da scheduler (solicitar ao DBA).

Este artigo foi útil para você?
Sim
Não
Confirmar que o artigo não foi útil