Pentaho Day Brasil - 2015 - Sucesso Total

#PentahoDayBrasil2015 Sucesso Total

Pentaho Day Brasil é um evento gratuito que ocorre anualmente, onde reúne desenvolvedores, empresas, e pessoas interessadas, com o objetivo de gerar network entre os profissionais, apresentar as novidades da plataforma pentaho, e fornecer dicas sobre as ferramentas.

Neste ano de 2015 foi realizado em Curitiba PR nos dias 15, 16 de maio na Universidade Positivo, onde contou com a presença de centenas de pessoas.

Acredito que quem participou saiu muito contente com a organização do evento, com a qualidade técnica da grande maioria dos palestrantes, e com as diversas dicas e novidades apresentadas.

Eu participei e pretendo participar nos próximos anos!!!

Fonte da imagem: https://pt-br.facebook.com/pentahobrasil

Comando SQL para verificar o tamanho das tabelas do banco de dados PostgreSQL – DW

O Comando apresentará cada tabela que possuir um tamanho maior que 1 GB, no banco de dados PostgreSQL:

SELECT n.nspname as "Schema",
c.relname as "Tabela",
pg_catalog.pg_size_pretty(pg_table_size(c.oid)) as "Tamanho",
pg_catalog.pg_size_pretty(pg_total_relation_size(c.oid)) as "Tamanho total"
FROM pg_catalog.pg_class c
LEFT JOIN pg_catalog.pg_namespace n ON n.oid = c.relnamespace
WHERE c.relkind IN ('r','')
AND n.nspname <> 'pg_catalog'
AND n.nspname <> 'information_schema'
AND n.nspname !~ '^pg_toast'
AND pg_catalog.pg_table_is_visible(c.oid)
AND pg_table_size(c.oid) > 1073741824 -- >1GB
ORDER BY pg_table_size(c.oid) DESC,1,2;

Obs. Podemos usar esse comando para verificar o tamanho das tabelas do Data Warehouse postgreSQL e se existir a necessidade criar os processos de particionamento de tabelas. 

Comando para verificar o tamanho da base de dados:
select pg_size_pretty(pg_database_size('base_que_sera_consultada'));

Kettle – Spoon java.lang.OutOfMemoryError: GC overhead limit exceeded – Acertando a quantidade de memória usada pelo Spoon

O erro java.lang.OutOfMemoryError apresentado no log do Spoon é referente a falta de memória para executar o processo, obtive esse erro principalmente quando efetuava o processamento de grandes volumes de dados em comparações.

Para acertar a quantidade de memória utilizada pelo Spoon editamos os arquivos Spoon.bat(Windows) e Spoon.sh(Linux).

No Spoon.bat editando a linha 94 temos:

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx2048m" "-XX:MaxPermSize=2048m"

Alteramos  as propriedades “-Xmx2048m” e "-XX:MaxPermSize=2048m”

No Spoon.sh editando na linha 191 temos:

PENTAHO_DI_JAVA_OPTIONS="-Xmx512m -XX:MaxPermSize=256m"

Alteramos as propriedades "-Xmx2048m -XX:MaxPermSize=1024m”

Efetuando essas alterações resolveu o meu problema de java.lang.OutOfMemoryError.

PUC4Mobile - Client Pentaho 5 Mobile – Iphone

Existe um client Pentaho 5 Mobile para Iphone e Ipad que tem o nome de PUC4Mobile, desenvolvido pela empresa Sinn Tecnologia.

Este client é muito prático permite o usuário navegar acessando pastas do servidor e dashboards, também permite salvar e enviar dashboards por e-mail.

Esta disponível Itunes da Apple, custa aproximadamente $ 2,58 o que é um valor relativamente baixo.

Para maiores informações:

https://itunes.apple.com/br/app/pentaho4mobile/id605746552?l=en&mt=8  

Fonte das imagens: https://itunes.apple.com/br/app/pentaho4mobile/id605746552?l=en&mt=8  

Kettle – Pentaho Data Integration 5.2 – Agendamento automático da execução dos Jobs usuando Windows

Primeiramente executamos o notepad e adicionamos a linha:

D:\teste\data-integration\kitchen.bat /rep:rep2 -job:NomedoJob /level:Basic -log:D:\opt\files\Dimensoes.txt

Explicação:

D:\teste\data-integration\kitchen.bat = local do arquivo kitchen.bat

/rep:rep2 = nome do repositório criado no Spoon.

-job:NomedoJob = nome do job a ser agendado;

-log:D:\opt\files\Dimensoes.txt = local para armazém o log de execução

Depois salvamos o arquivo com um nome.bat, no exemplo vamos salvar como job.bat.

Vamos no agendador de tarefas do Windows, criamos uma tarefa básica.

Adicionamos um nome para a tarefa:

Selecionamos a opção “Diariamente” para efetuar a execução diária:

Inserimos o horário para execução:

Marcamos a opção iniciar um programa:

Selecionamos o bat que criamos job.bat, no meu caso esta no d:/job.bat:

Depois basta clicar no botão concluir, que a tarefa esta agendada e será executada diariamente de forma automática.

         Para efetuar o agendamento das tarefas no linux CentOS pode ser usado o tutorial:
         http://aprendapentaho.blogspot.com.br/2014/12/kettle-efetuando-agendamento-de-rotinas.html

Kettle – Pentaho 5.2 ERROR: invalid byte sequence for encoding "UTF8": 0xea 0x6e 0x63

Me deparei com um erro ao efetuar consultas (Select) em um banco de dados PostgreSQL através do Kettle – PDI 5.2 utilizando steps como table input:

ERROR: invalid byte sequence for encoding "UTF8": 0xea 0x6e 0x63

Eu estava utilizando PostgreSQL 9.4 com uma base de dados SQL_ASCII, a solução foi alterar o encoding  da base dados para Latin1, o comando que utilizei para efetuar essa alteração:

update pg_database set encoding = pg_char_to_encoding('Latin1') where datname = 'nomedabase'  

Atualização do Cache do Mondrian, Saiku e CDA - Pentaho 5

Gostaria de compartilhar o link de um tutorial do Daniel Albuquerque Rabel, onde apresenta uma forma prática de atualização do cache no Pentaho 5, ele também disponibiliza os Ktrs e o Job.

https://danielrabelo.wordpress.com/2014/06/19/update-cache-mondrian-saiku-and-cda-of-pentaho-5/

Muito bom o tutorial, recomendo.