Kettle – Pentaho Data Integration 5.2 – Agendamento automático da execução dos Jobs usuando Windows

Primeiramente executamos o notepad e adicionamos a linha:

D:\teste\data-integration\kitchen.bat /rep:rep2 -job:NomedoJob /level:Basic -log:D:\opt\files\Dimensoes.txt

Explicação:

D:\teste\data-integration\kitchen.bat = local do arquivo kitchen.bat

/rep:rep2 = nome do repositório criado no Spoon.

-job:NomedoJob = nome do job a ser agendado;

-log:D:\opt\files\Dimensoes.txt = local para armazém o log de execução

Depois salvamos o arquivo com um nome.bat, no exemplo vamos salvar como job.bat.

Vamos no agendador de tarefas do Windows, criamos uma tarefa básica.

Adicionamos um nome para a tarefa:

Selecionamos a opção “Diariamente” para efetuar a execução diária:

Inserimos o horário para execução:

Marcamos a opção iniciar um programa:

Selecionamos o bat que criamos job.bat, no meu caso esta no d:/job.bat:

Depois basta clicar no botão concluir, que a tarefa esta agendada e será executada diariamente de forma automática.

         Para efetuar o agendamento das tarefas no linux CentOS pode ser usado o tutorial:
         http://aprendapentaho.blogspot.com.br/2014/12/kettle-efetuando-agendamento-de-rotinas.html

Kettle – Pentaho 5.2 ERROR: invalid byte sequence for encoding "UTF8": 0xea 0x6e 0x63

Me deparei com um erro ao efetuar consultas (Select) em um banco de dados PostgreSQL através do Kettle – PDI 5.2 utilizando steps como table input:

ERROR: invalid byte sequence for encoding "UTF8": 0xea 0x6e 0x63

Eu estava utilizando PostgreSQL 9.4 com uma base de dados SQL_ASCII, a solução foi alterar o encoding  da base dados para Latin1, o comando que utilizei para efetuar essa alteração:

update pg_database set encoding = pg_char_to_encoding('Latin1') where datname = 'nomedabase'  

Atualização do Cache do Mondrian, Saiku e CDA - Pentaho 5

Gostaria de compartilhar o link de um tutorial do Daniel Albuquerque Rabel, onde apresenta uma forma prática de atualização do cache no Pentaho 5, ele também disponibiliza os Ktrs e o Job.

https://danielrabelo.wordpress.com/2014/06/19/update-cache-mondrian-saiku-and-cda-of-pentaho-5/

Muito bom o tutorial, recomendo. 

Migrando Banco de dados Hibernate, Jackrabbit e quartz para PostgreSQL pentaho 5 - Users + Roles

Primeiramente substituímos os arquivos:

biserver-ce/data/postgresql/create_jcr_postgresql.sql

biserver-ce/data/postgresql/create_quartz_postgresql.sql

biserver-ce/data/postgresql/create_repository_postgresql.sql

biserver-ce/pentaho-solutions/system/hibernate/hibernate-settings.xml

biserver-ce/pentaho-solutions/system/hibernate/postgresql.hibernate.cfg.xml

biserver-ce/pentaho-solutions/system/jackrabbit/repository.xml

biserver-ce/pentaho-solutions/system/quartz/quartz.properties

biserver-ce/pentaho-solutions/system/sessionStartupActions.xml

biserver-ce/tomcat/webapps/pentaho/META-INF/context.xml

biserver-ce/tomcat/webapps/pentaho/WEB-INF/web.xml

Link para Download dos Arquivos acima: https://drive.google.com/file/d/0B0TaKq3jquznamZxTjY4V0NseFU/view?usp=sharing

Após substituir os arquivos, é necessário excluir os arquivos:

- /biserver-ce/tomcat/conf/Catalina/localhost/pentaho.xml

- /biserver-ce/tomcat/work/*

- /biserver-ce/tomcat/temp/*

- /biserver-ce/pentaho-solutions/system/jackrabbit/repository/repository

- /biserver-ce/pentaho-solutions/system/jackrabbit/repository/workspaces

- /biserver-ce/pentaho-solutions/system/osgi/cache/*

- /biserver-ce/tomcat/logs/*

Depois podemos executar manualmente no PgAdmin ou via linha de comando os Scripts:

- biserver-ce/data/postgresql/create_jcr_postgresql.sql

- biserver-ce/data/postgresql/create_quartz_postgresql.sql(parte desse script terá que ser executado após criar o banco quartz, dentro dele)

- biserver-ce/data/postgresql/create_repository_postgresql.sql

Obs. O ideal é editar os arquivos e executar comando a comando para verificar algum possível problema.

Agora é só iniciar o Server do Pentaho que as configurações já apresentam efeito.

O Próximo passo é criar as transformações no Kettle(PDI) utilizando a conexão com a API Rest usando o “Step Client Rest”, assim podemos efetuar operações de consulta, inclusão, alteração e exclusão(Select, Create, Update, Delete) nos Usuários e Roles por exemplo.

Usei como apoio 2 tutoriais: 

Chamadas da API Rest: http://javadoc.pentaho.com/bi-platform500/webservice500/resource_UserRoleDaoResource.html 

Criação das transformações no Kettle: http://diethardsteiner.blogspot.com.br/2014/02/sparkl-create-your-own-app-for-pentaho.html

Migração dos Usuários e Roles (Users e Roles) Pentaho 5.2 - Jackrabbit , quartz e hibernate para PostgreSQL

Efetuei a migração dos Users e dos Roles Pentaho 5.3 e 5.2, com algumas dicas do Fernando Maia da Mota. 

Gostaria de Compartilhar com os Colegas a solução: 

1º Migrei os bancos jackrabbit, quartz, hibernate para o postgreSQL, segui o Tutorial: 

https://github.com/wmarinho/pentaho5-installer/tree/master/config/postgresql

2º Após migrar os bancos utilizei o Kettle(PDI) e a API Rest para acessar os Users e Roles para efetuar as operações de: Consulta, alteração, inclusão e delete(create, update, delete) tanto para Users quanto para Roles, usei como apoio 2 tutoriais: 

Chamadas da API Rest: http://javadoc.pentaho.com/bi-platform500/webservice500/resource_UserRoleDaoResource.html 

Criação das transformações no Kettle: http://diethardsteiner.blogspot.com.br/2014/02/sparkl-create-your-own-app-for-pentaho.html

Nos Próximos dias estarei montado uma documentação bem declarada desse processo e publicando para também poder ajudar outras pessoas, assim como eu obtive ajuda do Fernando.