quinta-feira, 23 de julho de 2015

Step Set Variables e Step Get Variables – Exemplos Kettle

Este Post tem como objetivo apresentar a utilização dos steps Set e Get Variables, quais são utilizados para setar um valor em uma variável(parâmetro), e o Get para buscar o valor da variável e ou parâmetro para ser utilizada em um SQL por exemplo,  vamos apresentar um exemplo a seguir.

1º Inserir os Steps: Input Table, Select Values e Set Variables em uma transformação e ligar os hops;
Table input temos uma select qual resulta a data de hoje(atual) que precisa ser guardada para ser utilizada em um passo seguinte:

3º No Select Values precisamos informar os dados nas abas “Select & Alter” e “Meta-Data”:


4º No Set Variables informamos os campos: Field name, Variable name, Variable scope type:

5º Criamos o próximo passo onde vamos usar a variável(Parametro) criado, então criamos uma nova transformação e inserimos os steps: get variables, input table, e output table.
6º No Get Variable definimos a variável(parâmetro) que vamos buscar, no exemplo data_hoje, então definimos os campos: name, variable(sem vai ser ${nomedaviavel}, tipo, formato, conforme imagem abaixo:

7º No step input table podemos usar a variável que buscamos com o get, no nosso caso ${dia_hoje}, para isso precisamos:

*Marcar o checkboxReplace variables in script”;
*selecionar o step Get Variable que no nosso caso é “Get Data de Hoje” no seletor “Insert data from step”;
* no comando SQL podemos simplesmente adiciona “?” ou podemos especificar a variável assim ‘’’${nomedavariavel}’’’, conforme exemplo:

8º Para finalizar o output table grava o resultado da consulta sql na tabela de destino(conforme padrão).
A rotina poderia ficar em um Job dessa forma:

Onde primeiro efetuamos em uma transformação o Set da variável e depois em outra transformação através do get buscamos o valor e usamos.



quarta-feira, 22 de julho de 2015

Job Executar uma linha de entrada por vez por vez – Kettle

Existe a possibilidade do Job executar uma linha por vez, por exemplo: tenho uma lista de datas(dias) e preciso que o job execute uma data(linha) por vez.

Para isso:
- 1º - dois clique em cima do Job;
- 2º - aba Advanced;
- 3º Marcamos o checkbox “Execute for every input row”;
- 4º - clicamos no botão “OK” e salvamos a alteração;






quarta-feira, 15 de julho de 2015

URLs utilizadas pelo MarketPlace Pentaho para liberar no Servidor de Proxy

No servidor de proxy podemos liberar apenas as URLS que o MarketPlace utiliza. Em consulta ao Pedro Vale(Dev Lead da Pentaho) informou que as URLs utilizadas pelo MarketPlace podem ser consultadas no endereço: http://marketplace.pentaho.com/marketplace-plugins.xml.

As URLS que encontrei para liberar foram:

- http://marketplace.pentaho.com/
- http://www.webdetails.pt/
- http://pentaho.com/
- http://ci.analytical-labs.com/
- http://nexus.pentaho.org/
- http://ci.pentaho.com/
- https://raw.githubusercontent.com/pentaho/marketplace/
- http://cdf.webdetails.org/
- http://ctools.pentaho.com
- http://cda.webdetails.org
- http://redmine.webdetails.org/
- https://github.com/
- http://wiki.meteorite.bi
- http://meteorite.bi
- http://ci.analytical-labs.com
- http://www.it4biz.com.br/
- http://it4biz.github.io/
- http://sourceforge.net/
- https://a.fsdn.com/
- http://infocenter.pentaho.com/
- https://a.fsdn.com/
- http://ivy-is.co.uk/
- http://goo.gl/
- http://creativecommons.org/
- http://bit.ly/
-  http://www.w3.org/
- https://pbs.twimg.com/
- http://openi.org/
- http://downloads.sourceforge.net/
- http://www.pivot4j.org/
- http://ci.greencatsoft.com/
- http://kleysonrios.blogspot.com.br/
- http://4.bp.blogspot.com/
- http://www.biztech.it/
- http://fcorti.com/
- http://www.gravatar.com/
- http://francescocorti.files.wordpress.com/
- http://fcorti.com/
- http://wiki.pentaho.com/
- http://www.inquidia.com/
- https://raw.githubusercontent.com/
- http://rpbouman.blogspot.com/
- http://www.xpand-it.com/
- https://code.google.com/
- http://www.bissolconsulting.com/
- https://dl.dropboxusercontent.com/
- http://rpbouman.blogspot.com/
- http://2.bp.blogspot.com/
- http://3.bp.blogspot.com/
- http://www.linalis.com/
- https://drive.google.com/
- http://www.blauadvisors.com/
- http://www.vinzi.nl/
- http://www.atolcd.com/
- http://ksk-anl.com/
- http://jira.pentaho.com/
- http://www.nuodb.com/
- http://about.me/
- http://www.gnu.org/
- https://play.google.com/
- https://www.gnu.org/
- http://www.apache.org/
- http://kettle-franchise.googlecode.com/
- http://code.google.com/
- http://datacleaner.org/
- http://www.easydq.com/
- http://fcorti.com/
- http://francescocorti.files.wordpress.com/
- https://pentaho.box.com/
- http://forums.pentaho.com/
- http://www.melissadata.com/
- http://update2.melissadata.com/
- http://wiki.civicrm.org/
- https://civicrm.org/
- http://inquidia.com/
- http://www.tableausoftware.com/
- http://csvjdbc.sourceforge.net/
- http://www.neo4j.org/
- http://ruckuswireless.com/
- http://c447153.r53.cf2.rackcdn.com/
- https://ssl.gstatic.com/
- http://www.legsem.com/
- http://dekarlab.de/
- http://www.r-project.org/
- http://dekarlab.de/
- https://maven.gcx.org/
- http://www.spec-india.com/
- http://dynambi.com/
- http://joshid.github.io/
- http://funpdi.blogspot.com/
- https://linalis.atlassian.net/
- http://www.linalis.fr/
- http://dl.bintray.com/
- http://www.meteorite.bi/
- https://anotherreeshu.wordpress.com/


segunda-feira, 13 de julho de 2015

Combinação de cores – Ctools Dashboards – Pentaho

Uma dificuldade comum é não conseguir combinar as cores dentro dos dashboards desenvolvidos com a ferramenta Ctools, para isso existem ferramentas Web que podem nos ajudar a achar a combinação ideal, ou a combinação mais próxima do ideal.

Dois exemplos são o “Color Adobe” (Kuler) e o “Paletton”, após achar a combinação perfeita podemos copiar o código das cores que vamos utilizar.





javax.ws.rs.WebApplicationException: pt.webdetails.cda.dataaccess.QueryException: Mondrian Error:Query timeout of 300 seconds reached

Erro:
javax.ws.rs.WebApplicationException: pt.webdetails.cda.dataaccess.QueryException: Mondrian Error:Query timeout of 300 seconds reached

Esse problema é timeout do mondrian, existe a configuração que pode ser alterada no arquivo biserver-ce\pentaho-solutions\system\mondrian\mondrian.properties


Na Linha 14:
mondrian.rolap.queryTimeout=300

Proxy Marketplace Pentaho 5

Ao abrir o Market Place apresenta o erro:

ERROR [MarketplaceXmlSerializer] Error getting plugins from marketplace xml

Para resolver esse problema adicione a linha abaixo no arquivo start-pentaho.sh
-Dhttp.proxyHost=proxy  -Dhttp.proxyPort=porta -Dhttp.proxyUser=user -Dhttp.proxyPassword=password

sexta-feira, 3 de julho de 2015

Amazon RedShift x Infraestrutura Própria - Banco B.I. Pentaho(DW)

Muitas pessoas ainda possuem dúvidas sobre usar ou não o Amazon Redshift, Quais as vantagens? Qual o Custo?

O profissional Fabio de Salles criou um post de comparação entre as duas situações: adquirindo Amazon RedShift x Montando Infraestrutura própria (comprando hardware) e no final apresenta uma conclusão sobre a abordagem no geral, muito bom o post.