OLAP, seus principais tipos, vantagens e desvantagens

Mudando um pouco o meu foco e compartilhando algumas informações sobre meus últimos estudos. Vou comparar os principais tipos de OLAP: MOLAP, ROLAP E HOLAP.

Espero que ajude a quem precisa :D

OLAP (OnLine Analytical  Processing ou Processamento analítico em tempo real) é um software cuja tecnologia de construção permite analisar e visualizar dados corporativos de forma rápida, consistente e interativa.  É em geral baseado em dados históricos e utilizado para tomada de decisão .

Existem basicamente dois tipo de OLAP, o MOLAP(Multidimensional OnLine Analytical Processing) e ROLAP(Relational OnLine Analytical Processing), e ainda uma solução híbrida que combina as características dos dois primeiros, o HOLAP (Hybrid Online Analytical Processing).

Veja as principais características, vantagens e desvantagens dessas abordagens:

MOLAP – É a forma mais comum de OLAP, nesse modelo os dados são armazenados em cubos multimensionais, e não em estruturas relacionais, como os tradicionais bancos de dados. Em geral, os formatos de armazenamento são proprietário, ou seja, cada empresa que desenvolve uma solução, desenvolve seu próprio formato de dados.

Vantagens:

·         Excelente desempenho. Cubos MOLAP são feitos para recuperação rápida dos dados, e é excelente para operações de slice and dicing.

·         Pode realizar operações complexas: Todos os cálculos foram pré-processados quando o cubo foi criado, por isso cálculos complexos são realizáveis e retornam o resultado rapidamente.

Desvantagens:

·         Limitações na quantidade de dados que ele pode lidar: Já que todos os cálculos são realizados no momento em que o cubo é criado, não é possível colocar uma grande quantidade de dados no cubo. Isso não quer dizer que o cubo não pode ser criado a partir de um grande número de dados, pelo contrário. Entretanto,  devem ser inseridas no cubos apenas informações sumarizadas.

·         Investimento adicional: a tecnologia baseada em cubos é, em geral, proprietária, e não está disponível na empresa, por isso precisa ser contratada, exigindo investimento

ROLAP - Esta metodologia baseia-se em manipular os dados armazenados no banco de dados relacional para dar a aparência de funcionalidade slice and dice do OLAP tradicional. Em essência, cada ação de slice and dice é equivalente a adicionar um "WHERE" na instrução SQL. O que significa que essa forma de OLAP usa o formato tradicional dos bancos relacionais para simular uma estrutura multidimensional, que é o grande objetivo do OLAP.

Vantagens:

·         Pode lidar com grande quantidade de dados: a limitação do tamanho dos dados no ROLAP não depende do ROLAP em sim, mas sim do tamanho da base em que executa as operações.

·         Pode utilizar funções inerentes aos bancos de dados relacionais: em geral, os bancos de dados relacionais já vêm com uma gama de funcionalidades. Tecnologias ROLAP que estão no topo de bases relacionais, podem usufruir dessas funcionalidades.

Desvantagens:

·         Desempenho pode ser ruim: Já que cada relatório ROLAP pode necessitar de uma, ou várias, consultas SQL, isso pode tornar o desempenho baixo, já que uma base de dados grande pode fazer com que o tempo das consultas também seja grande.

·         Investimento adicional: a tecnologia baseada em cubos é, em geral, proprietária, e não está disponível na empresa, por isso precisa ser contratada, exigindo investimento

HOLAP – Combina o melhor da tecnologia multidimensional com o melhor da relacional. Pode usar estratégias ROLAP quando é requerida sumarização e MOLAP quando um nível de detalhamento maior for o objetivo.

Existem muitas controvérsias nas definições desses sistemas. Pois os próprios fabricantes não têm um padrão para designá-los. Mas, por alto, o princípio é esse :D

Referências:

http://www.1keydata.com/datawarehousing/molap-rolap.html

http://www.geekinterview.com/question_details/271

Monografia sobre Optical Mark Recognition

Como muita gente se interessou pelo meu artigo sobre reconhecimento de marcas digitais, resolvi publicar minha monografia sobre este assunto.
O artigo foi extraído da monografia, Não é lá grandes coisas, hehehe, mas dá para ter uma ideia melhor do que foi desenvolvido, como o sistema foi modelado e como as marcas são extraídas das imagens.

Também tem algumas ideias sobre Padrões de Projetos, um dos assuntos mais interessante que estudei nos últimos tempos...

Veja a Monografia aqui

Espero que ajude... :D

Java - Travando o Teclado

Galera, segue um código para travar o teclado e o mouse do computador utilizando a biblioteca JNative.

Você pode fazer o download da biblioteca do Jnative aqui

Ou visitar o site da biblioteca

O código é bem simples:

Depois de fazer o download, basta adicionar a biblioteca ao classpath do seu projeto, e colocar o código da figura acima.
Para liberar o teclado, você pode usar o mesmo código, apenas troque "Blk" por 0 (zero): blockInput.setParameter(0,0);

Esse método pode ser bem útil pra quem está trabalhando com TEF, e precisa travar o teclado e o mouse quando a aplicação faz alguma impressão.

Artigo fluxo óptico

Mais um artigo meia boca, desta vez sobre fluxo óptico.
Neste trabalho eu comparei dois métodos para localização de fluxo óptico me sequências de imagens.
Fluxo óptico nada mais é, do que o movimento do pixel ao longo do tempo, em sequências de imagens, tais como vídeos.
Pode ser interessante para alguém.... :D

Acesse o Artigo aqui

XStream - Salvando arquivos XML com Java

XStream é uma biblioteca simples para serializar objetos em arquivos XML, e desserializá-los em objetos Java. Ou seja, com essa biblioteca você é capaz de salvar seus objetos em arquivos XML e restaurar esse arquivos em objetos novamente.

Entre as principais vantagens de usar essa biblioteca estão:

• É fácil de usar – Existe uma classe de alto nível que encapsula a biblioteca, com apenas uma classe você consegui salvar seus objetos em arquivos XML.
• Desempenho – É rápido e consome pouca memória, por isso pode ser usado para objetos com muitos dados, ou em sistema que necessitem salvar muitos XML’s.
• Não é necessário modificar classes e objetos -  Serializa campos internos, incluindo os private e final. Suporta classes internas e não públicas, e não exige que as classe possuam um construtor padrão.

Para aplicações pequenas, em que não seja necessário XML complexo, o XStream se mostra como uma excelente opção. Sua facilidade de uso torna tudo mais simples, e o desenvolvedor precisa de poucas linhas para salvar e recuperar seus objetos.

Primeiramente é necessário fazer o download do arquivo .jar da biblioteca, o endereço é http://xstream.codehaus.org/download.html. Se o código for usado como mostrado nessa postagem não é necessário incluir nenhuma outra biblioteca ao seu projeto.

O Exemplo a seguir foi adaptado do site da biblioteca. Primeiramente são criadas duas classes simples:

public class Pessoa {

  private String nome;

  private String sobreNome;

  private Fone fone;

  private Fone celular;

}

public class Fone {

  private int codigo;

  private String numero;

}

Após ter as classes que deseja serializar, e adicionar a biblioteca ao seu ClassPath, inicie um objeto XStream. Ele será responsável pela serialização e desserialização dos objetos.

XStream xstream = new XStream(new DomDriver());

//O código abaixo é opcional

xstream.alias("pessoa", Pessoa.class);

xstream.alias("telefone", Fone.class);

Agora vamos mostrar os códigos para serializar um objeto da classe Pessoa. Basta usar o objeto xstream criado:

Pessoa joao = new Pessoa(“João”, “da Silva”);

joao.setFone(new Fone(1,”1234-456”));

joao.setCelular(new Fone(2,”9999-9999”));

String xml = xstream.toXML();

Com essa “manobra” a variável xml recebe o seguinte valor:

<pessoa>
  <nome>João</nome>
  <sobrenome>da Silva</sobrenome>
  <fone>
    <codigo>1</codigo>
    <numero>1234-456</numero >
  </fone>
  <celular>
    <codigo>2</codigo>
    <numero>9999-999</numero >
  </celular>
</pessoa>

Para desserializar é tão fácil quanto serializar:

Pessoa novoJoao = (Pessoa)xstream.fromXML(xml);

É muito fácil né?!

E tem muitas utilidades! Quando desenvolvi o ecf, utilizei para restaurar itens vendidos quando o programa fechava ou havia queda de energia, ele salvava, a cada item vendido o arquivo xml da classe Cupom, e se ocorrece alguma eventualidade, ele transforma esse xml em objeto, e pronto, a aplicação ficava no mesmo 
estado em que estava quando aconteceu o problema.

Abaixo seguem alguns códigos que podem ajudar :

//Para omitir algum campo do xml

//Não salvaremos o campo celular da classe Pessoa

xstream.omitField(Pessoa.class, “celular”);

 ---------------------------------------------------

//Para salvar em uma arquivo – podemos salvar em uma OutPutStream

xstream.toXML(joao, new FileOutPutStream(“arquivo.xml”)); 

 ---------------------------------------------------

//Para recuperar de um arquivo- usando InputStream

Pessoa novoJoao;

novojoao = (Pessoa) xstream.fromXML(new FileInputStream(“arquivo.xml”));

 ---------------------------------------------------

//Para aceitar caracteres especiais

XStream stream = newXStream(new DomDriver("ISO-8859-1"));

Artigo sobre sistema OMR para correção de Cartões de Resposta

Enquanto não cumpro minha promessa de criar postagem frequentes para meu blog, vou deixar aqui um artigo sobre meu tema de monografia.

Trabalhei com Optical Mark Recognition (grosseiramente traduzido como Reconhecimento de Marcas Ópticas).

Neste trabalho usei processamento de imagens para corrigir Cartões de Respostas (gabaritos) de imagens provenientes de um scanner.

Desenvolvi também o sistema que faz isso.

A ideia é simples. A partir de imagens digitalizadas de cartões de respostas, o sistema permite criar um modelo no qual temos as marcas contidas nessa imagem, e a partir desse modelo ele é capaz de dizer quais opções foram selecionadas por determinado candidato. Além disso os dados podem ser exportados em XML ou TXT.

Espero que possa ajudar alguém!

Acesse o Artigo no GoogleDocs

TEF - Dicas para quem vai homologar

Pra quem já está prestes a homologar, tenho algumas dicas que podem ajudar:

Primeiro, e mais importante, fique tranqüilo, os certificadores não mordem, hehehe, pelo contrário, são muito gente boa e tranqüilos, se você não der muito trabalho para eles, eles também não darão pra você.

Não discuta com os certificadores, faça tudo o que eles pedirem, peça que esclareçam as coisas se não entendeu, mas evite discussões inócuas que não te levaram a lugar nenhum.

Foram muito tranqüilos comigo e me ajudaram bastante... Aproveitava o tempo entre um teste e outro pra conversar e ganhar a confiança. São super simpáticos e estão ali pra te ajudar!

A certificação da SevenPDV é mais pesada...

Além do Check List que eles fazem, fazem os roteiros da amex e da Cielo(antiga VisaNet). É difícil fazer em um dia só.

A da Software Express é mais tranqüila, é apenas o roteiro de testes, fiz em menos de 2 horas!

Comecei na Seven, mas não terminei a homologação no primeiro dia, ficou um roteiro e meio pra fazer ainda...

Mas como já havia corrigido todos os bugs no checklist da Seven, a da software Express foi feita em menos de duas horas... Sem nenhuma alteração no código! Mais tarde ainda pude terminar a homologação do Cielo e do Amex... Portanto essa é a ordem que eu aconselho, primeiro dia SevenPDV e segundo Software Express, por que na primeira deixam q você termine os testes no outro dia!

Desde que você tenha feito tudo certo, eles te darão todas as dicas para organizar seu sistema da forma que eles exigem... Uma dica importante é deixar para corrigir os erros apenas no final, vá anotando os testes do checklist que você foi reprovado e o que o homologador pedirá, e apenas corrija depois que ele verificar o último teste, isso te poupará tempo, muito tempo.

Quando eu homologuei, com um dos homologadores estava corrigindo o teste assim que eu era reprovado, aí ele saia da mesa de homologação e enrolava até voltar e eu acabei perdendo muito tempo. Com a segunda homologadora passei por todos os testes primeiro, e depois em menos de uma hora corrigi todos os erros do sistema...

Se alguém tiver mais alguma dúvida, por favor poste nos comentários que terei o maior prazer em responder...

Eu ficava muito apreensivo sobre como seria a certificação e tal, por isso estou disposto a colaborar com quem precisar...

;)