Interagente

Bancos de Dados Maciçamente Paralelos

Os MPP RDBMS (massively parallel relational database systems ) alcançam um desempenho notávelmente superior aos bancos de dados relacionais convencionais tirando vantagem da computação distribuída baseada na tecnologia de Map Reduce. As tabelas do seu banco de dados são distribuídas em diferentes nós de um cluster de máquinas. Os nós master atribuem consultas SQL aos nós escravos (map) e depois combinam os resultados retornados (reduce) num único resultado. Os critério de distribuição é declarado no esquema. Adicionalmente à distribuição de tabelas pelos nós do cluster, os MPP RDBMS podem particionar as tabelas dentro de cada nó. Este partionamento visa tirar proveito de características localizadas de determinadas consultas que podem ser direcionadas para porções físicamente distintas de uma tabela (consultas regionais de uma aplicação nacional de desempenho de vendas, por exemplo). Uma outra importante característica dos MPP RDBMS é o suporte a tabelas transpostas, onde o armazenamento dos dados é orientado a colunas. As consultas típicas de BI utilizam poucas colunas por consulta e, neste caso, o armazenamento orientado a colunas reduz notavelmente as transferências disco-memória (I-O) além de proporcionar maior eficiência dos algoritmo de compressão de dados. Os MPP RDBMS mais avançados suportam tanto o armazenamento orientado a colunas como o orientado a linhas. Além dos índices convencionais, algumas implementações suportam índices de mapa de bits (bitmap index) que operam consultas em memória utilizando operadores booleanos. Em um projeto típico de data warehouse, recomenda-se utilizar o bitmap index para as tabelas de fatos com armazenamento colunar e não utilizar índices para as tabelas de dimensões com armazenamento por linha. Consulte o seu fornecedor para saber como maximizar o desempenho da sua solução. Finalmente, vale ressaltar que alguns fornecedores oferecem seus MPP RDBMS como data warehouse appliances, ou seja, uma peça de hardware com arquitetura especial e com o software pré-instalado. Entre estes posso citar a solução EMC Greenplum e IBM Netezza. Alguns fornecedores alavancam projetos open source como o PostGreSQL (HP Vertica, EMC Greenplum) e o MySQL (Tokutek) o que pode implicar em soluções mais palatéveis econômicamente. Este é um mercado em emergente que traz uma tecnologia alavancaladora de uma nova era em data warehousing.

Big Data e Internet móvel revolucionarão a saúde

Captura e Monitoramento de Sinais Vitais

Os dispositivos móveis, cada vez mais baratos, tornam-se meios captura e monitoramento de remoto de sinais vitais, possibilitando inovações em serviços de cuidados com a sáude. No artigo How the mobile internet can transform healthcare, publicado na kevinMd.com, Dave deBronkart analisa relatório da Morgan Stanley que mostra o rápido avanço da Internet móvel num passo mais acelerado do que dos desktops. Em sua palestra The wireless future of medicin no TEDMED 2009 (assista o vídeo abaixo), Eric Topol nos mostra o universo de possibilidades de sensores que podem ser conectados aos dispositivos móveis. Aqui no Brasil, já estamos dando nossos passos e já temos uma solução móvel homologada pela Anatel para fins médicos. SERVIÇOS DE INFORMAÇÃO DE SAÚDE BASEADOS NA WEB No início deste mês a VirtualHealthCheck.com lança uma solução de tele-sáude projetada para melhorar a comunicação médico-paciente. É um software-como-serviço (SaaS) permite a captura (wireless) e armazenamento de sinais vitais assim como geração de relatórios em tempo real. A disponibilidade destas informações e a capacidade de tratá-las através das ferramentas de Big Data Analytics nos abrem novos horizontes na busca soluções em cuidado com a saúde. BIG DATA ANALYTICS A APLICADA A SOLUÇÕES DE SAÚDE Como mostra o estudo The huge impact of chronic conditions da McKinsey, os gastos com doenças crônicas respondem por, pelo menos, 75% dos gastos totais em cuidados com a saúde na maioria dos países desenvolvidos. O Plano Estratégico da ONC HIT (Office of the National Coordinator for Health Information Technology), diz: Big Data Will Transform Health Care. Ainda de acordo com o plano divulgado em 25 de março, "informações clínicas capturadas a partir de registros de sáude, em formato legível por máquina, podem ser usados para acelerar a criação e difusão de conhecimento médico"--criando o que a ONC chama de "sistema de saúde que aprende". Em atitude inovadora nesta mesma direção a, Heritage Provider Network, anunciará oficialmente na próxima segunda-feira (04 de abril), as regras e o regulamento de concurso de data mining Heritage Health Prize que pagará 3 milhões de dólares para o desenvolvedor que criar um programa de computador que possa prever com precisão e prevenir hospitalizações desnecessárias.

2011 Inaugura uma Nova Era em Data Warehousing

Relatórios de institutos de pesquisa com o TDWI, Gartner Group e Forrester Research apontam para profundas mudanças nas plataformas de data warehousing já para este ano.

O aumento da capacidade em armazenamento, de rede e de processamento proporcionado pela Lei de Moore, que têm viabilizado a computação em nuvem, têm também favorecido o desenvolvimento de sistemas de gerenciamento de bancos de dados relacionais massivamente paralelos (MPP RDMS) operando sobre infra-estrutura de computação distribuída (sql map reduce, cloud computing).

Dentre as principais transformações, destaco:

Usuários vão para o BI de auto-serviço

Softwares de BI de nova geração, baseados em análise em memória e dotados de interfaces intuitivas rich client baseadas na web como Spotfire, Tableau e  QlikView darão maior produtividade, flexibilidade e autonomia  para os usuários finais.

RDMSs tornam-se massivamente paralelos, operando em nuvem

Aliado ao baixo custo de hardware, este novos RDMS têm tirado vantagem de softwares open source como o PostgreSQL e o MySQL o que também contribui para soluções de custo palatável, viabilizando aplicações antes não concebíveis em termos do custo comparado aos benefícios em função de seu gigantesco volume de dados (big data).

Data analytics movem-se para o RDMS

Os MPP RDMSs passam a executar operações de data analytics (datamining, estatísticas), tirando proveito da infra-estrutura computacional distribuída.

Business Intelligence suporta decisões intra-day

A possibilidade de se lidar com grandes volumes de dados cria a oportunidade de não só trabalhar numa granularidade de dados mais fina que permita a análise e descoberta de padrões antes escondidas pelas sumarizações do seu DW convecional, mas também cria uma outra oportunidade que é a de se criar aplicações de BI de quase tempo real suportando o acompanhamento de tendências e tomada de decisões que corrijam o curso da ação durante o dia.

Consolidação do mercado

Recentes aquisições têm mostrado que estas transformações estão em curso, como a aquisição da Vertica pela HP,  a aquisição da Aster Data pela Teradata,  a aquisição da Netteza pela IBM, assim com as aquisições  da Greenplum pela EMC e da Sybase pela SAP em 2010.

Olá, mundo!

Bem-vindo ao Blog da Interagente.  Aqui você vai achar informações sobre computação em nuvem, análise de dados,  jogos e soluções de informação para grandes volumes.