Um Perfil da Caringo

Três pioneiros da indústria juntaram suas experiências e fundaram em Austin, Texas, USA, uma nova empresa dedicada a prover o mercado de uma nova ferramenta de software voltada para CAS (Content Addressed Storage), reduzindo a complexidade da utilização, bem como seus custos. O nome Caringo deriva dos nomes dos seus fundadores: Paul Carpentier, Jonatahn Ring e Mark Goros.

Paul Carpentier é conhecido pela indústria como o inventor do conceito de CAS, tendo sido o primeiro a desenvolver a tecnologia há mais de 10 anos. Foi o engenheiro chefe da altamente aclamada tecnologia do File Pool, que foi vendido para a EMC em 2001. Tendo mais de 10 anos de experiência "com a mão na massa", Carpentier estava altamente qualificado para fazer um processo de reengenharia no CAS, visando as novas demandas do século 21. Hoje Carpentier é o CTO da Caringo, enquanto que Jonathan Ring é o Presidente e Mark Goros o CEO.

O time de executivos da Caringo já vem trabalhando junto há mais de 16 anos, somando mais de 80 anos de experiência, já tendo trabalhado em empresas como Oracle, Siebel, IBM, Tandem Computers, Sybase, Gain Technology, TechGnosis, FilePool, Equip Ventures, Comdisco, Cartia, Sentient Ventures, and BroadVision.

"Hardware-agnostic CAS is a bright spot in storage today," foi o comentário de Jon William Toigo, um veterano consultor de TI , renomado arquiteto de sistemas e integrador, que cedo se tornou um grande apreciador do CAStor, depois de condenar os produtos de outros fabricantes que freqüentemente são chamados de sticky CAS.

Seu comentário a respeito: "Uma vez que você coloca os dados que você precisa reter por um grande período de tempo num sistema sticky CAS, você é visto pelos vendedores de hardware como alguém que nunca mais poderá comprar storage de outros fabricantes. Somente o seu. Isto limita a sua escolha e perpetua custos insanos, restringindo sua habilidade de tirar vantagem de alternativas de baixo custo".

CAS: O que é e quem precisa dele?

CAS - Content Addressed Storage - foi inventado porque os sistemas de arquivos que são usados hoje em dia, por grande maioria, já estão com mais de 30 anos de idade e completamente desatualizados. Eles datam da época em que os drives de discos magnéticos eram medidos em megabytes e o número de arquivos em centenas. Os sistemas de arquivos não são escaláveis, têm uma fraca performance e dão problemas nas horas mais inconvenientes.

Paul Carpentier, CTO da Caringo, inventou o CAS nos anos 90, quando trabalhava numa empresa chamada FilePool. A empresa foi vendida para a EMC em 2001 e transformou-se em Centera, que veio a ser a linha de produtos da EMC que mais rapidamente cresceu. A EMC posicionou o Centera de uma forma brilhante como uma aplicação de archiving visando não prejudicar seu lucrativo negócio (e de alto preço) de SAN e NAS. Esta estratégia foi brilhante de duas formas: primeiro eles criaram um novo mercado. Em segundo lugar, estando posicionados como uma solução de archiving tudo leva a crer que as empresas tenham que estar vinculadas ao hardware Centera durante todo o tempo de sua existência. O mercado de CAS é, hoje em dia, um mercado de bilhões de dólares, graças à EMC e outras empresas vendedoras de hardware, que evangelizaram e venderam a tecnologia de CAS.

A Caringo analisou o status atual do mercado e detectou que muito mais poderia ser feito pelo CAS. Os vendedores de hardware estavam aprisionando seus clientes com as suas tecnologias proprietárias, fazendo com que estes mesmos clientes ficassem fora da tecnologia de um puro sistema de CAS.

CAS oferece um address space enorme, simples e contínuo. Pense nisto um minuto. O que você poderia fazer, se tivesse um storage space que nunca necessitasse ser reconfigurado para adicionar novos drives de discos? As aplicações poderiam acessar livremente as informações em qualquer lugar, a qualquer hora. O hardware poderia expandir o storage space sem provocar qualquer efeito sobre as aplicações ou usuários. O address space contínuo poderia crescer indefinidamente. Escalabilidade é um dos maiores problemas dos sistemas de arquivos. CAS resolve isto!

E a performance? Como fica? Um número grande de pequenos arquivos pode fazer com que um sistema de arquivos degrade. Isto não acontece com um sistema de CAS projetado de forma apropriada. Performance é outra dimensão que pode ter sua magnitude melhorada. De fato, uma vez que o CAS combina escalabilidade com performance, podemos imaginar uma performance até maior, devida a entry points adicionais na sua forma de armazenamento.

Não há razão para que um sistema CAS bem projetado não possa rodar em qualquer tipo de hardware. De fato, a curva de preço/performance de hardware baseado em x86 comodity tende a beneficiar o cliente.

O CAStor, da Caringo, roda em commodity hardware, o que o torna muito mais econômico do que qualquer solução proprietária dos fabricantes de hardware. O CAStor é, também, totalmente simétrico. Isto significa que cada node em um cluster é independente. Cada um é um entry point no cluster. À medida que um cluster cresce, a performance aumenta. Da mesma forma, a recuperação de um disco ruim pode ocorrer mais rapidamente do que um RAID. Este é o mais belo exemplo de como colocar o hardware de melhor preço/performance trabalhando para você, com uma elegante implementação de software.

Assim, CAS pode melhorar a performance. CAS pode fazer a escalada que você deseja, de uma forma linear. Mas somente CAStor pode libertar você das amarras do hardware proprietário. Mas... ainda tem mais!

Nós, da Caringo, conseguimos enxergar uma série de elementos que estão torturando a indústria. Performance, escalabilidade e independência de hardware são três dos maiores, mas... complexidade, gerência e manutenção de sistemas, integridade das informações e recuperação de desastres também estão no ról dos motivos que não deixam você dormir em paz.

CAS to the rescue. O conceito é a simplicidade por si só, mas a implementação é quase uma mágica. O CAS tradicional (a segunda geração depois de FilePool, Centera e outros), designa um valor de hash para cada peça do conteúdo. Isto é o que se chama de content's unique ID. Se o processo de hash é rodado novamente no momento de leitura e o mesmo valor é encontrado, pode-se assegurar que o conteúdo não foi alterado. Até pouco tempo atrás isto era uma verdade. Há cerca de dois anos, o algorítimo de hash MD5 foi quebrado em laboratórios. Nós temos consciência de que os algorítimos de hash de qualquer espécie ficam ultrapassados com o passar do tempo, à medida em que os computadores vão ficando mais poderosos e os hackers se tornam mais criativos. Como resultado disto, petabytes de informação correm potencial risco em centenas de instalações de CAS.

CAStor separa o unique ID do algorítimo de hash. Devido a este artifício, o algorítimo de hashing pode ser trocado a qualquer momento, sem que isto tenha qualquer efeito sobre o conteúdo ou as aplicações que estão acessando o sistema de CAS. Simples porém devastadoramente poderoso. CAStor assegura a integridade dos dados por toda a vida. Mesmo que isto possa significar centenas de anos!

Quando você armazena um conteúdo num cluster do CAStor, a informação é replicada (você pode determinar o número de réplicas). Com um mínimo de duas réplicas, você estará sempre seguro de ter a disponibilidade contínua dos dados. Se um disco entra em pane, uma outra réplica ainda existe para garantir a disponibilidade da informação. Todos os outros discos no cluster se juntam para substituir as réplicas perdidas, enquanto o sistema continua a rodar em uma velocidade muito próxima do seu máximo. Compare esta ação com um sistema RAID. Quando um disco RAID entra em pane, o sistema baixa drasticamente sua velocidade e gasta horas para reconstruir o disco. No CAStor, o recovery leva alguns minutos, não horas, e os seus sistemas continuam a servir aos usuários.

System management and recovery são dois dos mais caros dentro da estrutura de TI. A Caringo projetou cuidadosamente o CAStor para minimizar as suas dores de cabeça causadas pelo sistema. Para iniciar um node do CAStor, simplesmente faça uso de uma USB key da Caringo, ligue-a e 60 segundos depois você já terá um CAStor node operacional. Ligue outra USB key em outro node, e após 60 segundos você terá um cluster com dois nodes. É simples assim! Cada node é configurado automaticamente, junta-se ao cluster e começa a trabalhar. Não existe qualquer particionamento, configuração, gerenciamento nem alocação. Nenhuma das atividades usuais. Você pode rodar o CAStor em desktops, servidores, rack mounts, ou qualquer outra forma. Você pode misturar hardware de diversos fabricantes e nunca mais vai precisar comprar antecipadamente mais storage do que o que você necessita hoje. Comece pequeno e vá crescendo à medida que os seus negócios exigirem. Esta estratégia faz com que você economize, evitando de fazer grandes desembolsos comprando o hardware que você irá precisar ao fim do crescimento que você planejou, embora este seja o desejo dos vendedores de hardware. Uma vez que você pode acrescentar nodes do CAStor a qualquer momento enquanto o sistema estiver rodando, isto significa mais oportunidades para você, porque os nodes que você irá adicionar nos próximos seis meses serão mais rápidos e mais econômicos do que os nodes que você usa hoje. Lembre-se que o hardware está sempre caindo de preço e está cada vez mais rápido. O cliente ganha em todos os aspectos com o CAStor. Se um disco ou node apresenta um defeito, o sistema irá se recuperar automaticamente e colocará um flag no disco ou node defeituoso. Voce poderá substituí-lo no momento que for mais apropriado para você. Nada de pressa. Nada de chamados de emergência. De fato você pode até "aposentar" os componentes mais antigos com um simples comando retire. O node irá transferir automaticamente seu conteúdo para o resto do cluster e quando terminar, ele irá inutilizar qualquer dado que esteja nos seus drives e os colocará fora de serviço. Simplesmente remova o node (novamente, quando for conveniente para você) e substitua-o por um novo hardware.

Qual o sistema de armazenamento de longo prazo poderia ser chamado de "completo" sem um plano de recuperação de desastres? Lembramos novamente: CAS dá uma tremenda vantagem aqui. As réplicas no CAStor são identicas e um cluster armazena pelo menos duas. Isto significa que o seu conteúdo está sempre disponível. Mas... e quando houver um desastre? Existem duas estratégias que a Caringo lhe oferece. A primeira é a duplicação do cluster no Centro de Recuperação de Desastres de sua empresa. Depois, então, determinar que o cluster primário grave uma terceira réplica no cluster remoto. Se o primário sofrer um desastre, a transferência de uso para a duplicação pode ser imperceptível e imediata. Lembre-se, todas as réplicas possuem o mesmo unique ID. Uma vez que CAS independe de locação, suas aplicações nunca dependerão de onde os dados estão armazenados. A segunda alternativa é gravar a terceira réplica em um shared CAStor Cluster disponível na internet, mediante uma mensalidade a ser estabelecida. O mesmo cenário de recovery (limitado apenas pela velocidade da sua conexão de rede), reduz a totalidade dos seus custos.

Se você já está começando a perceber que CAS pode resolver muitos dos infortúnios da industria, você está começando a entender o verdadeiro poder do CAStor. Eis mais uma dica para você. Imagine que a sua empresa use CAStor para conteúdo fixo e você acaba de comprar outra empresa que também usa CAStor para conteúdo fixo. Para integrar os conteúdos e os armazenar em um só local, simplesmente coloque os dois CAStor clusters juntos através de uma rede e a integração se fará imediata e completa.

Nós acreditamos que CAS é a nova era de uma simples mas poderosa arquitetura de armazenamento para conteúdo fixo. E nós sabemos que o CAStor é a melhor implementação de hardware agnostic, alta performance, escalável e o melhor custo no mercado.

Introdução ao CAStor

Uma transformação no armazenamento de informações está a caminho. De acordo com empresas líderes em análise de mercado, mais de metade da informação a ser armazenada nos próximos anos deverá ter um conteúdo fixo, não estruturado. A internet e as determinações governamentais, como a Lei Sarbanes-Oxley, por exemplo, criaram esta nova onda de informações. Enquanto isto, os vendedores de hardware ainda tentam armazená-las usando sistemas de armazenamento de 30 anos atrás. Você precisa de um sistema de armazenamento do século 21! Um novo século requer uma nova forma de pensar... e é justamente isto o que a Caringo fez.

Fixed content storage para o século 21
Ao invés de montar um sistema nos moldes antigos, a Caringo re-imaginou o seu software a partir do zero. Seus especialistas tiveram certas idéias que podem desgostar alguns, mas que têm total aderência ao mantra de Albert Einstein: "Things should be made as simple as possible.", ou seja "As coisas devem ser feitas tão simples quanto possível." Se você acompanha o desenvolvimento do negócio storage, você verá que a maioria dos novos produtos criam camadas de complexidade, tentando produzir novas funções. A complexidade acaba estragando a robustez, a performance e a economia do produto. Com a empresa Caringo, entretanto, o que se observa é uma paixão pela simplicidade. Quando o software foi projetado e montado, todos os processos foram checados para para que ele pudesse atingir o mais alto nível de eficiência. O resultado disto é um software chamado CAStor, que é entregue ao cliente numa pequena e confiável USB Memory Key, que passará a dar boot no sistema.

CAStor é Hardware Agnostic
Para compensar a complexidade do projeto, a maioria dos sistemas de storage escaláveis usam hardware especializado, que é complexo e caro. Mas o mercado de hardware de PCs oferece uma dinâmica diferente. A competição faz com que sejam produzidas máquinas cada vez mais velozes e mais baratas. O vencedor desta competição é o usuário. Por que não colocar esta dinâmica para trabalhar para o seu sistema de armazenamento de dados? Com o software da Caringo você terá a melhor relação preço/performance, porque ele roda em qualquer servidor ou PC que você tiver. O hardware chamado de comodity representa menor TCO, menor curva de aprendizado, maior flexibilidade e expansões dentro da sua conveniência, não do vendedor.

Simplicidade Single-tier
Multi-tiered storage é um conceito que existe apenas porque é muito caro guardar todos os dados em discos rápidos, online. Muitas informações históricas devem ser arquivadas e guardadas por longos períodos de tempo ou, até mesmo, durante toda a vida da empresa, isto é, são colocadas em um meio magnético near-line ou offline. Mas isto significa que você tem que decidir o que arquivar e onde os dados devem residir. Quando você tem que acessar tal informação, encontrá-la e integrá-la às suas aplicações pode tornar-se uma tarefa cara e consumir muito tempo. E pior que isto: uma indústria inteira se desenvolveu para equacionar o problema de mover as informações de real-time para near-line to archive. A isto chamou-se de Information Lifecycle Management, que é um assunto grande e complexo, conseqüentemente pesado e caro. O CAStor armazena, recupera, protege toda a sua informação em um single tier de de armazenamento de acesso rápido. Você não irá usar multi-tier, nem near-line ou offline media. E ainda por cima, é mais barato e econômico do que usar fitas magnéticas. Como vantagem adicional, podemos dizer que você poderá preservar seu investimento em discos magnéticos, uma vez que as informações deste tipo poderão residir em uma midia menos nobre e já bastante depreciada, pois tal tipo de recuperação de informações não exige a mesma alta performance do seu dia-a-dia típico. E funciona!

Um Interface Mais Fácil
Muitos dos produtos de CAS usam APIs complexas para fazer o interface entre as aplicações. Cada API é única e requer treinamento, codificação, depuração e manutenção. As aplicações nem sempre são portáveis e cada novo Sistema Operacional ou plataforma de hardware exige um teste em separado, fazendo com que os custo subam consideravelmente. O uso de sistemas de arquivos hierárquicos como CIFS ou NFS, que dão o pior dos mundos ao usuário e negam a superioridade do CAS, são ainda mais lentos e mais caros do que o NAS. CAStor usa como interface um subset simples do HTTP 1.1. É utilizável instantaneamente por qualquer plataforma, desde o telefone celular ao mainframe. Não necessita de qualquer codificação feita pelo cliente ou de uma nova API. O resultado disto é que não existe nada de novo para ser aprendido ou mantido; apenas uma aplicação portável, usando um protocolo alinhado com a mesma.

Zero File System
Os atuais sistemas de arquivos já existem há mais de 30 anos e foram projetados para aplicações completamente diferentes das atuais. O Zero File System (ZFS), da Caringo, simplifica e fortalece o conceito de fixed content storage. Não existe qualquer sistema de arquivos proprietário e complexo para enfraquecer a robustez do sistema e baixar sua performance. O sistema da Caringo lê e grava em uma velocidade muito próxima à do hardware. ZFS é um elemento chave do CAStor, um produto de nova geração implementado pelo inventor do Content Addressed Storage (CAS), Paul Carpentier. O CAStor cria uma camada simples, um address space sem qualquer hierarquia de pasta ou de arquivo. Cada objeto recebe um único ID que o identifica para o CAStor através de toda a sua vida. Diferentemente de outras arquiteturas de CAS, este identificador não é vulnerável a tentativas de violação e, assim sendo, é indicado para armazenamento de dados de longo prazo. Projetado para ser usado além do século 21, CAStor faz com que a localização da informação seja independente e esteja instantaneamente accessível.

Information Integrity
As atuais implementações de CAS usam um algorítmo de hashing para garantir a integridade da informação armazenada. Infelizmente todos os algorítmos deste tipo tendem a se tornar "quebráveis" conforme o tempo passa e o poder dos computadores aumenta. Por exemplo: o popular algorítmo MD5 sofreu ataques que tiveram sucesso, demonstrando que ele não é apropriado para aplicações seguras e, por conseqüência, diminuindo a integridade das informações armazenadas em qualquer sistema de CAS que o utiliza. O sistema Content Integrity Seal, da CARINGO, garante a integridade da informação com o único hash atualizável em real-time disponível. Quando se deseja, pode-se evoluir para um hash mais forte de uma forma dinâmica e transparente, sem colocar em risco os dados armazenados ou modificar os unique identifiers. Com o Content Integrity Seal, da Caringo, a integridade de sua informação armazenada estará segura por muito tempo.

Escalabilidade Massiva
Cada vez mais cresce a necessidade por espaço para armazenamento dos dados das empresas. A Caringo dá a você a facilidade de poder realizar esse crescimento da forma como você achar melhor. Comece com uma pequena instalação do CAStor e desfrute a vantagem dos preços de um entry system. Vá adicionando mais capacidade à medida que necessite, pois o sistema é flexível e não exigirá de sua instalação qualquer tempo fora do ar ou procedimentos especiais de migração. Quando você aumentar a capacidade, você poderá usar qualquer tipo de hardware à sua escolha. As novas tecnologias podem coexistir com as antigas, o que barateia muito os seus custos. Você pode desenvolver e testar o menor sistema possível e, quando decidir colocá-lo em produção você pode adicionar memória, discos e nodes da forma que você desejar. Você pode, até mesmo, mergear as informações de referência de departamentos ou de toda a empresa, apenas reunindo as redes de clusters do seu CAStor. Você não necessitará de qualquer configuração, administração ou qualquer outra intervenção. CAStor significa mais do que uma grande performance, integridade da informação, fácil manutenção, hardware massivamente escalável (independente de fabricante) e single-tier storage. Isto significa que você poderá armazenar seus dados pelo menor preço por gigabyte.

Resumo das Características Gerais do CAStor

- Hardware Agnostic - Com o CAStor você pode usar hardware de qualquer fabricante. Isto é transparente   para ele;
- Escalabilidade massiva - Sua arquitetura de clusters acomoda o crescimento dos dados conforme ele vai   acontecendo;
- Alta performance - Para o armazenamento inicial e para suportar uma escalabilidade extrema;
- Garantia de integridade - O armazenamento de longo prazo tem sua integridade garantida por uma   estrutura   impenetrável;
- Auto-configurável - Facilmente gerenciável para aumentar a sua robustez e reduzir o TCO (Total Cost of   Ownership);
- Interface HTTP padrão - Liberta o cliente das API's proprietárias, permitindo acesso de qualquer   plataforma,   desde telefone celular até mainframe;
- Disaster recovery nativo - Backup e disponibilidade de dados integrados no mesmo pacote de software;
- Eliminação de gargalos - Sua arquitetura elimina todos os pontos de falha;
- Preços e condições - As melhores do mercado!

CAStor FSG - um file system interface para o CAStor

CAStor FSG permite que as aplicações legadas tenham acesso instantâneo ao CAStor, através de protocolos de rede CIFS e NFS. Você simplesmente monta um file share, estabelece as suas regras e políticas e aponta sua aplicação para o share. O resultado disto é a liberdade total em relação às arquiteturas proprietárias dos fabricantes de hardware e um baixo TCO.

CAStor FSG não é um file system. É uma estreita camada de mapeamento voltada para bancos de dados, que provê acesso instantâneo ao CAStor para aplicações que se relacionem com CIFS ou NFS. Não é necessária qualquer alteração para a sua aplicação e permitirá que você usufrua de todos os recursos do CAStor sem qualquer trabalho adicional. Os usuários de Unix/Linux podem montar o CAStor FSG como um network drive via NFS. Os usuários de Windows podem mapear um Windows network drive via CIFS (o CAStor Cluster assemelha-se a um Windows file system). Usuários de Mac OS X podem usar ambas as facilidades.

Características do CAStor FSG:
- Políticas (retenção, número de replicas e lifepoints) podem ser estabelecidas por share;
- Uma vez que um arquivo foi gravado para o CAStor, toda a replicação, gerência de políticas, integridade e   armazenamento são gerenciados automaticamente pelo CAStor (isto permite que multiplas aplicações usem   o CAStor como um storage layer e todas possam transferir a responsabilidade de compliance e integridade   do conteúdo para o CAStor. Muitas aplicações, muitas fontes e um repositório com integridade garantida).
- Não há limite para o número de shares
- Não há limite para o tamanho dos arquivos
- Não há limite para o número de arquivos
- O database no CAStor FSG contém o "OS file metadata" e o mapeamento entre o file name e o Unique ID   (UUID) no CAStor, bem como informações adicionais muito úteis (o banco de dados pode ser pesquisado   através de queries standard de SQL para que se descubra informações como o file name, o UUID mapeado   para o arquivo, o último acesso, a última modificação, permissões, tamanho e tipo do arquivo e user ID).
- O conteúdo armazenado no CAStor através do gateway pode ser acessado via aplicações e UUIDs,   indiferentemente. Não existe necessidade de uso de apenas um tipo de interface. O CAStor FSG pode   acomodar várias virtual views em um simples content store.
- CAStor FSG permite escalabilidade e alta performance, através da sua característica de manter várias vias   de comunicação com cada node. CAStor FSG, automaticamente, tira vantagem dos múltiplos contact points   com o CAStor. As conexões com cada node podem permanecer abertas e podem ser usados diversos   caminhos de comunicação em cada conexão. A escalabilidade e o throughput do CAStor tornam-se   acessíveis às aplicações legadas, sem que seja necessário alterar uma linha de código sequer.
- MySql e Oracle são suportados nativamente.
  CAStor FSG pode operar de forma standalone ou pode ser integrado com os diretórios dos usuários, usando   métodos de autenticação standard tais como NTLMSSP, SPNEGO, NTLMv2 e Active Directory/Kerberos.

Como ele trabalha?
O CAStor FSG habilita administradores para estabelecer as políticas, permissões e limitações sobre o conteúdo fixo, a fim de que sejam respeitados os objetivos e/ou assegurar a conformidade dos regulamentos da empresa. Uma vez que tais políticas são configuradas, o CAStor monitora transparentemente os dados e obriga a observância das mesmas, assegurando o correto número de réplicas para um arquivo em particular, verificando a informação do ciclo de vida de um arquivo e gerenciando a deleção segura. Um mapeamento clássico do sistema de arquivos prove um sistema de arquivos virtual front end para o CAStor que os usuários podem acessar através dos protocolos e sistemas de arquivos standard da rede. Uma vez que o conteúdo fixo e a sua informação de referência são armazenados no CAStor, ele pode ser acessado diretamente através do Simple Content Storage Protocol (SCSP) (subset HTTP 1.1 do CAStor) usando os UUID's armazenados no database, ou como um arquivo num sistema de arquivos regular. Isto permite uma boa estratégia de migração para um interface nativo do CAStor e todos os benefícios derivados.