Foi lançado o Raspberry Pi AI HAT+ 2, que permite colocar uma IA generativa em um Raspberry Pi 5.
Para saber o que é IA generativa, clique no link abaixo.
Introdução à IA generativaClique aqui
Fonte: Raspberry Pi (Traduzido para o Português)
Um pouco mais de um ano atrás, nós introduzimos o Raspberry Pi AI HAT+, uma placa adicional para o Raspberry Pi 5 com os aceleradores de rede neural Hailo-8 (variante do 26-TOPS) e Hailo-8L (variante do 13-TOPS). Com todo o processamento de IA acontecendo diretamente no dispositivo, o AI HAT+ entregou recursos reais de IA para os nossos usuários, dando-os privacidade de dados e segurança, ao mesmo tempo que elimina a necessidade de se inscrever em serviços caros de IA baseados em nuvem.
Embora a IA HAT+ forneça aceleração de ponta para modelos de redes neurais baseados em visão, incluindo detecção de objetos, estimativa de pose e segmentação de cena, não possui capacidade de rodar modelos de IA generativa.
Possuindo o novo acelerador de rede neural Hailo-10H, o Raspberry Pi AI HAT+ 2 entrega 40 TOPS (INT4) de desempenho de inferência, garantindo que as cargas de trabalho de IA rodem sem problemas no Raspberry Pi 5. Executando todo o processamento de IA localmente e sem conexão com uma rede, o AI HAT+ 2 opera de forma confiável e com baixa latência, mantendo a privacidade, segurança e o custo-benefício de computação de IA sem nuvem, que introduzimos com o original AI HAT+.
Ao contrário do seu antecessor, a IA HAT+ 2 possui 8GB de RAM dedicada, permitindo ao acelerador gerenciar de forma eficiente modelos maiores do que anteriormente. Junto com uma arquitetura de hardware atualizada, permite ao chip Halio-10H acelerar grandes modelos de linguagem (LLMs), modelos de visão de linguagem (VLMs) e outras aplicações de IA generativa.
Para modelos baseados na visão, como reconhecimento de objetos baseado em Yolo, estimativa de pose e segmentação de cena, o desempenho de visão computacional do AI HAT+ 2 é equivalente ao do antecessor 26-TOPS, graças à RAM. Também se beneficia da mesma integração estreita com nosso conjunto de softwares de câmera (libcamera, rpicam-apps e Picamera2) que o AI HAT+ original. Para usuários que já trabalham com o software AI HAT+, a transição para o AI HAT+ 2 é praticamente perfeita e transparente.
De longe, os exemplos mais populares de IA generativa são: os grandes modelos de linguagem, como o ChatGPT e Claude, os modelos de texto para imagem e vídeo, como difusão estável e DALL-E e mais recentemente, os VLMs, que combinam as capacidades de modelo de visão e LLMs. Embora os modelos acima mostrem as capacidades dos modelos de IA disponíveis, deve-se manter em mente as limitações: LLMs baseados em nuvem da OpenAI, Meta e Anthropic, possuem entre 500 bilhões e 2 trilhões de parâmetros. Os LLMs baseados em borda no Raspberry Pi AI HAT+ 2, dimensionado para caber na RAM disponível, tipicamente roda de 1 a 7 bilhões de parâmetros. LLMs menores não foram feitos para corresponder ao conjunto de conhecimento disponível em modelos maiores, e sim, para operar em um conjunto de dados restrito.
Esta limitação pode ser superada pelo ajuste fino de modelos de IA para um uso específico. No original Raspberry Pi AI HAT+, modelos visuais, como o Yolo, podem ser retreinados usando conjunto de imagens adequados para as aplicações do HAT, este também é o caso para Raspberry Pi IA HAT+ 2 e pode ser feito usando o compilador Hailo Dataflow.
Similarmente, o AI HAT+ 2 suporta o ajuste fino de modelos de linguagem baseados em Adaptação de Baixa Classificação (LoRA), permitindo a customização eficiente e específica para tarefas de LLMs pré-treinadas, enquanto mantém a maioria dos parâmentros de modelo de base inalterados. Os usuários podem compilar adaptadores para tarefas particulares usando o compilador Hailo Dataflow e rodando os modelos adaptados no Raspberry Pi AI HAT+ 2.
Você pode assistir a vídeos de LLMs e VLM funcionando no Raspberry Pi 5 no canal deles, no Youtube. Este módulo já está à venda, mas ainda é caro.
