Dispositivos embarcados ganham voz com IA e protocolo MCP em C++

Dados rápidos

• Repositório: 78/xiaozhi-esp32
• Licença: MIT
• Linguagem: C++
• Estrelas e forks: 31.231 estrelas (1.308 no período recente) e 7.299 forks
• Posição no ranking: não informado no repositório
• Data da consulta: 16 de outubro de 2026

Integração de voz e hardware sem computadores pesados

Projetos de automação residencial e assistentes pessoais frequentemente enfrentam o dilema entre custo de processamento e recursos disponíveis. Placas com microcontroladores simples costumam ser baratas e eficientes no consumo elétrico, mas carecem de memória e poder computacional para processar modelos modernos de linguagem. O xiaozhi-esp32 contorna essa barreira estruturando uma ponte de comunicação otimizada entre o silício embarcado e serviços remotos de inteligência artificial.

A proposta soluciona a fragmentação de periféricos ao padronizar o envio de comandos e o recebimento de respostas de áudio. Por meio da divisão entre o controle local e o processamento em nuvem, pequenos circuitos eletrônicos passam a interpretar comandos de voz complexos, reconhecer interlocutores e acionar saídas digitais em tempo real.

O desenvolvimento em C++ foca na eficiência de execução diretamente sobre o ecossistema ESP-IDF da Espressif. Isso viabiliza desde protótipos montados em matrizes de contato conhecidas como breadboards até produtos finais com telas sensíveis ao toque e sensores de câmera.

Arquitetura de áudio e protocolo MCP

O funcionamento baseia-se em um pipeline contínuo de captura e resposta. Na ponta local, o microcontrolador realiza o despertar por voz offline com a biblioteca ESP-SR. Em seguida, o fluxo de voz é codificado com o codec Opus e enviado por WebSocket ou pela combinação de MQTT com UDP. No servidor ou na nuvem, o áudio passa por reconhecimento de fala (ASR), processamento pelo modelo de linguagem (LLM) e síntese de voz (TTS), permitindo também o uso de modelos de áudio ponta a ponta em tempo real. Em dispositivos com cancelamento acústico de eco (AEC), a interação ocorre em modo full-duplex simultâneo.

O protocolo MCP atua em duas frentes distintas. No lado do dispositivo, o MCP executa rotinas físicas nos pinos GPIO, acionando alto-falantes, servomotores e luzes LED. No lado da nuvem, o MCP expande a inteligência artificial para consultar serviços externos, interagir com sistemas de automação predial, gerenciar e-mails e operar funções em desktops.

O repositório requer o kit de desenvolvimento ESP-IDF versão 6.0.1 ou superior, com recomendação para o ESP-IDF 6.1. O código de criptografia para MQTT e provisionamento Wi-Fi via BluFi foi migrado para a biblioteca PSA Crypto, e o suporte abrange diversas plataformas de silício como ESP32, ESP32-C3, ESP32-C5, ESP32-C6, ESP32-S3 e ESP32-P4.

Cenários práticos de aplicação

• Assistente de mesa com respostas em áudio e reações visuais: equipamentos com painéis OLED ou LCD exibem expressões dinâmicas e emojis sincronizados com respostas faladas em 39 idiomas de interface.
• Automação física e robótica leve: o sistema interpreta instruções verbais e dispara movimentos em servomotores ou mecanismos mecânicos, como demonstrado em projetos de cães-robôs de baixo custo.
• Dispositivos vestíveis e pingentes inteligentes: com conectividade celular Cat.1 4G ou Wi-Fi, o circuito opera de forma portátil com gerenciamento de bateria e reconhecimento de alto-falante via 3D-Speaker.
• Terminais de visão computacional: placas compatíveis com sensores ópticos recebem imagens de câmeras para análise contextual combinada aos modelos de visão e linguagem.

Variedade de placas e execução nativa

Diferente de soluções genéricas que exigem a instalação de sistemas operacionais completos como o Linux em placas do tipo Raspberry Pi, o projeto roda diretamente no firmware do microcontrolador. Essa característica reduz drasticamente o consumo de energia e o tempo de inicialização.

A compatibilidade cobre 138 diretórios de placas e 171 variantes de lançamento compiladas. A lista de hardware inclui placas como LiChuang ESP32-S3, Espressif ESP32-S3-BOX-3, M5Stack CoreS3, LILYGO T-Circle-S3, Waveshare ESP32-S3-Touch-AMOLED-1.8 e SenseCAP Watcher. A conectividade também se estende além do Wi-Fi tradicional, abrangendo redes Ethernet cabeadas, USB RNDIS e módulos celulares 4G das linhas ML307, EC801E e NT26.

Limitações e pontos de atenção

A dependência estrita do ESP-IDF v6.0.1 ou superior encerra a compatibilidade com a linha ESP-IDF 5.x, o que pode quebrar projetos antigos construídos sobre a versão anterior do framework. Variantes com chips ESP32-S31 exigem especificamente o IDF 6.1 ou versões mais recentes.

O volume de 678 problemas em aberto no repositório sinaliza que a rápida expansão de matrizes de hardware demanda esforço contínuo de estabilização. Instruções formais de instalação por linha de comando em terminal não foram detalhadas no texto principal do README, que direciona os usuários a tutoriais externos no Feishu. Embora a licença permissiva MIT facilite a reutilização do código, implementações comerciais precisam auditar as dependências de rede e as chaves de API necessárias para a comunicação com os modelos de nuvem.

Resumo rápido

• Projeto: 78/xiaozhi-esp32
• Licença: MIT
• Linguagem: C++
• Estrelas: 31.231 (com 1.308 no período recente)
• Ranking: não informado no repositório
• Risco principal: dependência de versões recentes do ESP-IDF 6 e volume de 678 issues abertas

Fontes

• Repositório no GitHub: https://github.com/78/xiaozhi-esp32
• Release v2.5.2: https://github.com/78/xiaozhi-esp32/releases/tag/v2.5.2
• Página oficial: https://xiaozhi.me