Pular para o conteúdo
NovidadesIA

Repositórios em Alta

Código aberto permite rodar assistente de IA que aponta elementos na tela do Mac

Software em Swift combina visão de tela, síntese de voz e cursor interativo para criar tutoria guiada por inteligência artificial no macOS.

Edição: Anderson Gomes
· 5 min de leitura

Código aberto permite rodar assistente de IA que aponta elementos na tela do Mac
Imagem: Reprodução · site do clicky · licença livre · licença MIT

O software de código aberto desenvolvido por Farza disponibiliza um assistente educacional de inteligência artificial que opera sobre a área de trabalho do usuário. O projeto somou 333 estrelas recentes e alcançou a marca de 8.044 avaliações positivas, impulsionado pelo interesse em ferramentas capazes de observar telas em tempo real. A ferramenta soluciona o distanciamento no aprendizado de tarefas digitais no computador, funcionando como um tutor virtual que observa o monitor, dialoga por voz e guia o ponteiro do mouse até botões e menus específicos.

Dados rápidos

  • Repositório: farzaa/clicky
  • Licença: MIT
  • Linguagem: Swift
  • Estrelas e forks: 8.044 estrelas e 1.609 forks
  • Posição no ranking: não informado no repositório
  • Data da consulta: 2026-11-19

Desafios no aprendizado digital direto na interface

Softwares convencionais de assistência digital costumam operar confinados em painéis laterais ou abas de navegadores. Esse modelo exige que a pessoa descreva por escrito o que está visualizando ou capture imagens manuais para anexar à conversa. O processo quebra a concentração do usuário e cria ruídos de comunicação durante a resolução de dúvidas práticas.

A estrutura deste projeto elimina essa barreira ao permitir que o sistema observe a área de exibição ativa no instante do comando. O assistente recebe a imagem da tela de forma automática junto ao áudio emitido pelo microfone. Dessa maneira, a compreensão visual do contexto operacional ocorre sem etapas manuais intermediárias.

A orientação espacial direta também remove a abstração de instruções textuais longas. Em vez de ler explicações sobre a localização de botões complexos, o usuário observa uma camada visual sobreposta que move o cursor até o ponto exato da interface que requer intervenção.

Funcionamento técnico e fluxo de instalação

O programa é construído como um aplicativo de barra de menus para macOS, sem exibição de ícone no dock do sistema operacional. A arquitetura divide a apresentação em dois painéis da classe NSPanel: uma janela suspensa com controles principais e uma camada transparente em tela cheia que renderiza o cursor auxiliar. O usuário aciona a captura de áudio com a combinação de teclas Control e Option, iniciando a transmissão sonora por websocket para o serviço AssemblyAI. A transcrição e uma captura de tela obtida pelo ScreenCaptureKit seguem para o Claude via eventos contínuos de servidor, gerando retorno sonoro sintetizado pelo ElevenLabs.

As requisições passam por um intermediador no Cloudflare Worker para proteger as credenciais de autenticação, evitando a exposição de segredos no binário compilado. A preparação desse componente de retaguarda utiliza os seguintes passos de terminal:

cd worker
npm install
npx wrangler secret put ANTHROPIC_API_KEY
npx wrangler secret put ASSEMBLYAI_API_KEY
npx wrangler secret put ELEVENLABS_API_KEY
npx wrangler deploy

Concluída a publicação do intermediador, o desenvolvedor atualiza as rotas correspondentes no código Swift, abre o arquivo leanring-buddy.xcodeproj no Xcode 15 e executa a compilação local no macOS 14.2 ou superior.

Casos de uso práticos no dia a dia

  • Depuração de código em tempo real: programadores podem pedir auxílio durante a escrita de rotinas técnicas, permitindo que o assistente aponte a linha com erros no editor de texto.
  • Aprendizado de ferramentas visuais: iniciantes em softwares de edição audiovisual conseguem identificar painéis e ferramentas secundárias sem consultar manuais externos.
  • Navegação em configurações avançadas do sistema: usuários encontram menus administrativos específicos no macOS guiados pelo movimento do cursor virtual.
  • Treinamento em plataformas empresariais: novos colaboradores acompanham a sequência exata de preenchimento de cadastros enquanto escutam instruções detalhadas em áudio.

Diferenças em relação a assistentes convencionais

Enquanto ferramentas tradicionais de bate-papo respondem apenas com blocos de texto ou exigem o envio isolado de capturas estáticas, o projeto integra visão contínua, síntese vocal e manipulação espacial da interface gráfica. O modelo de linguagem gera marcações personalizadas de coordenadas bidimensionais para conduzir o ponteiro até monitores específicos conectados ao computador.

O projeto também se afasta de soluções totalmente fechadas ao manter aberta a arquitetura cliente-servidor original sob a licença MIT. O desenvolvedor tem controle sobre suas próprias chamadas de rede e chaves de acesso nos serviços de inteligência artificial, dispensando planos de assinatura centralizados para quem prefere compilar e gerenciar a própria versão.

Limitações técnicas e cuidados operacionais

A manutenção futura do código aberto apresenta ressalvas importantes. O criador informou em 27 de abril de 2026 que novos recursos da plataforma comercial HeyClicky seriam mantidos em código fechado, preservando apenas o repositório base original sob licença MIT. O último registro de modificação data de 28 de outubro de 2026, com 95 chamados técnicos pendentes na lista de issues e nenhuma release oficial publicada.

Em relação à segurança e privacidade, a aplicação exige autorizações amplas no sistema operacional, tais como gravação de tela, acesso ao microfone e recursos de acessibilidade. A operação depende de contas ativas e cobranças individuais nos provedores Anthropic, AssemblyAI, ElevenLabs e Cloudflare. O código disponível é nativo para macOS, cabendo ressaltar que versões voltadas para Windows no repositório são adaptações comunitárias independentes.

Resumo rápido

  • Projeto: farzaa/clicky
  • Licença: MIT
  • Linguagem: Swift
  • Estrelas: 8.044
  • Ranking: não informado no repositório
  • Risco principal: desenvolvimento de novas funcionalidades mantido em repositório privado e necessidade de chaves de serviços externos pagos

Fontes

  • Repositório no GitHub: https://github.com/farzaa/clicky
  • Página oficial: https://www.heyclicky.com
  • Swift
  • MIT
  • Repositórios em Alta
  • GitHub Trending

Fonte: Repositório no GitHub · Como produzimos as matérias