Código aberto permite rodar assistente de IA que aponta elementos na tela do Mac
Software em Swift combina visão de tela, síntese de voz e cursor interativo para criar tutoria guiada por inteligência artificial no macOS.
Edição: Anderson Gomes
· 5 min de leitura

O software de código aberto desenvolvido por Farza disponibiliza um assistente educacional de inteligência artificial que opera sobre a área de trabalho do usuário. O projeto somou 333 estrelas recentes e alcançou a marca de 8.044 avaliações positivas, impulsionado pelo interesse em ferramentas capazes de observar telas em tempo real. A ferramenta soluciona o distanciamento no aprendizado de tarefas digitais no computador, funcionando como um tutor virtual que observa o monitor, dialoga por voz e guia o ponteiro do mouse até botões e menus específicos.
Dados rápidos
- Repositório: farzaa/clicky
- Licença: MIT
- Linguagem: Swift
- Estrelas e forks: 8.044 estrelas e 1.609 forks
- Posição no ranking: não informado no repositório
- Data da consulta: 2026-11-19
Desafios no aprendizado digital direto na interface
Softwares convencionais de assistência digital costumam operar confinados em painéis laterais ou abas de navegadores. Esse modelo exige que a pessoa descreva por escrito o que está visualizando ou capture imagens manuais para anexar à conversa. O processo quebra a concentração do usuário e cria ruídos de comunicação durante a resolução de dúvidas práticas.
A estrutura deste projeto elimina essa barreira ao permitir que o sistema observe a área de exibição ativa no instante do comando. O assistente recebe a imagem da tela de forma automática junto ao áudio emitido pelo microfone. Dessa maneira, a compreensão visual do contexto operacional ocorre sem etapas manuais intermediárias.
A orientação espacial direta também remove a abstração de instruções textuais longas. Em vez de ler explicações sobre a localização de botões complexos, o usuário observa uma camada visual sobreposta que move o cursor até o ponto exato da interface que requer intervenção.
Funcionamento técnico e fluxo de instalação
O programa é construído como um aplicativo de barra de menus para macOS, sem exibição de ícone no dock do sistema operacional. A arquitetura divide a apresentação em dois painéis da classe NSPanel: uma janela suspensa com controles principais e uma camada transparente em tela cheia que renderiza o cursor auxiliar. O usuário aciona a captura de áudio com a combinação de teclas Control e Option, iniciando a transmissão sonora por websocket para o serviço AssemblyAI. A transcrição e uma captura de tela obtida pelo ScreenCaptureKit seguem para o Claude via eventos contínuos de servidor, gerando retorno sonoro sintetizado pelo ElevenLabs.
As requisições passam por um intermediador no Cloudflare Worker para proteger as credenciais de autenticação, evitando a exposição de segredos no binário compilado. A preparação desse componente de retaguarda utiliza os seguintes passos de terminal:
cd worker
npm install
npx wrangler secret put ANTHROPIC_API_KEY
npx wrangler secret put ASSEMBLYAI_API_KEY
npx wrangler secret put ELEVENLABS_API_KEY
npx wrangler deploy
Concluída a publicação do intermediador, o desenvolvedor atualiza as rotas correspondentes no código Swift, abre o arquivo leanring-buddy.xcodeproj no Xcode 15 e executa a compilação local no macOS 14.2 ou superior.
Casos de uso práticos no dia a dia
- Depuração de código em tempo real: programadores podem pedir auxílio durante a escrita de rotinas técnicas, permitindo que o assistente aponte a linha com erros no editor de texto.
- Aprendizado de ferramentas visuais: iniciantes em softwares de edição audiovisual conseguem identificar painéis e ferramentas secundárias sem consultar manuais externos.
- Navegação em configurações avançadas do sistema: usuários encontram menus administrativos específicos no macOS guiados pelo movimento do cursor virtual.
- Treinamento em plataformas empresariais: novos colaboradores acompanham a sequência exata de preenchimento de cadastros enquanto escutam instruções detalhadas em áudio.
Diferenças em relação a assistentes convencionais
Enquanto ferramentas tradicionais de bate-papo respondem apenas com blocos de texto ou exigem o envio isolado de capturas estáticas, o projeto integra visão contínua, síntese vocal e manipulação espacial da interface gráfica. O modelo de linguagem gera marcações personalizadas de coordenadas bidimensionais para conduzir o ponteiro até monitores específicos conectados ao computador.
O projeto também se afasta de soluções totalmente fechadas ao manter aberta a arquitetura cliente-servidor original sob a licença MIT. O desenvolvedor tem controle sobre suas próprias chamadas de rede e chaves de acesso nos serviços de inteligência artificial, dispensando planos de assinatura centralizados para quem prefere compilar e gerenciar a própria versão.
Limitações técnicas e cuidados operacionais
A manutenção futura do código aberto apresenta ressalvas importantes. O criador informou em 27 de abril de 2026 que novos recursos da plataforma comercial HeyClicky seriam mantidos em código fechado, preservando apenas o repositório base original sob licença MIT. O último registro de modificação data de 28 de outubro de 2026, com 95 chamados técnicos pendentes na lista de issues e nenhuma release oficial publicada.
Em relação à segurança e privacidade, a aplicação exige autorizações amplas no sistema operacional, tais como gravação de tela, acesso ao microfone e recursos de acessibilidade. A operação depende de contas ativas e cobranças individuais nos provedores Anthropic, AssemblyAI, ElevenLabs e Cloudflare. O código disponível é nativo para macOS, cabendo ressaltar que versões voltadas para Windows no repositório são adaptações comunitárias independentes.
Resumo rápido
- Projeto: farzaa/clicky
- Licença: MIT
- Linguagem: Swift
- Estrelas: 8.044
- Ranking: não informado no repositório
- Risco principal: desenvolvimento de novas funcionalidades mantido em repositório privado e necessidade de chaves de serviços externos pagos
Fontes
- Repositório no GitHub: https://github.com/farzaa/clicky
- Página oficial: https://www.heyclicky.com
- Swift
- MIT
- Repositórios em Alta
- GitHub Trending
Automação sem agentes para servidores avança com nova versão 2.22
A plataforma simplifica a configuração de infraestrutura e o envio de aplicações utilizando conexões SSH e sintaxe acessível.
· 4 min de leitura
Biblioteca clássica de JavaScript atinge versão 4.1.0 e volta aos destaques
Com nova versão lançada e suporte modular, o projeto tradicional renova sua base para navegadores e ambientes como Node.js.
· 4 min de leitura
Cliente HTTP em JavaScript recebe atualização v1.21.1 e mantém alta adoção
Biblioteca viabiliza requisições assíncronas no navegador e no ambiente Node.js com suporte a promessas.
· 4 min de leitura
Desenvolvimento central do Java avança com foco na evolução da máquina virtual
O repositório concentra a linha principal de desenvolvimento do Java e reúne o código-fonte da máquina virtual para a comunidade aberta.
· 3 min de leitura