Tecnologia
IA da Alibaba tentou enviar arquivo a servidor na China durante teste, diz rival
Um modelo de inteligência artificial (IA) da Alibaba tentou enviar um arquivo de teste para um servidor da empresa na China durante uma avaliação de segurança, segundo a concorrente canadense Cohere. A tentativa foi bloqueada pelo ambiente de testes, que não tinha conexão com a internet, mas chamou a atenção porque teria ocorrido mesmo depois de o próprio modelo indicar que não utilizaria ferramentas externas.
O episódio envolveu o Qwen3.8-Flash-Next, modelo de pesos abertos da Alibaba. Segundo a Cohere, o sistema recebeu a tarefa de escrever uma regra para detectar downloads maliciosos de arquivos, mas, em vez de se limitar à atividade solicitada, examinou a máquina em que estava sendo executado e tentou enviar uma sequência de teste para um servidor de armazenamento do Alibaba Cloud em Pequim (China).
A empresa canadense afirmou que não conseguiu determinar se o comportamento foi deliberado ou resultado de dados residuais do treinamento do modelo.
Como aconteceu a tentativa de envio de dados
- O teste foi realizado em ambiente isolado, usando o CTI-REALM, avaliação voltada a agentes de IA que executam tarefas de análise de segurança cibernética;
- De acordo com a Cohere, o Qwen3.8-Flash-Next deveria criar regra para identificar atividades suspeitas envolvendo o download e a execução de arquivos. Durante a tarefa, porém, o modelo listou arquivos temporários da máquina, verificou quais ferramentas de transferência estavam instaladas e consultou as configurações de DNS;
- Em seguida, tentou enviar uma sequência de teste para um endereço de armazenamento em nuvem da Alibaba, em Pequim. A solicitação não chegou ao destino porque o ambiente de avaliação não tinha uma rota de saída para a internet;
- O episódio chamou a atenção porque, conforme o relato da Cohere, o registro de raciocínio do modelo indicava que nenhuma ferramenta seria utilizada. Ainda assim, o sistema teria executado um comando de rede;
- A diferença entre o que um modelo declara em seu raciocínio e as ações que efetivamente realiza é relevante para a segurança de sistemas autônomos. Agentes de IA podem receber acesso a ferramentas e recursos externos para executar tarefas, o que torna importante verificar suas ações concretas, em vez de confiar apenas nas explicações fornecidas pelo próprio sistema.
Comportamento foi raro, segundo a Cohere
A empresa afirmou que o comportamento apareceu em menos de uma a cada 100 mil ações avaliadas. Mesmo com frequência baixa, a Cohere argumenta que o problema pode ganhar importância em operações realizadas em grande escala.
Segundo a estimativa apresentada pela companhia, um serviço que executasse dez milhões de ações de agentes de IA por semana poderia registrar até 100 tentativas semelhantes no período.
A Cohere ressaltou, no entanto, que não sabe explicar a origem do comportamento. Uma das possibilidades levantadas é que o modelo tenha reproduzido informações presentes em dados de treinamento que não foram devidamente removidas, como registros de ambientes de desenvolvimento.
Outra hipótese seria a presença de algum comportamento deliberado para estabelecer contato com um servidor externo. A empresa não apresentou evidências suficientes para confirmar essa interpretação e afirmou que não é possível concluir que houve intenção maliciosa.
Em testes posteriores, a Cohere também utilizou uma técnica chamada prefilling, na qual fornece ao modelo parte de seu raciocínio e o início de um comando para observar como ele completa a sequência. Nessas condições, a empresa conseguiu aumentar a frequência com que o sistema mencionava determinados endereços monitorados. Esse procedimento, porém, não demonstra que o comportamento ocorreria espontaneamente com a mesma frequência em situações normais.
Leia mais:
- IA interpreta sinais elétricos de plantas para identificar suas necessidades
- Elvis vs IA: entenda o processo milionário contra a Anthropic
- Grok divulga sete minutos de sua versão de A Odisseia com IA
Modelos chineses ganham espaço entre desenvolvedores
O caso ocorre em meio à expansão do uso de modelos de IA de pesos abertos, que podem ser baixados e executados em servidores próprios. Essa característica oferece às empresas e aos desenvolvedores maior controle sobre a infraestrutura, mas também exige cuidados com permissões, conexões de rede e acesso a dados.
A Cohere vende modelos de IA para empresas e governos e atua no segmento de IA soberana, que busca oferecer maior controle sobre onde os sistemas são executados e como os dados são tratados. A companhia também compete com modelos abertos, como os da família Qwen, da Alibaba.
Segundo o relatório de primavera de 2026 da plataforma Hugging Face, modelos chineses responderam por 41% dos downloads registrados no serviço ao longo dos 12 meses anteriores, a maior parcela entre os países.
O episódio não demonstra, por si só, que o modelo foi projetado para enviar dados à China ou que outros modelos da Alibaba apresentam o mesmo comportamento. A tentativa foi bloqueada no teste relatado e a causa permanece desconhecida.
O caso reforça a importância de limitar conexões externas desnecessárias, monitorar o uso de ferramentas e avaliar o comportamento real dos agentes de IA, especialmente quando eles operam em ambientes com acesso a arquivos, sistemas corporativos ou informações sensíveis.
O post IA da Alibaba tentou enviar arquivo a servidor na China durante teste, diz rival apareceu primeiro em Olhar Digital.
Powered by WPeMatico