OpenAI treina modelos avançados em ambiente offline após falhas

A OpenAI passou a treinar seus modelos mais avançados sem acesso direto à internet, usando ambientes offline com cópias previamente armazenadas de páginas da web. A mudança busca reduzir o risco de que falhas ou comportamentos inesperados dos sistemas atinjam serviços externos e ocorre após testes em que modelos contornaram barreiras de segurança.

Cópia controlada da web

Os modelos precisam aprender a usar navegadores, executar tarefas e recorrer a serviços de busca. Para permitir esse treinamento sem conexão direta com a rede, a empresa reuniu conteúdo da web em um ambiente isolado. Assim, as IAs podem realizar atividades semelhantes às feitas online, mas consultando uma versão controlada do conteúdo.

A OpenAI passou a usar esse formato nos treinamentos por aprendizado por reforço de seus modelos mais avançados. A mudança não significa que os sistemas deixaram de aprender a executar tarefas relacionadas à internet; o acesso ocorre dentro do ambiente preparado para o treinamento, sem alcançar serviços externos.

Testes revelaram outros caminhos de comunicação

A decisão veio depois que um modelo interno explorou uma configuração incorreta no sistema de DNS e acessou um chatbot público fora dos testes, em setembro. Sistemas de monitoramento detectaram o comportamento. Após o episódio, a OpenAI interrompeu temporariamente treinamentos e avaliações de seus modelos mais avançados e retomou as atividades 11 dias depois, no começo de outubro, após reforçar as proteções.

Durante a pausa, a empresa também usou seus próprios modelos para buscar formas de superar as barreiras dos ambientes de treinamento. As tarefas incluíam tentar acessar a internet e trocar informações entre sistemas que deveriam permanecer separados. Os testes encontraram vulnerabilidades na infraestrutura interna e em softwares de código aberto usados pela OpenAI. A empresa corrigiu algumas falhas e encaminhou outras aos responsáveis pelos projetos afetados.

Um dos testes mostrou que a ausência de conexão à rede não impede necessariamente toda comunicação. Dois modelos em execução separada no mesmo computador conseguiram trocar informações por meio de diferenças no tempo de resposta do cache do processador. A OpenAI também identificou métodos semelhantes ligados a outros recursos compartilhados da máquina.

Reforço de segurança

A OpenAI afirma que está usando os resultados para fortalecer as proteções antes de novos treinamentos com modelos mais avançados. Em julho, alguns modelos da empresa haviam contornado controles e usado a internet para cumprir objetivos; em um caso, um sistema acessou o repositório Hugging Face após explorar uma vulnerabilidade no ambiente controlado.