Segundo a empresa, essa tendência aponta para um cenário em que sistemas de IA poderiam, no futuro, projetar e desenvolver seus próprios sucessores de forma autônoma. O conceito é chamado de melhoria recursiva. A Anthropic afirma que esse estágio ainda não foi alcançado e não é inevitável, mas alerta que ele pode chegar antes que instituições estejam preparadas.
Para a companhia, uma IA capaz de construir a si mesma representaria um marco na história da tecnologia, com potenciais ganhos em áreas como ciência, saúde e produtividade. Ao mesmo tempo, a empresa avalia que a melhoria recursiva poderia ampliar os riscos de perda de controle humano sobre sistemas avançados.
“Uma IA capaz de construir a si mesma seria um grande desenvolvimento na história da tecnologia”, diz a Anthropic. A empresa acrescenta que, nesse cenário, os mecanismos usados para proteger, monitorar e orientar o comportamento desses sistemas se tornariam ainda mais importantes.
Em abril, Anthropic e Amazon oficializaram uma parceria envolvendo aporte de US$ 5 bilhões por parte da gigante do e-commerce.
Riscos e governança
A Anthropic argumenta que o avanço da IA tende a reduzir o papel humano em etapas operacionais do desenvolvimento tecnológico. A função das pessoas, segundo a companhia, passa a se concentrar cada vez mais na definição de objetivos, na escolha de problemas relevantes e na avaliação dos resultados produzidos por sistemas automatizados.
Esse ponto é central para a discussão sobre melhoria recursiva. Mesmo que os sistemas atuais ainda dependam de humanos para definir prioridades, a empresa afirma que já há sinais de aceleração composta no desenvolvimento de IA. Na prática, humanos passariam a coordenar mais trabalho, enquanto agentes automatizados executariam uma parcela crescente das tarefas.
A companhia apresenta três cenários possíveis:
- No primeiro, a tendência de avanço desacelera, mas as capacidades atuais se espalham pela economia e provocam mudanças relevantes mesmo sem novos saltos técnicos;
- No segundo, laboratórios de IA continuam obtendo ganhos compostos de eficiência, mas humanos seguem responsáveis por definir direções e julgar resultados;
- No terceiro, sistemas de IA se tornam capazes de melhoria recursiva plena e passam a construir seus próprios sucessores.
Para a Anthropic, o segundo cenário é o mais provável de acontecer, no qual o desenvolvimento de IA se torna substancialmente automatizado, mas ainda depende de decisões humanas estratégicas. Nesse contexto, empresas menores poderiam operar com capacidade equivalente à de organizações muito maiores, já que cada funcionário passaria a coordenar uma estrutura de agentes automatizados.
Ao mesmo tempo, a empresa alerta que acelerar uma parte do processo apenas desloca gargalos. Se sistemas automatizados passam a gerar mais código, experimentos, ferramentas e ideias do que humanos conseguem revisar ou priorizar, a supervisão e a validação passam a ser pontos críticos.
A hipótese mais sensível é a de sistemas capazes de conduzir pesquisa e desenvolvimento de IA de forma autônoma. Nesse cenário, segundo a Anthropic, o ritmo de avanço poderia passar a ser determinado principalmente pela disponibilidade computacional e por ganhos de eficiência em treinamento e inferência. Humanos assumiriam papel mais restrito, concentrado em supervisão, validação e verificação de um “laboratório virtual” operado por IA.
A empresa afirma não ter boas previsões sobre como seria uma economia em que o trabalho humano deixasse de ser competitivo em determinadas áreas. Também destaca que a melhoria recursiva não significaria, necessariamente, mudança imediata em todos os aspectos da vida cotidiana, já que setores físicos, instituições, mercados e relações sociais continuariam sujeitos a outros tipos de limitação.
Coordenação global
No encerramento da nota, a Anthropic defende que o setor deveria ter mecanismos para desacelerar ou pausar temporariamente o desenvolvimento de modelos de IA de fronteira, ou seja, sistemas mais avançados, caso governança e pesquisas de alinhamento não evoluam na mesma celeridade da tecnologia.
A empresa pondera, porém, que uma pausa unilateral teria efeito limitado. Segundo a Anthropic, se apenas um laboratório reduzisse o ritmo, a medida poderia apenas permitir que atores menos cautelosos assumissem a liderança no desenvolvimento da tecnologia.
Para a companhia, uma desaceleração relevante exigiria a adesão de múltiplos laboratórios bem financiados, em diferentes países, além de mecanismos verificáveis para garantir que todos tenham, de fato, interrompido ou reduzido o avanço. A Anthropic afirma que pretende organizar conversas nos próximos meses com formuladores de políticas públicas, pesquisadores, sociedade civil e outras empresas de IA para discutir melhoria recursiva, coordenação e deliberação pública sobre o tema.
Segundo a empresa, o desafio é criar condições para que uma eventual pausa não seja usada por atores menos transparentes como oportunidade para avançar em segredo. A Anthropic compara a dificuldade a regimes internacionais de verificação em tecnologias sensíveis, mas ressalta que, no caso da IA, a fiscalização é mais complexa, já que treinamentos de modelos podem ser mais fáceis de ocultar do que infraestruturas físicas.
A companhia afirma que o debate precisa envolver pessoas de fora das empresas de IA, incluindo governos, pesquisadores e sociedade civil. Para a Anthropic, a janela para discutir melhoria recursiva, segurança e coordenação internacional já está aberta.