Em 2023 surgiu um problema prático. Até então, para escrever um parágrafo com cara de especialista desenvolvendo um argumento, alguém precisava pensar. A estrutura, o vocabulário, a hierarquia das afirmações, as referências: tudo isso era montado na cabeça de quem estava por trás do texto. Desde 2023 a montagem fica por conta das máquinas, e elas a fazem tão bem que distinguir a prosa da máquina da escrita de um especialista humano passou a exigir um esforço à parte.
Os modelos de linguagem são uma ferramenta poderosa, e eu os uso todo dia para revisar código, traduzir, buscar bibliografia e esboçar um argumento. O que me preocupa é o discurso público, em que uma superfície lisa, parecida com a escrita especializada, vem sendo tomada por conhecimento.
Há uma imagem antiga para isso. Pense num revendedor de fundo de quintal que conseguiu vender um reator termonuclear num bazar de garagem. O reator é real, os rótulos estão certos, o folheto está bem escrito, e o revendedor não está mentindo. Ele só não entende o que tem nas mãos e não consegue responder a nenhuma pergunta de segunda ordem. Até pouco tempo atrás, figuras assim eram raras nas conversas sérias, porque a barreira de entrada as barrava. Agora a barreira é uma assinatura de vinte dólares por mês.
Sintomas
Um parágrafo escrito por uma máquina e um parágrafo escrito por alguém que se apoia na máquina sem pensar por conta própria se leem do mesmo jeito. Estes são os sinais.
— O autor não arrisca nada. Toda afirmação científica de peso tem a forma "esta é a condição em que estou errado". O texto do revendedor nunca traz essa condição, porque o revendedor não sabe em que condição sua tese falha.
— Completude lisa. O raciocínio de verdade tropeça, recua, esbarra nos próprios contraexemplos. O texto do revendedor desliza: é gerado como uma superfície estilisticamente coerente e não aguenta nenhuma pressão além da estilística.
— Nomes que não trabalham. Num texto sério, Friston, Tononi ou Levin aparecem por um motivo (eis o que está na obra deles, eis como isso muda o argumento); do contrário, a menção sobra. No texto do revendedor, os nomes servem de sinal de "estou por dentro", e a obra do autor citado não tem papel nenhum no argumento.
— Nenhum número. Toda afirmação sobre a realidade precisa pousar em algum número: um tamanho de efeito, um poder estatístico, um intervalo, uma escala de tempo. O texto do revendedor contorna os números, porque é nos números que ele poderia ser verificado.
O que está por baixo
O teste "uma pessoa consegue distinguir um texto do ChatGPT de um texto seu?" praticamente deixou de funcionar: os textos são bons, checar fatos à mão é lento, o editor se cansa. O único filtro que escala é o próprio autor, e o que ele precisa filtrar é a sua posição sobre o tema, antes mesmo de sentar para escrever.
Nesse sentido, a higiene epistêmica é uma disciplina simples. Antes de qualquer afirmação pública, faça quatro perguntas.
-
Em que condição eu estaria errado? Se a resposta é um resultado observável concreto, siga em frente. Se não há resposta, retire a afirmação.
-
Onde isso vira número? Basta a ordem de grandeza: "10⁻⁴ da largura do efeito", "10⁵ tentativas", "10² galáxias". Sem número, a afirmação é retórica.
-
Qual é o argumento mais forte contra mim? O mais técnico que um especialista de verdade traria, sem espantalhos. Se você não consegue formulá-lo como o especialista formularia, você não entende o assunto.
-
O que faria o contra-argumento vencer a minha tese? Se nada faria, a tese é teológica. Se algo faria, diga o quê agora, de antemão.
As quatro perguntas não servem para todo texto: não faz sentido testar assim a ficção ou um ensaio pessoal. Mas qualquer texto que pretenda dizer algo sobre o mundo ("é assim que a realidade funciona", "é isto que o experimento mostra", "é isto que decorre da teoria") precisa passar por esse filtro antes de ser publicado.
Por que escrevo isto para mim mesmo
Escrevo este texto antes de tudo para mim, e para o eu de daqui a um ano, que vai perder a disciplina e começar a publicar parágrafos lisos e soltos sobre consciência e física. Quando isso acontecer, este ensaio será o ponto de controle: em que condição eu estava errado? onde está o número? qual é a objeção mais forte? o que a faria me vencer?
A mesma lógica explica o formato do site. O preprint sai junto com código que qualquer pessoa pode rodar de novo, e as condições em que o programa morre estão escritas no próprio manuscrito. O ensaio sobre PEAR e GCP descreve o protocolo que o coloca na linha de tiro. O ensaio sobre a memória bioelétrica de Levin faz uma previsão biológica que um único ciclo de laboratório confirma ou derruba. Tudo isso é uma estrutura de autoverificação montada fora da cabeça do autor, porque a verificação de dentro da cabeça é a primeira a fraquejar.
O que peço ao leitor
Uma coisa só. Quando você ler um texto que afirma saber algo sobre o mundo, meu ou de qualquer outra pessoa, faça ao autor pelo menos a primeira das quatro perguntas: em que condição você estaria errado? Se não houver resposta, o texto não tem peso, por mais persuasivo, elegante ou bem citado que seja. É o reator do bazar de garagem.
O verniz de erudição ficou barato, e o filtro passou para dentro. Sem ele, a conversa pública sobre a realidade logo deixará de fazer sentido. Com ele, ainda dá para distinguir um programa que pode ser verificado de mais uma peça de retórica bem escrita.