Opinião indiscutível? 8 lições de como questionar a sabedoria dos especialistas

Não vemos os glóbulos vermelhos do nosso sangue, mas acreditamos nos cientistas que nos dizem que os temos e nos médicos que pedem análises para os contar. Suspeitamos que a predisposição cognitiva afecta as nossas escolhas, não porque fizemos nós a análise, mas porque acreditamos nos cientistas sociais que levaram a cabo estudos experimentais. Muito do nosso conhecimento é no fundo obtido a partir de testemunhos de professores, mentores, colegas e autores que escrevem para publicações como esta.

Contudo, vivemos também num mundo em que, quase diariamente, a certeza anterior de um especialista é desacreditada por novas análises. As dietas que antigamente eram infalíveis são agora achincalhadas; práticas de gestão que eram ridicularizadas são subitamente elogiadas. Como devemos, então, tratar o próximo conselho que obtivermos de um académico ou consultor? Os filósofos da ciência, que estudam esta questão, normalmente recomendam que simplesmente confiemos naquilo que ouvimos de pessoas com credenciais, que parecem competentes e sinceras.

Mas creio que podemos fazer melhor. Devemos sempre pensar de forma crítica naquilo que ouvimos ou lemos. Segundo a minha experiência, os “olhos frescos” encontram erros que passaram ao lado de mentes mais especializadas. Devemos a nós próprios lidar com cada opinião da mesma forma que olharíamos para uma peça de fruta que estamos a comprar – avaliando o seu estado. Eis as minhas perspectivas para o fazermos.

ATREVAM-SE A DUVIDAR

Na segunda TED Talk mais popular de sempre, a psicóloga social Amy Cuddy explicou que certas posturas físicas melhoram as nossas hormonas energéticas e tornam-nos mais corajosos; todavia, tentativas de imitar esse resultado falharam. Os governos europeus escolheram políticas de austeridade em parte porque os economistas de Harvard Carmen Reinhart e Kenneth Rogoff lhes disseram que os níveis altos de dívida causam uma queda súbita no crescimento económico. Posteriormente, um aluno de licenciatura, Thomas Herndon, percebeu que as suas descobertas foram influenciadas por um erro numa folha de Excel.

Os próprios especialistas enganam-se, principalmente quando um problema é complicado e a análise difícil. A crise da reprodução assola a Psicologia, a Economia e as investigações médicas. Ninguém sabe realmente até que ponto se pode confiar nas descobertas empíricas, mas algumas pessoas tentaram adivinhar. John Ioannidis, professor de Stanford, argumenta que a maior parte dos resultados das investigações médicas são falsos. Bradford DeLong e Kevin Lang, economistas, fazem o mesmo tipo de comentário.

Num artigo do “Strategic Management Journal”, eu e o co-autor Brent Goldfarb calculámos, por alto, que cerca de 20% dos estudos sobre gestão de negócios baseiam-se em pouco mais do que barulho aleatório. Confiariam na palavra de alguém que vos desse um mau conselho em cada cinco?

Lição: Nunca hesitem em desafiar as análises dos especialistas.

DISTINGUIR HISTÓRIAS DE PREVISÕES

A maioria dos artigos de académicos, cientistas e outros são histórias que emergem de uma análise a padrões encontrados em dados. Pergunta-se: “Quais as empresas que tiveram sucesso?” ou “Quais as pessoas que dão bons líderes?” e depois criam narrativas que descrevem os padrões: “As empresas que fazem o que sabem têm sucesso” ou “As pessoas autênticas são melhores líderes”. Estas histórias são conjecturas, ao estilo do Sherlock Holmes. Todos nós nos apaixonamos pelas suposições que fazemos e pelas histórias que contamos sobre elas.

Perguntei uma vez a um famoso cientista empresarial se alguma vez havia testado a sua teoria tentando prever eventos. Respondeu-me que não era preciso, porque a sua teoria previa muito bem o passado. Esquecera-se de que uma história explica e uma teoria prevê. Para nos certificarmos de que as nossas teorias são preditivas, temos de as testar e comparar com novas informações. Os analistas de big data aprenderam isto da maneira mais difícil – ao verem descobertas excitantes serem mais tarde denunciadas como produtos do acaso.

Por isso, actualmente, as melhores análises dividem os seus dados em metades, desenvolvendo primeiro a história ou modelo (o “conjunto de instrução” dos dados) e depois avaliando-os (o “conjunto de validação”). Se não obtiverem os mesmos resultados para ambas as metades, concluem que não têm um resultado preditivo.

Lição: Quando um especialista liga uma causa a um suposto efeito, perguntem se é uma história criada para perceber o sentido do passado ou uma teoria para prever o futuro.

QUESTIONEM AS SUPOSIÇÕES

Analisar provas empíricas exige suposições, por vezes tantas que o processo já foi descrito como um caminho com diferentes direcções. A cada uma, os analistas devem fazer uma suposição que pode influenciar o resultado final. Um tipo problemático e comum de suposição envolve a maneira como atribuímos valores a variáveis que não podem ser medidas directamente.

Quando os analistas não conseguem fazer experiências aleatórias e têm de usar dados observacionais, adivinhar torna-se habitual. É esse o caso dos investigadores que pesquisam a doença de Alzheimer, porque o progresso lento e tardio da doença torna difícil a implementação de intervenções e o estudo dos seus efeitos. Em vez disso, os analistas têm de analisar os historiais dos pacientes à procura de possíveis causas, e esse trabalho exige muitas suposições sobre informações em falta. Por exemplo, as pessoas que jogam bridge têm menos probabilidade de desenvolver Alzheimer, mas a interpretação desta relação depende da suposição sobre os atributos ocultos de quem joga bridge.

Se jogadores e não jogadores são iguais, então jogar bridge pode prevenir o Alzheimer; se os dois grupos diferem, estes factores ocultos podem ser a explicação real. Claro que a necessidade de fazer suposições perturba também o trabalho de quem investiga a gestão. Muitas das variáveis necessárias para uma análise consistente são difíceis de avaliar, por isso os analistas muitas vezes fazem suposições para preencher os espaços em branco. Os que não são especialistas, como as pessoas que estão de fora e são mais imparciais, por vezes são melhores a verificar a lógica dessas suposições do que os especialistas que as fazem.

Os investigadores querem acreditar que estão no caminho certo – uma ilusão por que eu próprio já passei – e podem convencer-se de que uma suposição é razoável quando não o é. Richard Feynman, vencedor de um prémio Nobel, articulou este aforismo para os cientistas empíricos: «O primeiro princípio é que não nos devemos enganar, e somos a pessoa mais fácil de enganar.»

Lição: Descobrir suposições usadas para passar dos dados a um conjunto de conclusões.

PROCUREM EXPLICAÇÕES ALTERNATIVAS

Para ligar efeitos às suas verdadeiras causas, os investigadores devem tentar descartar hipóteses reais. Mas, a maioria dos cientistas é tão criativa como qualquer outra pessoa, e tende a apaixonar- -se por uma explicação em particular, ignorando alternativas. Por exemplo, um grupo de académicos que estuda os estereótipos de género revelou que os furacões matam mais pessoas quando têm nomes femininos, em vez de masculinos, porque os nomes femininos fazem-nos parecer menos perigosos.

A ideia evocava estereótipos de género tão enraizados que muitos acreditaram na explicação. Mais tarde um conjunto de académicos mostrou que os registos dos dados não fundamentavam essa conclusão. Sei por experiência que considerar explicações alternativas é difícil e que é fácil tornarmo-nos complacentes. Durante um projecto em que calculava os factores que determinavam a procura de certos tipos de entretenimento, agarrei-me aos meus indicadores preferidos e parei de considerar outras causas.

O resultado foi um modelo que não conseguia prever a procura futura com exactidão. Para evitar esta armadilha, não assumam que o analista considerou exaustivamente explicações rivais. Façam uma lista das vossas próprias conjecturas, e questionem se foram colocadas de parte. Esta consulta é fácil se o analista for um consultor ou um colaborador, mas também se pode fazer com trabalhos publicados. Os autores de pesquisas normalmente escrevem alguns parágrafos sobre explicações alternativas; se não o fizeram, ou se a lista parece incompleta, mandem-lhes um email. Se tiverem uma explicação, irão responder.

Lição: Identifiquem explicações alternativas para uma conclusão em particular, e perguntem por que é que cada uma delas não é a mais adequada.

CONHEÇAM OS LIMITES DA INFERÊNCIA

Tentar provar que uma causa suspeita é a verdade é um caminho cheio de dificuldades, como o filósofo David Hume tornou claro. Como resultado, os investigadores muitas vezes usam um judo lógico ao fazerem as suas análises. Em vez de procurarem directamente provas que apoiem a causa, mudam a análise e avaliam a probabilidade de as provas estarem erradas. Vejamos a noção de “significância estatística”, que muitas pessoas pensam avaliar a confiança numa causa indicada para um efeito observado. Na verdade, avalia o oposto – a probabilidade de que aquilo que é observado é o resultado de um acaso.

Assim, um cálculo que seja estatisticamente significativo não é necessariamente verdadeiro, e um que é “não significativo” não é necessariamente falso. A significância, descoberta e por descobrir, é apenas uma forma de indicar que pode existir um padrão real. A significância é também confundida com importância.

Com uma amostra grande, quase todas as diferenças se tornam estatisticamente significativas, mas isso não significa que a diferença seja importante. Por cada milha viajada, o registo de segurança das viagens áreas norte- -americanas é estatisticamente significativamente melhor do que as viagens ferroviárias. Será que nos devemos preocupar quando viajamos de comboio? Não: a diferença é pouco importante porque ambas as formas de transporte têm uma taxa de mortalidade extremamente baixa (0,07 mortes por mil milhões de milhas por avião, 0,43 mortes por cada mil milhões de milhas por comboio).

As viagens por motociclo, por outro lado, são significativamente e substancialmente mais mortais (213 mortes por mil milhões de milhas).

Lição: Perguntem sempre: “Esta descoberta faz uma diferença material no mundo real?”.

EXIJAM UMA ANÁLISE DE FIABILIDADE

Até um estudo bem concebido oferece só uma estimativa entre possíveis. Quando as estimativas não são consistentes numa gama de suposições, as descobertas de um estudo são consideradas menos fiáveis, um termo técnico nas estatísticas de pesquisas. Um exemplo clássico envolve a análise à noção de que a posse de arma diminui o crime.

Um estudo inicial sugeria que as taxas de crimes eram mais baixas em áreas onde as leis permitiam o uso de uma arma de fogo escondida. Contudo, estudos posteriores, usando os mesmos dados e suposições ligeiramente diferentes, chegaram a conclusões diferentes. Cada lado acusou o outro de ser um fantoche político.

A Agência Nacional de Investigação tentou pronunciar-se sobre o debate, mas nem os seus membros estavam de acordo. Por fim, um grupo de académicos mostrou que suposições ligeiramente diferentes resultavam em conclusões variadas: a posse de arma causava menos, mais ou a mesma quantidade de crimes – dependendo de vários factores. Os investigadores usaram inclusive um método estatístico sofisticado, o Bayesiana, para avaliar se existia uma resposta mais adequada em cada um dos estudos.

Concluíram que, tendo em conta os dados disponíveis, não se consegue dizer qual o efeito que a posse de armas escondidas tem no crime. Em suma, as descobertas não eram sólidas. Por outro lado, o trabalho do falecido economista Steven Klepper sobre clusters industriais geográficos manteve-se firme após repetidos testes de fiabilidade. Klepper e os seus colegas mostraram que quando as empresas se tornam independentes das casas-mãe, caem como fruta de uma árvores e frequentemente crescem até se tornarem organizações fortes por direito próprio.

Lição: Confirmar que as descobertas sobrevivem a vários conjuntos de pressupostos.

EVITEM O EXCESSO DE APLICAÇÕES

Mesmo que as descobertas dos estudos sejam fiáveis numa amostra em particular, podem não se aplicar noutros contextos ou grupos. Por exemplo, as leis de posse de armas escondidas podem ter efeitos variados nos EUA, Canadá ou nas Bermudas. As ferramentas educacionais que funcionam numa cultura podem não funcionar noutra.

Se fizerem um teste de marketing a, por exemplo, caloiros de universidades norte- -americanas, podem obter bons dados sobre o apelo de um produto para esse grupo, mas não necessariamente para uma demografia mais abrangente. É preciso tirar conclusões sobre outros grupos apenas depois de esses serem também estudados.

Lição: A população e a amostra são importantes.

SEJAM CÉPTICOS FACE A RUMORES

Todos queremos compreender o nosso mundo, por isso tendemos a ver padrões onde eles não existem – canais em Marte, faces na Lua. Mark Twain referiu esta tendência em “Life on the Mississippi”: «Há algo de fascinante na Ciência. Obtemos retornos tão generalizados de conjecturas a partir de um investimento tão insignificante em factos.»

Os actuais especialistas em análises empíricas concordam com ele: nós, humanos, queremos acreditar que sabemos coisas e ser vistos como cultos, o que muitas vezes nos leva a fazer afirmações mais fortes do que deveríamos. Por exemplo, ouvimos frequentemente os cientistas dizer que “sabem” algo com base em provas – quando na verdade não sabem e, tendo em conta as limitações das análises estatísticas, não poderiam saber. Podem ter boas razões para suspeitarem mas levam a inferência muito longe.

Pior ainda, outras pessoas repetem as afirmações inflacionadas porque vêm de um conhecedor. Uma solução simples é banir a palavra “saber” – e usar “suspeitar” ou “sugerir”.

Lição: Evitar a linguagem da certeza.

Quando Richard Feynman afirmou que a «ciência é a crença na ignorância dos especialistas », não estava a menosprezar os cientistas, mas a lembrar-nos que todos podemos ajudar a ciência avançar. Quando usamos dados para aprender mais sobre o Mundo e tomar as melhores decisões nas empresas, envolvemo-nos em análises científicas.

Quando consumimos as aprendizagens dos outros, podemos ser cíticos úteis. Independentemente do papel que assumimos, devemos sempre questionar as nossas inferências, pensar de forma crítica sobre as provas e os argumentos que ouvimos e admitir a nossa falibilidade quando proferimos as nossas próprias conclusões. O meu conselho é que se submetam a avaliações e a cuidadosas análises críticas.

Se esse esforço for sério, irão perceber que vos contei uma história, assumi muitas coisas, deixei as alternativas de fora e não pude provar que a minha análise é fiável, e fiz as minhas próprias suposições não fundamentadas. Espero que as poucas ideias que partilhei, baseadas na minha experiência, vos sejam úteis. Mas isso é algo que terão de decidir pela vossa própria cabeça.

Copyright © Massachusetts Institute of Technology, 2019. Traduzido e publicado com autorização.