A paranoia aumenta à medida que algoritmos opacos estão cada vez mais avaliando os freelancers.

É provável que já tenha sido avaliado em algum canto da Internet.

Esse tipo de classificação ajuda as empresas a tomarem decisões sobre onde podem correr riscos e como melhorar as operações. Mas de que forma as avaliações afetam as pessoas sob a ótica da avaliação? Uma nova pesquisa de Hatim Rahman da Kellogg School sugere que, apesar da opacidade desses algoritmos – e, na verdade, devido em grande parte dessa opacidade – os algoritmos moldam o comportamento das pessoas de maneiras inéditas.

Rahman, professor assistente de administração e organizações, investigou o impacto dos algoritmos em uma plataforma online de trabalho para freelancers. “Fala-se muito sobre o futuro do trabalho e de que forma ele existirá”, diz Rahman. “Essas plataformas fazem parte da próxima fronteira”.

Muitos sites prometem conectar trabalhadores autônomos (freelancers) a clientes pagantes (entre eles, Upwork, TopCoder e TaskRabbit). O site utilizado para a pesquisa e análise de Rahman empregou um algoritmo complexo para pontuar freelancers. Os possíveis clientes têm como classificar e selecionar as contratações com base nessa pontuação.

Para descobrir como esse sistema de avaliação opaco afetava os freelancers, Rahman integrou a plataforma (que ele dá o nome fictício de “TalentFinder”) e conduziu entrevistas com freelancers e os clientes que os contratam. Também analisou comunicações escritas do TalentFinder e postagens nos fóruns de discussão para freelancers.

Todos os trabalhadores com os quais falou passavam por uma paranoia contínua sobre a possibilidade de queda repentina e inexplicável na sua pontuação. O modo de tratar desse medo dependia menos da força de sua classificação do que de terem sofrido pontuações mais baixas – e, o que é mais importante, o quanto dependiam da plataforma para ter renda.

Tradicionalmente, explica Rahman, os acadêmicos descrevem as avaliações do local de trabalho como forma de estreitar a “gaiola de ferro” ao redor dos trabalhadores, pois permitem que os empregadores restrinjam o comportamento e estabeleçam padrões de sucesso. As avaliações algorítmicas têm um impacto diferente e potencialmente prejudicial.

“As avaliações opacas de terceiros podem criar uma “gaiola invisível” para os trabalhadores”, escreve Rahman, “pois os mesmos veem essas avaliações como uma forma de controle e, ainda assim, não conseguem decifrar ou aprender com os critérios de sucesso”.

Evidentemente, diz Rahman, muitos de nós não só vivemos em alguma versão dessa gaiola invisível, mas também desempenhamos um pequeno papel na modelagem de suas barras. Ao avaliarmos uma compra feita na Amazon ou um motorista de aplicativo do Lyft, potencialmente afetamos o sustento de outras pessoas.

“As pessoas que usam essas plataformas em grande parte desconhecem o papel que têm ao influenciar os sistemas e seus algoritmos”, diz ele. “Parece um relacionamento muito transacional”.

O mistério dos critérios de avaliação

O “TalentFinder” é uma das maiores plataformas do gênero. Em 2015, haviam cadastrados no site mais de 12 milhões de freelancers e 5 milhões de clientes localizados em mais de 100 países. Os clientes podem escolher entre uma ampla gama de autônomos, de assistentes a profissionais de marketing e engenheiros de software.

Quando Rahman se inscreveu no TalentFinder em 2013 para iniciar sua pesquisa, a plataforma classificava freelancers de acordo com um sistema transparente de pontuação de projeto e pontuação geral. Ao final de um projeto, os clientes classificavam os freelancers em uma escala de 1 a 5 referente a diversos atributos, incluindo “Habilidades”, “Qualidade do trabalho” e “Cumprimento do cronograma”. A agregação dessas pontuações resultava em uma pontuação geral do projeto e a combinação dessas pontuações (ponderadas com base no valor monetário de cada projeto) resultava em uma avaliação geral de cinco estrelas, incluída no perfil do freelancer.

Por mais simples que fosse o sistema de avaliação, ele apresentava um problema para o TalentFinder: as classificações dos freelancers eram muito altas e era necessária uma diferenciação que os tornaria úteis para os clientes. A certa altura, mais de 90% dos freelancers tinham pelo menos quatro das cinco estrelas e 80% tinham uma classificação quase perfeita.

A solução: um algoritmo. A partir de 2015, os freelancers foram avaliados em uma escala de 1 a 100, com base em critérios intencionalmente misteriosos.

“Não revelamos o cálculo exato da pontuação”, escreveu TalentFinder em uma postagem de blog público três meses após a introdução do novo algoritmo. “Seria muito fácil para alguns usuários aumentarem artificialmente suas pontuações”. Após a implementação do novo algoritmo, apenas 5% dos freelancers receberam uma pontuação de 90 ou acima disso.

Para estudar os efeitos do novo sistema de avaliação de freelancers, entre 2015 e 2018 Rahman coletou dados de três fontes: 80 entrevistas realizadas com freelancers e 18 com clientes; comunicações escritas, incluindo mais de duas mil mensagens de fórum de discussão da comunidade TalentFinder relacionadas ao algoritmo e todas as postagens públicas do TalentFinder sobre o tópico, e suas próprias observações como cliente registrado.

Paranoia generalizada

Enquanto Rahman analisava suas entrevistas e fontes escritas, ficou impressionado com a consistência das reclamações. Todos os freelancers com quem falou sofriam de paranoia referente a possíveis quedas repentinas em suas pontuações e frustração contínua sobre sua incapacidade de aprender e melhorar com base nas flutuações dessas pontuações.

“O mais surpreendente para mim foi que freelancers que apresentavam o melhor desempenho e eram os mais experientes na plataforma não obtiveram necessariamente nenhuma vantagem ao descobrir como o algoritmo funcionava”, diz ele. “Em geral, as pessoas que se saem bem em um sistema conseguem descobrir, até certo ponto, o que está acontecendo. No entanto, neste contexto, mesmo as pessoas cujas pontuações não haviam mudado continuavam muito apreensivas”.

Rahman observou duas reações distintas a essa paranoia e frustração. Uma reação é o que ele chama de “reatividade experimental” – freelancers tentando aumentar suas pontuações por tentativa e erro, ao assumir apenas projetos com contratos de curta duração ou pedir proativamente aos clientes para enviar feedbacks.

A outra reação foi quando freelancers tentam proteger suas pontuações através do que Rahman denomina “atividade restrita”. Os freelancers tentaram limitar sua exposição ao algoritmo de avaliação por vários meios, às vezes pedindo aos clientes que conheceram no TalentFinder para sair da plataforma para se comunicar e fazer pagamentos para que suas classificações não sejam afetadas. Outros não fizeram nada na esperança de que isso preservasse sua classificação.

Rahman isolou dois fatores principais que determinaram quais freelancers tentaram e quais se retiraram da plataforma ou simplesmente não fizeram nada: o tamanho da dependência de um freelancer na plataforma para gerar renda e se eles sofreram uma redução em sua pontuação.

Essa análise apresentou variação dependendo de o freelancer receber uma pontuação alta ou baixa.

Freelancers de alto nível com alta dependência na plataforma escolhiam sua tática com base no fato de terem visto uma recente queda na sua pontuação. Os que viram sua pontuação cair tentaram empregar táticas para aumentá-la. Se a pontuação não tivesse caído, restringiam a atividade na plataforma a fim de proteger a pontuação. Pessoas de alto desempenho com baixa dependência na plataforma restringiram o tempo de uso do TalentFinder, independentemente de terem sofrido queda de pontuação.

Para freelancers com pontuações mais baixas, sua dependência na plataforma parecia determinar o caminho tomado. Se dependessem da plataforma, engajavam-se na experimentação mesmo se as pontuações continuassem a oscilar. Se não se sentissem presos a ela por necessitarem de renda, gradativamente restringiam as atividades no site.

Rahman explica que a posição dos trabalhadores parece mais precária nessas plataformas do que em ambientes de trabalho tradicionais porque, na verdade, é isso que acontece. Embora as avaliações típicas do empregador visem ajudar o funcionário a melhorar, em grande parte, as avaliações facilitadas por algoritmos em sites como o TalentFinder têm como objetivo principal ajudar a plataforma a automatizar o trabalho de escolher a dedo os “melhores” trabalhadores de um enorme grupo, satisfazendo assim as exigências dos clientes.

“Para as plataformas, trata-se de otimizar a dinâmica geral; o objetivo principal não é ajudar os trabalhadores a melhorar”, diz Rahman. “Para o dia a dia das pessoas, especialmente quando dependem da plataforma para obter trabalho, isso pode ser muito frustrante e difícil”.

Vivendo na gaiola e moldando o ambiente

Desde esta pesquisa, Rahman diz que está cada vez mais ciente das várias gaiolas invisíveis dentro das quais a maioria de nós vive. Ele aponta a relatórios recentes que detalham como tudo, desde atelevisão e o aspirador de pó aos aplicativos de smartphone que usamos para receitas médicas e seguro de automóvel coletam nossos dados e os usam para treinar algoritmos proprietários de maneiras praticamente invisíveis para nós. “Acho que a metáfora da gaiola invisível se aplica muito à medida que entramos num sistema em que tudo o que fazemos, dizemos e como interagimos é alimentado por algoritmos dos quais não estamos necessariamente cientes”, diz ele.

Ele ressalta que algumas pessoas são mais livres para sair dessas plataformas do que outras; tudo depende do seu nível de dependência. Uma área frutífera para pesquisas futuras, diz ele, poderia ser examinar como características como raça, gênero e renda se correlacionam com a dependência em plataformas e suas avaliações algorítmicas. É importante entender que as pessoas de certos grupos raciais são mais propensas a serem “avaliadas” (e potencialmente colocadas na lista de indesejáveis) por algoritmos antes de conseguirem alugar moradia, obter um cartão de crédito ou obter um convênio médico. “O motivo de colocar essa metáfora de gaiola invisível para o primeiro plano é chamar a atenção da consciência para esse fenômeno e, talvez, de uma forma que as pessoas possam se identificar”, diz Rahman. “Evidentemente, mesmo quando tomamos consciência disso, é difícil saber o que fazer, dada a complexidade desses sistemas e a velocidade da mudança dos algoritmos”.

A legislação começa a criar um certo nível de supervisão no que ainda é uma área amplamente não regulamentada. A Lei de Privacidade do Consumidor da Califórnia de 2020, a legislação mais forte do país, estabelece os direitos dos usuários online de saber, excluir e optar por não fornecer dados pessoais. Em 2018, a União Europeia aprovou uma legislação ainda mais restritiva para o mesmo fim. “Isso é promissor”, diz Rahman, “mas a regulamentação por si só está longe de ser uma panaceia”.