Fato um: editores humanos fizeram cerca de 15 milhões de edições para os wikis em março – quase meio milhão de edições por dia. Se cada uma dessas edições tivesse apenas 10 segundos para revisar, verificando as mudanças de um dia exigiria 1.344 horas, ou 168 dias de trabalho de oito horas.
Fato dois: os novos editores para os wikis são mais prováveis do que os outros para se retirarem do trabalho do wiki quando suas contribuições são revertidas durante a revisão da edição – um problema que é mais agudo quando os revisores usam poderosas ferramentas de revisão semi-automatizadas, de acordo com pesquisas.
Tomados em conjunto esses fatos os quais apontam para um problema: os revisores de edição precisam de ferramentas poderosas para lidar com a avalanche de edições do wiki, mas as ferramentas elétricas podem causar danos aos recém-chegados de boa fé. Existe uma maneira de ajudar os revisores a trabalhar de forma mais eficiente enquanto também protege os novatos?
Precisamente, essa é a questão a qual tem conduzido a equipe de colaboração da Fundação nos últimos meses. Nós pensamos que a resposta é sim, e demos um grande passo em direção a esta convicção com o recente lançamento dos novos filtros para editar revisão beta. O beta adiciona um conjunto de novas ferramentas à página de mudanças recentes e apresenta uma interface de filtragem aprimorada que é mais amigável, mas ainda mais poderosa. De especial atenção são dois conjuntos de filtros que permitem que os patrulheiros em vários wikis aproveitem a avançada tecnologia de aprendizagem de máquinas com nova facilidade.
Trabalhe de forma mais inteligente
Os filtros de qualidade de contribuição alimentados por produzirem previsões sobre quais edições serão boas e que terão problemas. “Aqui, um revisor filtra amplamente as edições que „podem ter problemas”. “Ao mesmo tempo, ela usa frases coloridas para enfatizar o pior ou o obviamente incorreto (em amarelo e laranja). O usuário está no processo de adicionar um destaque vermelho para acentuar “má fé provável”.
As mudanças recentes são essencialmente uma página de pesquisa. Ao ajudar os patrulheiros a efetivamente zerar nas edições que estão procurando, os Novos Filtros da versão beta podem economizar tempo e esforço. Isso se faz de várias maneiras.
Procura de qualidade: ao longo dos anos, os revisores desenvolveram inúmeras técnicas para escolher as edições que precisam ser examinadas. Os filtros de previsão de qualidade de contribuição levam isso a um novo nível de sofisticação. Alimentados pelo serviço de aprendizagem de máquinas ORES, eles oferecem previsões probabilísticas sobre quais edições são suscetíveis de ser boas e quais podem, como o sistema diz diplomaticamente, “ter problemas”. (“Problemas” aqui podem ser qualquer coisa de vandalismo definitivo para erros de formatação simples.) Armados com essas previsões, os revisores podem concentrar seus esforços onde são mais necessários.
Os filtros de predição de qualidade usam pontuações do teste prejudicial da ORES e estão disponíveis somente em wikis que suportam esta função. Os assinantes do recurso beta da ORES viram resultados prejudiciais, mas o novo beta implanta os resultados de forma muito diferente. Os revisores agora classificam as edições usando uma série de até quatro filtros que oferecem opções que variam de “Muito provável bom” para “Muito provável que tenha problemas”.
Descrever como apresentar funções de inteligência artificiais sofisticadas de forma que os usuários acham de maneira clara e útil foi um grande foco para a equipe do projeto durante o projeto e testes de usuários. Avançando, planejamos padronizar a nova abordagem sempre que possível em ferramentas e páginas que usam ORES.
Use o destaque para escolher as qualidades de edição que mais lhe interessam. Aqui, o usuário filtra as edições que são “Muito provável boa fé”. Com cores, ela destaca novas páginas (amarelo) e as edições de novos usuários (verde e azul). Observe a linha amarelo-verde na parte inferior; A cor combinada e os dois pontos coloridos na margem esquerda significam que a edição é tanto uma “Criação de página” como um “Recém-chegado”.
Acerte os destaques: patrulheiros experientes tos quais têm uma ótima capacidade de digitalizar uma longa lista de resultados de edição e escolher os detalhes vitais. Para o resto de nós, no entanto, os resultados recentes da pesquisa de mudanças podem se apresentar como paredes densas e confusas de dados. Este é o lugar onde a nova função de destaque pode ser útil.
Destaque, os revisores usam cor para enfatizar as propriedades de edição que são mais importantes para seu trabalho. Na ilustração acima, por exemplo, o revisor está interessado em novas páginas por novos usuários. Ao adicionar uma nova camada de significado aos resultados da pesquisa, Destaque, novamente, permite que os revisores melhorem seus esforços (saiba mais sobre como destacar).
Sobre o rosto: a antiga interface de mudanças recentes cresceu gradualmente ao longo dos anos, como as camadas de uma cidade antiga. Poderia ser difícil de entender e, nos testes, descobrimos que muitos usuários simplesmente ignoravam as muitas funções oferecidas. Snapping é outra camada de ferramentas em cima da pilha que seria, julgamos, apenas adicionar à confusão.
A nova interface foi projetada para ajudar os usuários, dando-lhes feedback úteis. Aqui, o sistema instrui o usuário sobre os filtros selecionados que estão em conflito.
Consequentemente, o designer Pau Giner reimaginou completamente a interface para torná-la mais amigável do que a existente e mais poderosa. As funções são agrupadas logicamente e explicadas com mais clareza. Uma área especial de “filtro ativo” torna mais fácil para os usuários ver quais configurações está em vigor. E o sistema é inteligente sobre o fornecimento de mensagens úteis que esclarecem como as ferramentas interagem (veja a ilustração).
Sob o capô, a lógica de filtragem foi reorganizada e estendida, para que os usuários especifiquem com mais precisão as qualidades de edição que desejam incluir ou excluir. (Sem entrar nos detalhes, basta dizer que os usuários agora refinam suas buscas de uma maneira que se sentirá familiar das compras populares e outros sites baseados em pesquisa. Saiba mais sobre a interface de filtragem).
Encontre aquilo que está bom
As mudanças recentes que o patrulhamento tem, compreensivelmente, sempre se concentraram mais na busca de problemas e atores ruins. Mas, umas séries de novas ferramentas de busca permitem que os revisores busquem contribuições positivas. O filtro de qualidade “muito provavelmente bom”, por exemplo, é altamente preciso na identificação de edições válidas. Dois outros novos conjuntos de ferramentas visam particularmente encontrar novos colaboradores que atuam de boa fé.
Para todos os efeitos: os filtros de previsões de intenções do usuário adicionam uma nova dimensão para editar a revisão. Alimentados, como os filtros de qualidade, por meio da aprendizagem por máquina (e, como os filtros de qualidade, disponíveis apenas em certas wikis), eles preveem se uma determinada edição foi feita em boa ou má fé.
Aguarde, você pode estar pensando: a intenção é um estado de espírito. Como um computador pode julgar um estado mental e mesmo moral? A resposta é que o serviço ORES deve ser treinado pelos humanos – especificamente, por editores de wiki voluntários, que julgam um conjunto de amostras muito grande de edições reais extraídas de seus respectivos wikis. Essas edições marcadas são então enviadas de volta ao programa ORES, que usa os padrões que ele detecta para gerar previsões probabilísticas. (Esta página explica o processo de treinamento e como você pode iniciá-lo em seu wiki.) A nova interface classifica essas previsões em quatro graus possíveis, variando de “boa fé muito provável” para “muita má fé”.
Os filtros intencionais são novos, e continua a ser visto como os patrulheiros os usarão. Claramente, uma predição de má fé atuará como uma bandeira vermelha adicional para combatentes do vandalismo. Esperamos que as previsões de boa fé se revelem úteis para as pessoas que desejam fazer coisas como boas-vindas aos recém-chegados, para recrutar candidatos prováveis para Wiki-Projetos e, geralmente, dar ajuda e conselhos para aqueles que estão tentando,mas sem habilidade, contribuir para a Wikis.
Você é experiente: o filtro Novos Filtros também adiciona um conjunto de filtros de nível de experiência que identificam edições por três classes de contribuintes recentemente definidas.
Os recém-chegados os quais têm menos de 10 edições e 4 dias de atividade. (Sugestão de pesquisa para que são esses editores muito novos que são os mais vulneráveis a críticas severas). Os alunos têm mais experiência do que os recém-chegados, mas menos do que os usuários experientes (este nível corresponde ao status auto confirmado na Wikipédia em inglês). Os usuários experientes têm mais de 30 dias de atividade e 500 edições (correspondentes ao status confirmado prolongado da Wikipédia em inglês).
Ainda há mais por vir
Os “novos filtros para revisão de edição” estão em desenvolvimento. Ao longo dos próximos meses, a equipe de colaboração ficará focada em solucionar problemas e adicionar novos recursos. Entre as melhorias na nossa lista de tarefas: Incorporar todas as ferramentas de mudanças recentes existentes na nova interface; Adicionar uma maneira para os usuários salvar configurações; Adicionar filtros adicionais que os usuários estão solicitando. Então, depois de outra rodada de testes de usuários, o plano é trazer as novas ferramentas e a interface para as listas de vigilância.
Como sempre, precisamos de suas ideias e insumos para ter sucesso. Para experimentar os novos filtros de edição da revisão, vá para a sua página de preferências beta em Wikimedia wiki e opte. Por favor, deixe-nos saber o que funciona para você e o que poderia ser melhor. Estamos a ouvir!
Joe Matazzoni, Wikimedia Foundation 10 de maio de 2017 . Publicado em português no Blog Traço de Ciência.