Cathy O’Neill : Desfazendo as Tendências de Algoritmos Inconsistentes

Pesquisa & Traducao : Miguel Moyses Neto

No despertar da crise dos bancos em 2008, Cathy O’Neill, uma ex professora de matemática no Barnard College revirou os dados dos Hedge Funds Cientificos, e chegou a conclusões que os algoritmos, em que ela acreditava que poderiam solucionar problemas com a pura logica, mas ao invés disso, eles estavam sendo criados a uma grande velocidade e escala. Agora O’Neill – que trabalha com matemática primaria no seu blog popular e com 11.000 seguidores no Twitter – trabalha para trazer alguma luz para o lado sombrio dos Big Data : modelos matemáticos que operam sem transparência, sem nenhuma regulação, e – pior de tudo – sem possibilidade de fazer nada, se eles estiverem errados. Ela e a fundadora do Leads Program Para Dados de Jornalismo na Columbia University, e seu livro best-seller, Wepons of Math Destruction ( Crown, 2016), foi nomeados para o National Book Award de 2016.

Nos perguntamos O’Neill sobre a criação dos modelos  matemáticos responsáveis para o uso de negocios para tomar decisões criticas.

Pergunta: Se um algoritmo e aplicado igualmente para tudo, como poderiam ser os resultados tendenciosos?

Cathy O’Neill: Os algoritmos não são inerentemente corretos ou confiáveis, somente porque são matemáticos. “Lixo para dentro, lixo também para fora” ainda se sustenta. Existem muitos exemplos : Em Wall Street, as hipotecas usadas com o suporte de segurança dos algoritmos falharam porque eles eram simplesmente uma mentira. Um programa desenhado para acessar performances de professores baseados somente em testes resultam em falhas porque eles são somente estatísticos; mais ainda haveria muito mais para aprender do que testar. Uma startup customizada fazendo anuncios em que eu trabalhei, criou um sistema que fornecia anuncios para as coisas que os usuários queriam, mas que os colleges usavam para lucros, foram usados com a mesma estrutura para identificar e pregar em receitas menores para mães solteiras as quais somente teriam formação de educação sem nenhuma qualidade e formação. Modelos no sistema judiciário que recomendavam sentenças e previsões de recidivas também tendem a ter como base e dados em politicas terríveis de dados, particularmente de prisões, para que as previsões sempre sejam raciais e misturadas.

Pergunta: Estas tendências foram introduzidas deliberadamente para um algoritmo fazer previsões equivocadas ?

O’Neill: Não ! Imagine uma cia com um histórico de discriminação contra mulheres querendo mais mulheres para o gerenciamento de politicas e escolhas para usar uma maquina de algoritmos para escolhas para usar uma maquina de aprendizado de algoritmos com dados históricos sobre empregados bem sucedidos dos últimos 20 anos, e eles definem empregos bem sucedidos como pessoas que foram mantidas por 5 anos e promovidas pelo menos duas vezes. Eles tem grandes intenções. Eles não estão tentando ser tendenciosos; eles estão tentando mitigar as tendências. Mas se eles estão treinando os algoritmos com dados passados de uma época quando eles tratavam seus funcionários do sexo feminino da maneira que era impossível para elas encontrarem uma definição especifica de sucesso, o algoritmo vai aprender a filtrar mulheres fora de suas condições curriculares, o que era exatamente o que elas não queriam. Eu não estou criticando o conceito dos Big Data. Eu simplesmente estou acautelando todos para alertar as queixas exageradas sobre os trusts cegos dos modelos matemáticos.

Pergunta: Quais são as redes de proteção que os lideres prepararam para a contra-partida das tendências que poderiam ser perigosas para os seus negocios?

O’Neill: Eles precisam fazer as perguntas sobre isso, e dar suporte para os processos no sentido de avaliar os algoritmos que eles planejam empregar. Como inicio, eles deveriam buscar evidencias de que os algoritmos funcionem da maneira que eles querem, e se estas evidencia não são suficientes, eles não deveriam emprega-los. De outra maneira, eles estão somente automatizando os problemas. Desde que um algoritmo esteja estabelecido no lugar, as organizações precisam testar se os seus modelos de dados tem uma aparência justa na vida real. Por exemplo, a cia mencionada antes que quer empregar mulheres na sua linha de direção, poderia procurar a proporção das mulheres que se apresentam para um emprego antes de usar o algoritmo. Se nas aplicações a queda for de 50% mulheres para 25% mulheres, esta simples amostra e um sinal de que alguma coisa esta errada e precisa ser verificada mais a frente. Muito poucsa organizações são construídas em processos no sentido de acessar e melhorar os algoritmos. Existe uma que faz isso : a Amazon, todos os passos dela são checados e as experiências são otimizadas, e se isso sugere um produto que eu e as pessoas como eu não gostam, o algoritmo percebe e para de me mostrar. E um canudo de feedbacks, porque a Amazon presta muita atenção para o que os clientes estão na realidade levando em conta nas sugestões dos algoritmos.

Pergunta : VC repetidamente alerta sobre os perigos de usar o aprendizado das maquinas para codificar equívocos do passado, essencialmente,” Se VC fizer o que tem feito sempre, VC ira conseguir sempre aquilo que tem conseguido.” Qual e o maior dos riscos que as cias tomam quando estão confiando nas suas decisões tomadas em modelos de dados?

O’Neill: O maior risco e confiar no próprio modelo de dados para não se expor ao risco, principalmente ao risco legalmente acionável. A qualquer tempo VC esta considerando usar um algoritmo sob condições de regulação, como emprego, promoções, ou vigilância, VC com certeza tera que se auditar para a legalidade. Isso parece completamente obvio; se e ilegam discriminar contra as pessoas com base em certos critérios, por exemplo, VC não deveria usar um algoritmo que faz isso ! E mesmo assim as empresas sempre usam algoritmos discriminatórios porque não ocorre a elas perguntar sobre, ou elas não sabem quais perguntas fazer, ou os vendors ou os desenvolvedores não providenciaram visibilidade suficiente para os algoritmos nesta questão para ser facilmente solucionável.

Pergunta: Quais são as ramificações para os negocios e se elas persistem em acreditar que os dados são neutros?

O’Neill: quanto mais evidencias aparecerem, os algoritmos desenhados falharem, os algoritmos podem causar problemas, e eu penso que as pessoas que os usam serão acusadas pelos resultados ruins que eles causarem. A era das negações plausíveis para os resultados de usar os Big Data – aquela habilidade de dizer que que eles foram gerados sem o seu conhecimento – esta chegando ao fim. Mesmo agora, os algoritmos baseados e usados através de decisões tomadas estao muito a frente dos advogados e regulações, mas eu acho que isso não vai durar muito. Os reguladores já estão dando passos em direção aos algoritmos auditados em função das propriedades ilegais. Sempre que VC usar um sistema automático, ele gera uma historia de seu próprio uso. Se VC usar um algoritmo que tenha sido ilegalmente tendencioso, a evidencia estará la na forma de um rastro para ser auditado. Isto e um arquivo permanente, e nos precisamos pensar sobre nossas responsabilidades para assegurar que estão funcionando bem. D!

BH 09/03/2017

Uma pequena informação, quando compartilhada pode percorrer um grande caminho, mas acaba sempre encontrando seu legitimo destinatário !!!

Pesquisa,Traducao & Divulgação: Miguel Moyses Neto  Se gostou desta matéria , divulgue para seus amigos  ou também pode visitar nosso linkedin http://br.linkedin.com/pub/miguel-moyses-neto/28/971/9aa---Twitter: @mikenetIT onde VC poderá ver as principais agencias de noticias e os links das empresas & nomes mais famosos do mundo! ou simplesmente visite nosso blog :

WWW.linktomike.blogspot.com

Bremense Participacoes Ltda
			Desde 1940
	mikenet9@gmail.com