Caixa preta da IA

Na cena de publicações em IA, é de se surpreender quando há relatos de detalhes básicos sobre como um sistema foi construído. Isso acontece predominantemente porque certos dados constituem propriedade intelectual, em especial quando são pesquisas associadas à indústria. A questão é que, há uma década, avanços na área eram mais direcionados, porque bastava ver o que um pesquisador mudou e melhorar seus resultados. No caso das redes neurais, contudo, essa melhoria envolve ajustar milhares de pequenos botões, por assim dizer, de forma que melhorar o modelo requer um grande número de experimentos e, portanto, recursos.

As redes neurais, a técnica que nos deu uma porção de ferramentas inimagináveis antigamente, são frequentemente entendidas como uma caixa preta por causa dos mistérios de como elas funcionam. Conseguir que tenham um bom desempenho pode ser como uma arte, envolvendo ajustes sutis que não são relatados nas publicações. Além disso, há uma tendência natural de que as redes se tornem maiores e mais complexas, com enormes conjuntos de dados e matrizes de computação maciças que tornam caro replicar e estudar esses modelos, se não impossível para todos, exceto os laboratórios com mais dinheiro, com o perdão da sinceridade. Isso exclui alguns institutos de fazer ciência competitiva e também prejudica a disseminação de recursos de tecnologia, segregando-os apenas a alguns privilegiados.

O que fazer para superar essa dificuldade em reproduzir e propagar experimentos?

A presidente de uma importante conferência da área de inteligência artificial, Joelle Pineau, por meio de uma alteração nos requisitos de participação do evento, está tentando intervir na crise de reprodutibilidade. O congresso em questão é o NeurIPS, onde são divulgados documentos e descobertas da área, e agora conta com a exigência de preenchimento de uma checklist que menciona itens que vem sendo omitidos nos trabalhos. Por exemplo, lá o autor ou desenvolvedor deve mencionar o número de modelos treinados antes da seleção do “melhor”, o potencial de computação usado e links que disponibilizem os códigos e os datasets. Isso não polui o paper, mas também fornece a clareza científica que o campo requer.

Outros também estão atacando o problema. Pesquisadores do Google propuseram “card models” para detalhar como os sistemas de aprendizado de máquina foram testados, incluindo resultados que apontam potencial viés. (Você pode ver sobre a importância de eventos e publicações neste vídeo e artigo, respectivamente).

Esse tipo de exigência é uma mudança bastante revolucionária para uma área em que o prestígio costuma estar associado a rankings. Agora, há um incentivo para que seja exposto o processo até obtenção de cada posição, isto é, um roteiro.

Imagem: princetoninnovation.org

A importância da reprodutibilidade em IA

A questão da reprodutibilidade é algo que deve ser tratado em todas as ciências, de maneira que haja clareza, abertura e divulgação devida dos dados. Uma coisa é o deslumbramento que a gente fica com um gerador de texto super eloquente, ou então com um robô com reflexos melhores do que os humanos (não que seja uma tarefa difícil superar os meus). Mas a questão da caixa preta da IA é que, mesmo profissionais da área podem ter dúvidas sobre os procedimentos e caminhos para chegar ao mesmo produto. O vulgo código que funciona por acidente.

Vale ressaltar que a replicação desses modelos de inteligência artificial é importante não apenas para identificar novos caminhos de pesquisa, mas também como uma maneira de investigar algoritmos à medida que aumentam e se tornam mais complexos. Isso, principalmente, porque modelos de IA sendo desenvolvidos com o objetivo de reconhecer padrões tal que suplantem decisões humanas, desde, por exemplo, quem fica na cadeia, até quanto tempo pode ser disponibilizado para você pagar um financiamento.

Convém, então, ter uma garantia de que os desenvolvedores foram assertivos no caminho, né?

Fonte: Wired.

BH 29 11 2019

Uma pequena informação, quando compartilhada pode percorrer um grande caminho, mas inevitavelmente sempre ira encontrar seu legitimo destinatário !

Pesquisa, e Divulgação : Miguel Moyses Neto Visite nosso linkedin  http://br.linkedin.com/pub/miguel-moyses-neto/28/971/9aa  -- Se Gostou Desta Materia Divulgue Para Seus  Amigos !!! --Visite Tambem Nosso Twitter : @mikenetIT – Uma Fonte Das Principais Agencias, Personagens e Links de Noticias Do Mundo Inteiro !!! Ou Veja Tambem Nosso Blog : http//Miguel Moyses.blogspot.com.br

Bremense Participacoes Ltda-                                                Desde1940
linktomike.blogspot.com
	mikenet9@gmail.com