Um novo aplicativo para iPhone usa aprendizagem de máquina para identificar objetos para pessoas com deficiência visual

Enquanto eu caminhava em volta do meu escritório em uma manhã recente, uma voz feminina no meu iPhone narrou os objetos que passei. "Brick", "parede", "telefone", ela disse assunto com naturalidade. A voz fez uma pausa quando deparei-me com uma bicicleta pendurada em um rack de parede, em seguida, entoou, "bicicleta".

A voz é parte de um aplicativo de reconhecimento de imagem gratuito chamado Aipoly que está tentando tornar mais fácil para as pessoas com deficiências visuais a reconhecer seus arredores. Para usá-lo, você apontar câmera traseira do telefone em que você quer que identificar e Aipoly vai falar o que vê (ou, pelo menos, o que ele pensa que vê) e mostrar o nome do objeto no visor do telefone. Aipoly roda diretamente no seu telefone, por isso não precisa de acesso à Internet para trabalho, e pode identificar um objeto após o outro como você mover o telefone ao redor, sem a necessidade de tirar uma foto de cada coisa.
Os criadores de Aipoly espero que o aplicativo pode ser útil para pessoas com visão graves deficiências e talvez para aqueles que tentam aprender uma nova língua. Eles também espero que seja mais rápido do que outras imagens-relacionadas de reconhecimento-aplicativos que dependem da ajuda de outros seres humanos, como Be My Eyes , ou que exigem a Internet, tais como TapTapSee .

O aplicativo foi lançado para o iPhone no início deste ano por uma startup sediada em Melbourne com o mesmo nome. Aipoly co-fundador Simon Edwardsson diz que reconhece imagens usando o aprendizado profundo, que é uma técnica de aprendizado de máquina inspirada por estudos do cérebro. É a mesma tecnologia usada pelo Facebook para reconhecer rostos e Google para pesquisar imagens.

O aplicativo descobre que algo está quebrando uma imagem para baixo em características diferentes, como curvas, linhas e padrões (como listras), em seguida, usa esses recursos para determinar a probabilidade de que a imagem é um objeto específico.

Aipoly foi capaz de me dizer o que muitas das coisas são de que posso encontrar em torno de meu escritório, embora ainda precisa de muito trabalho. Ele só pode reconhecer cerca de 1.000 objetos até agora; Edwardsson diz que a empresa está tentando rampa que até 5000, embora isso ainda não seria tudo o que muitos, se você considerar quantas coisas distintas você se deparar todos os dias.

E enquanto o aplicativo foi frequentemente correta ao detectar um objeto, mesmo quando parcialmente ocluído (como fones de ouvido pendurados em volta do pescoço do meu colega), havia muitas falhas de ignição, também.

Por exemplo, a sua voz feminina disse: "Chevrolet", depois "roda", e, por fim, "mouse" enquanto o telefone estava concentrado no meu rato de computador. E o app mantido misidentifying um micro-ondas como "AC".

Os usuários podem treinar Aipoly digitando uma palavra ou frase correta para identificar um objeto que ele recebe errado; esses dados serão então enviados para servidores da Aipoly eo arranque irá adicionar descrições para Aipoly a cada poucas semanas ou mais, uma vez que lança novas versões do aplicativo, diz Edwardsson.

Jeff Bigham , um professor adjunto na interação homem-computador na Carnegie Mellon University que estuda as tecnologias de apoio, diz que Aipoly parece funcionar muito bem, e ele poderia ser usado para ter uma noção do seu entorno, movendo o telefone ao seu redor. Mas ele questiona a utilidade de alguns dos seus habilidades de identificação de objetos são, uma vez que as pessoas tendem a ser bom em determinar o que alguma coisa é através do toque.

"O que é muito mais útil é dizer as coisas separadas que são de outra maneira indistinguíveis", diz ele, como latas ou caixas de comida que se sentem sobre o mesmo.