O caminho para >99% de precisão: superar desafios na precisão da deteção de telemóveis

Imagine que você está dirigindo em uma rodovia. O sol brilha intensamente e o horizonte distante é visível como um brilho. O carro potente que você dirige está em seu ritmo ideal na estrada. De repente, seu celular toca — é o escritório. Você tem a opção de encostar no acostamento e atender ou, em vez disso, continuar dirigindo e atender. Muitas pessoas escolhem a segunda opção para economizar alguns minutos. No entanto, essa decisão aumenta drasticamente o risco de acidentes, quase quatro vezes. Ao usar o celular enquanto dirige, sua atenção na estrada diminui e o tempo de reação necessário para eventos inesperados aumenta. Falar ao celular enquanto dirige é um dos principais fatores de fatalidades nas estradas, conforme indicado por vários relatórios da NHTSA.

A detecção do uso de celular por meio da plataforma RideView tornou-se um recurso importante para a maioria de nossos parceiros. Há um ano, muitos que consideravam isso um recurso opcional agora percebem que ligar e enviar mensagens ao volante é perigoso e que eles não tinham visibilidade sobre isso. As frotas buscam ativamente reduzir o risco do uso de celulares com alertas em tempo real quando os motoristas utilizam o aparelho enquanto dirigem. A detecção de celular na plataforma RideView realiza exatamente isso. Ela envia alertas em tempo real ao motorista para conscientizá-lo sobre o comportamento de risco, e a reincidência é escalada para os proprietários e gerentes da frota, permitindo que iniciem sessões de treinamento com o motorista para corrigir esse comportamento.

‍
A equipe de IA da LightMetrics conseguiu elevar o nível no desenvolvimento do algoritmo de distração por celular, com mais de 99% de precisão. Garantimos que alertas falsos sejam muito, muito raros, gerando assim uma confiança muito alta de todas as partes interessadas — motoristas e gerentes de frota. O caminho para alcançar mais de 99% de precisão foi desafiador, particularmente em manter uma taxa excepcionalmente baixa de falsos positivos enquanto se alcança uma taxa excepcional de verdadeiros positivos. Alguns dos desafios que a equipe enfrentou ao desenvolver uma solução que funciona em escala foram

‍

1. Mãos que parecem estar segurando um telefone
2. Iluminação desafiadora dentro do veículo causando falsos positivos
3. Dados do mundo real em escala para os diferentes cenários extremos

‍

Aqui está um breve relato de como alcançamos uma precisão quase perfeita sem sacrificar a recuperação:

‍

Formatos de mão que parecem muito com situações de chamada

Observe o conjunto de fotos a seguir; à primeira vista, parece quase que a pessoa está falando ao telefone, mas, na realidade, ela está apenas mantendo as mãos em posições que se assemelham a uma chamada, sem estar segurando nenhum telefone.

‍

Os casos reais de chamada com um telefone na mão estão abaixo

Como se pode observar, o objeto na mão é geralmente preto e, por vezes, mal se vê por se misturar com o fundo. Por predefinição, o modelo de rede neuronal começa a focar-se nas posições da mão/dedos como uma característica dominante e, em muitos casos, começa a emitir alertas de telemóvel mesmo quando não há nenhum objeto na mão. Ensinar a rede neuronal a focar-se no objeto na mão tornou-se um foco principal ao concebermos as nossas experiências de treino.

‍
Finalmente, uma variação inovadora das populares técnicas de perda contrastiva ajudou a rede neuronal a dar menos peso às características da mão e mais peso ao telemóvel na mão.
‍

Diferentes condições de iluminação que resultam em falsos positivos

O modelo de rede neuronal teria sido treinado com um conjunto de dados de treino, mas, no terreno, pode encontrar um tipo de dados completamente diferente com base em reflexos ou diferentes fontes de luz. Isto pode levar o modelo a fazer previsões erradas. Alguns exemplos disso podem ser vistos abaixo.

‍

Isto foi resolvido quantificando o grau em que os dados estão fora da distribuição e, portanto, com probabilidade de falhar. Aproveitando a investigação sobre técnicas Bayesianas e outras formas de quantificar a incerteza, a equipa conseguiu sinalizar com precisão os casos em que a rede neuronal provavelmente falharia, sem afetar os casos normais.

Obter dados suficientes que cubram todos os tipos de casos

Quando a solução é utilizada por centenas de milhares de utilizadores, a variação na montagem, aparências, etc., será enorme. É importante que o modelo generalize através de todas essas variações e tenha um desempenho ideal. Quando a equipa de LM começou a trabalhar neste projeto, confiámos num conjunto de dados externo para a tarefa, mas tornou-se claro que a mudança de domínio nesses dados e nos dados captados pelas nossas câmaras era significativa. Experimentar diferentes técnicas de adaptação de domínio ajudou-nos a melhorar o desempenho dos modelos, mas a verdadeira melhoria no desempenho surgiu finalmente quando mudámos o treino do modelo para longe do conjunto de dados externo, com o conjunto de treino a compreender apenas dados das nossas câmaras. Inicialmente, pensámos que isso afetaria a capacidade de generalização do modelo, mas fazer com que o modelo se focasse em grandes variações dos mesmos dados de câmara ajudou a levar os limites de precisão/recall para além dos limites. Ter este grande corpus de dados ajudou a amplificar todas as técnicas anteriores que foram utilizadas em relação à arquitetura, função de perda e estimativa de incerteza.

‍

Em conclusão, detetar objetos pequenos, como telemóveis, não é uma tarefa fácil de realizar com uma precisão excecional. Para IA de ponta em hardware acessível, a inferência eficiente é fundamental, o que torna esta tarefa já desafiante ainda mais difícil. Treinar redes neuronais de forma a focar-se apenas no que é absolutamente essencial é crucial para o sucesso em aplicações computacionalmente limitadas.