Luma AI

WV Polo by Artur Coelho on Sketchfab

Tenho estado a experimentar a Luma AI, uma app/serviço web que tira partido da tecnologia NeRF para gerar digitalizações 3D usando inteligência artificial para reconstruir os modelos a partir da captura. Essencialmente, um algoritmo extrai informação de uma captura vídeo, construindo um modelo de treino que irá gerar um modelo 3D. Uma tecnologia muito prometedora, com resultados muito interessantes.

Entre outras capturas, testei-o com o meu carro. Como qualquer um que se dedique à digitalização 3D com fotogrametria e Lidar, os carros são o pesadelo dos algoritmos, com todas as superfícies translúcidas e reflexivas que têm. É muito difícil obter capturas boas de automóveis, especialmente nesta modalidade de street 3D scan. Os resultados da Luma foram surpreendentes, visualmente parece estar tudo muito bem.

Uma análise à mesh revela problemas, as diferentes luminosidades da superfície metálica da carroçaria demonstram continuar a ser um grande obstáculo na reconstrução 3D - é o que explica todas as amolgadelas nas portas (juro que o meu carro tem algumas, mas não são tantas nem tão profundas). De qualquer forma, foi o melhor resultado que já tive a digitalizar o meu carro. E, tendo em conta que a Luma AI utiliza inteligência artificial, suspeito que estes dados sejam incorporados para melhorias incrementais aos modelos de treino.