Luma AI Imagine : Texto para 3D

Consegui, finalmente, acesso à ferramenta texto para 3D da Luma AI (a vertente NeRF já uso intensamente. Fiquei surpreendido com a capacidade deste algoritmo em gerar modelos 3D de qualidade razoável, com aquela aleatoriedade que é tão deliciosa na IA Generativa.

Luma AI Savage God by Artur Coelho on Sketchfab

O primeiro modelo que gerei foi dos mais interessantes, surpreendeu a qualidade do resultado.

Luma AI Haunter by Artur Coelho on Sketchfab

Outros modelos tiveram output mais bizarro, caso desta assombração, que levou o prompt muito, mas mesmo muito à letra.

Onde os resultados foram menos satisfatórios foi ao pedir a geração de aeronaves. Depende dos dados usados para treino do algoritmo, claro, e tendo em conta que os geradores de imagem também se espalham ao comprido quando lhes pedimos aeronaves, suspeito que imagens de aviação não sejam abundantes dos dados para treino.

Luma AI Cyborg Dog by Artur Coelho on Sketchfab

Para uma tecnologia que há poucos meses era um artigo, estes resultados são espantosos. Ainda por cima, são generalistas, o algoritmo interpreta e produz qualquer tipo de objeto. Há outros serviços que se restringem a categorias de objetos, o que lhes simplifica o trabalho. O caminho agora é de afinação contínua, e suspeito que dentro de poucos meses estes resultados nos pareçam rudimentares, face à contínua evolução e afinação.

Luma AI

WV Polo by Artur Coelho on Sketchfab

Tenho estado a experimentar a Luma AI, uma app/serviço web que tira partido da tecnologia NeRF para gerar digitalizações 3D usando inteligência artificial para reconstruir os modelos a partir da captura. Essencialmente, um algoritmo extrai informação de uma captura vídeo, construindo um modelo de treino que irá gerar um modelo 3D. Uma tecnologia muito prometedora, com resultados muito interessantes.

Entre outras capturas, testei-o com o meu carro. Como qualquer um que se dedique à digitalização 3D com fotogrametria e Lidar, os carros são o pesadelo dos algoritmos, com todas as superfícies translúcidas e reflexivas que têm. É muito difícil obter capturas boas de automóveis, especialmente nesta modalidade de street 3D scan. Os resultados da Luma foram surpreendentes, visualmente parece estar tudo muito bem.

Uma análise à mesh revela problemas, as diferentes luminosidades da superfície metálica da carroçaria demonstram continuar a ser um grande obstáculo na reconstrução 3D - é o que explica todas as amolgadelas nas portas (juro que o meu carro tem algumas, mas não são tantas nem tão profundas). De qualquer forma, foi o melhor resultado que já tive a digitalizar o meu carro. E, tendo em conta que a Luma AI utiliza inteligência artificial, suspeito que estes dados sejam incorporados para melhorias incrementais aos modelos de treino.