Arte e Património 3D

Tenho andado a organizar as digitalizações e projetos 3D na minha galeria Sketchfab em coleções temáticas. A galeria Portuguese Art and Heritage colige digitalizações 3D que envolvem o nosso património cultural. Os modelos foram digitalizados em museus, locais históricos, jardins, monumentos e outras localizações onde consigo digitalizar com os meios de que disponho.

A coleção é ecĺética, inclui escultura, pintura, pormenores arquitetónicos e até imagens 360º. 

Virgem e o Menino by Artur Coelho on Sketchfab

Um exemplo recente, capturado no núcleo Palácio Pimenta do Museu de Lisboa. 

Tenho regras para este tipo de trabalho, ser cuidadoso na captura e respeitoso das normas e orientações de pessoal de sala ou seguranças é o mais fundamental. O objetivo deste projeto (informal) é o de interagir com o património, e não danificá-lo. Quanto aos vigilantes, raramente me interpelam, hoje é aceitável que os visitantes dos museus fotografem ou filmem para seu uso pessoal, e para quem não sabe o que estou a fazer, parece uma filmagem (apesar de ângulos estranhos). Os cuidados são extensivos a outros visitantes, tento não ser intrusivo. Confesso que contorno um pouco as regras em caso de proibição de recolha de imagem, de vez em quando faço umas capturas discretas em modo guerrilha. Acredito que o património deve ser divulgado.

As capturas são feitas usando várias vertentes de digitalização 3D: fotogrametria com o Meshroom, lidar com iPhone e Scaniverse, ou NeRFs com Luma AI. 

Este é um projeto em constante crescimento, podem espreitar aqui: Portuguese Art and Heritage.

CSM: Imagem para 3D

Outro dos serviços que ando a experimentar neste período de férias é o surpreendente Common Sense Machines, com os seus algoritmos de geração 3D a partir de uma imagem.  Basta fazer upload de uma imagem no site, ou via bot Discord, e o algoritmo gera uma planificação em quatro pontos de vista, utilizada para gerar um modelo 3D. 

Os resultados não são muito consistentes, tanto pode correr bem como correr mal, mas dado o recente e caráter experimental destas tecnologias, é de esperar. Por vezes, extrapolação das vistas pode não ser a mais rigorosa, a geração da mesh pode trazer más surpresas. A texturização final tem ainda muito que evoluir, as cores do modelo 3D raramente são fieis à imagem original. No entanto, a grande maioria dos resultados são muito interessantes.

CSM Monster 03 by Artur Coelho on Sketchfab

Para agilizar a experiência, optei por um ritmo que cruza diferentes ferramentas. Um LLM para gerar descrições de elementos (ando numa onda pré-halloween, notoriamente, os prompts foram bastante dark) que pudessem ser usados como prompts em geradores de imagem, usei o Bard e o Perplexity para isso. Adobe Firefly ou Clipdrop para gerar imagens, e a ferramenta de remoção de fundos do Adobe Express (o CSM requer imagens com fundo branco ou transparente para que o algoritmo funcione. 

CSMR01 by Artur Coelho on Sketchfab

Nem sempre os resultados eram fieis às imagens, e os modelos tem algumas falhas e falta de detalhes, mas isso é de esperar, esta tecnologia está neste momento a dar os primeiros passos. De qualquer forma, ao regressar à escola, vou imprimir alguns destes modelos em 3D, para perceber os resultados.

CSM Selfie by Artur Coelho on Sketchfab

A consistência do algoritmo também é estranha. Testei com fotos minhas, com resultados algo bizarros e anatomicamente aterrorizantes, até me calhar este, que me transformou numa segunda encarnação do Capitão Haddock. A ironia, é que foi usada uma foto e não um avatar ou caricatura como imagem de base. Os caminhos dos espaços latentes destes algoritmos são insondáveis.

CSM Ghost by Artur Coelho on Sketchfab

O CSM está a crescer muito depressa, e a começar a ser pago. Congeminei uma possível atividade com alunos, mas dado os limites do serviço suspeito que terei de diminuir as ambições. De qualquer forma, é uma tecnologia prometedora, e brevemente haverá mais diversidade de serviços e aplicações.

Luma AI Imagine : Texto para 3D

Consegui, finalmente, acesso à ferramenta texto para 3D da Luma AI (a vertente NeRF já uso intensamente. Fiquei surpreendido com a capacidade deste algoritmo em gerar modelos 3D de qualidade razoável, com aquela aleatoriedade que é tão deliciosa na IA Generativa.

Luma AI Savage God by Artur Coelho on Sketchfab

O primeiro modelo que gerei foi dos mais interessantes, surpreendeu a qualidade do resultado.

Luma AI Haunter by Artur Coelho on Sketchfab

Outros modelos tiveram output mais bizarro, caso desta assombração, que levou o prompt muito, mas mesmo muito à letra.

Onde os resultados foram menos satisfatórios foi ao pedir a geração de aeronaves. Depende dos dados usados para treino do algoritmo, claro, e tendo em conta que os geradores de imagem também se espalham ao comprido quando lhes pedimos aeronaves, suspeito que imagens de aviação não sejam abundantes dos dados para treino.

Luma AI Cyborg Dog by Artur Coelho on Sketchfab

Para uma tecnologia que há poucos meses era um artigo, estes resultados são espantosos. Ainda por cima, são generalistas, o algoritmo interpreta e produz qualquer tipo de objeto. Há outros serviços que se restringem a categorias de objetos, o que lhes simplifica o trabalho. O caminho agora é de afinação contínua, e suspeito que dentro de poucos meses estes resultados nos pareçam rudimentares, face à contínua evolução e afinação.

EU Codeweek Leading Teacher Awards

 Foi uma excelente surpresa, receber esta notícia. Tenho um enorme prazer em participar da EU Codeweek. Faço-o por gosto, não por prémios, mas sabe muito bem receber estas distinções. Sem hubris, apenas com um sorriso.