Demonstração 3D Generativo

Criaturas fofinhas? Estarei a adoecer? Bem, na verdade foi uma forma mais simpática (há que pensar nos participantes, que não partilham dos meus gostos) de introduzir o potencial da criação 3D assistida por IA Generativa. 

Deu para tirar coelhos, não da cartola, mas da impressora 3D. A ideia era demonstrar um processo de criação assistida, em que um chatbot (usei o Bard) ajuda a afinar prompts para geração de imagem ou modelos 3D. A geração texto para 3D pode ser feita diretamente no Luma AI Imagine, e a Common Sense Machines permite geração 3D a partir de imagem (no caso, optei pelo Clipdrop para gerar as imagens para os modelos 3D).

O objetivo não era o de mostrar que é fácil criar 3D com Inteligência Artificial, mas sim perceber como usar estas ferramentas para acelerar os nossos processos criativos. Gerar a partir de prompts básicos e ficar-se pelos resultados iniciais é intelecutalmente desonesto e culturalmente estéril. O real poder destas ferramentas não está naquilo que geram per se, mas na forma como as podemos incorporar nos nossos processos criativos.

Esta demonstração decorreu como parte do evento de encerramento do concurso 3Digital 2023, onde alguns dos alunos participantes mostraram os seus excelentes projetos. Como parte do programa, dinamizei esta amostra de IA Generativa, e o comparsa Ricardo Carvalho ensinou-nos a criar chatbots com IA. 

O evento fez parte da Festa do Software Livre, que decorreu entre os dias 15 e 17 de setembro na Universidade de Aveiro.

 

CSM: Imagem para 3D

Outro dos serviços que ando a experimentar neste período de férias é o surpreendente Common Sense Machines, com os seus algoritmos de geração 3D a partir de uma imagem.  Basta fazer upload de uma imagem no site, ou via bot Discord, e o algoritmo gera uma planificação em quatro pontos de vista, utilizada para gerar um modelo 3D. 

Os resultados não são muito consistentes, tanto pode correr bem como correr mal, mas dado o recente e caráter experimental destas tecnologias, é de esperar. Por vezes, extrapolação das vistas pode não ser a mais rigorosa, a geração da mesh pode trazer más surpresas. A texturização final tem ainda muito que evoluir, as cores do modelo 3D raramente são fieis à imagem original. No entanto, a grande maioria dos resultados são muito interessantes.

CSM Monster 03 by Artur Coelho on Sketchfab

Para agilizar a experiência, optei por um ritmo que cruza diferentes ferramentas. Um LLM para gerar descrições de elementos (ando numa onda pré-halloween, notoriamente, os prompts foram bastante dark) que pudessem ser usados como prompts em geradores de imagem, usei o Bard e o Perplexity para isso. Adobe Firefly ou Clipdrop para gerar imagens, e a ferramenta de remoção de fundos do Adobe Express (o CSM requer imagens com fundo branco ou transparente para que o algoritmo funcione. 

CSMR01 by Artur Coelho on Sketchfab

Nem sempre os resultados eram fieis às imagens, e os modelos tem algumas falhas e falta de detalhes, mas isso é de esperar, esta tecnologia está neste momento a dar os primeiros passos. De qualquer forma, ao regressar à escola, vou imprimir alguns destes modelos em 3D, para perceber os resultados.

CSM Selfie by Artur Coelho on Sketchfab

A consistência do algoritmo também é estranha. Testei com fotos minhas, com resultados algo bizarros e anatomicamente aterrorizantes, até me calhar este, que me transformou numa segunda encarnação do Capitão Haddock. A ironia, é que foi usada uma foto e não um avatar ou caricatura como imagem de base. Os caminhos dos espaços latentes destes algoritmos são insondáveis.

CSM Ghost by Artur Coelho on Sketchfab

O CSM está a crescer muito depressa, e a começar a ser pago. Congeminei uma possível atividade com alunos, mas dado os limites do serviço suspeito que terei de diminuir as ambições. De qualquer forma, é uma tecnologia prometedora, e brevemente haverá mais diversidade de serviços e aplicações.