Professor Robot

Este ano, tenho uma turminha daquelas particularmente simpáticas, que adora decorar o quadro para ver a minha cara quando entro na sala. Desta vez retrataram-me como um professor-robot, o que me fez sorrir profundamente.

Claro que tinha de fazer qualquer coisa com isto. A partir da foto e com o Nano Banana no Gemini, consegui uma representação tridimensional colorida do meu ar robótico.

Ca4bee35425d351a11af841be9d8276e by Artur Coelho on Sketchfab

Ainda aproveitando as capacidades do Nano Banana, gerei quatro pontos de vista para aplicar no Hunyuan e gerar um modelo 3D. Ficou um avatar catita, não ficou?

Do Objeto ao Objeto

 

Uma experiência para iniciar o ano: usar o Hunyuan para gerar modelos 3D a partir de fotos, e imprimir, após processsamento do modelo. Os resultados são interessantes, embora não totalmente fieis aos originais.

Demonstração 3D Generativo

Criaturas fofinhas? Estarei a adoecer? Bem, na verdade foi uma forma mais simpática (há que pensar nos participantes, que não partilham dos meus gostos) de introduzir o potencial da criação 3D assistida por IA Generativa. 

Deu para tirar coelhos, não da cartola, mas da impressora 3D. A ideia era demonstrar um processo de criação assistida, em que um chatbot (usei o Bard) ajuda a afinar prompts para geração de imagem ou modelos 3D. A geração texto para 3D pode ser feita diretamente no Luma AI Imagine, e a Common Sense Machines permite geração 3D a partir de imagem (no caso, optei pelo Clipdrop para gerar as imagens para os modelos 3D).

O objetivo não era o de mostrar que é fácil criar 3D com Inteligência Artificial, mas sim perceber como usar estas ferramentas para acelerar os nossos processos criativos. Gerar a partir de prompts básicos e ficar-se pelos resultados iniciais é intelecutalmente desonesto e culturalmente estéril. O real poder destas ferramentas não está naquilo que geram per se, mas na forma como as podemos incorporar nos nossos processos criativos.

Esta demonstração decorreu como parte do evento de encerramento do concurso 3Digital 2023, onde alguns dos alunos participantes mostraram os seus excelentes projetos. Como parte do programa, dinamizei esta amostra de IA Generativa, e o comparsa Ricardo Carvalho ensinou-nos a criar chatbots com IA. 

O evento fez parte da Festa do Software Livre, que decorreu entre os dias 15 e 17 de setembro na Universidade de Aveiro.

 

Arte e Património 3D

Tenho andado a organizar as digitalizações e projetos 3D na minha galeria Sketchfab em coleções temáticas. A galeria Portuguese Art and Heritage colige digitalizações 3D que envolvem o nosso património cultural. Os modelos foram digitalizados em museus, locais históricos, jardins, monumentos e outras localizações onde consigo digitalizar com os meios de que disponho.

A coleção é ecĺética, inclui escultura, pintura, pormenores arquitetónicos e até imagens 360º. 

Virgem e o Menino by Artur Coelho on Sketchfab

Um exemplo recente, capturado no núcleo Palácio Pimenta do Museu de Lisboa. 

Tenho regras para este tipo de trabalho, ser cuidadoso na captura e respeitoso das normas e orientações de pessoal de sala ou seguranças é o mais fundamental. O objetivo deste projeto (informal) é o de interagir com o património, e não danificá-lo. Quanto aos vigilantes, raramente me interpelam, hoje é aceitável que os visitantes dos museus fotografem ou filmem para seu uso pessoal, e para quem não sabe o que estou a fazer, parece uma filmagem (apesar de ângulos estranhos). Os cuidados são extensivos a outros visitantes, tento não ser intrusivo. Confesso que contorno um pouco as regras em caso de proibição de recolha de imagem, de vez em quando faço umas capturas discretas em modo guerrilha. Acredito que o património deve ser divulgado.

As capturas são feitas usando várias vertentes de digitalização 3D: fotogrametria com o Meshroom, lidar com iPhone e Scaniverse, ou NeRFs com Luma AI. 

Este é um projeto em constante crescimento, podem espreitar aqui: Portuguese Art and Heritage.

CSM: Imagem para 3D

Outro dos serviços que ando a experimentar neste período de férias é o surpreendente Common Sense Machines, com os seus algoritmos de geração 3D a partir de uma imagem.  Basta fazer upload de uma imagem no site, ou via bot Discord, e o algoritmo gera uma planificação em quatro pontos de vista, utilizada para gerar um modelo 3D. 

Os resultados não são muito consistentes, tanto pode correr bem como correr mal, mas dado o recente e caráter experimental destas tecnologias, é de esperar. Por vezes, extrapolação das vistas pode não ser a mais rigorosa, a geração da mesh pode trazer más surpresas. A texturização final tem ainda muito que evoluir, as cores do modelo 3D raramente são fieis à imagem original. No entanto, a grande maioria dos resultados são muito interessantes.

CSM Monster 03 by Artur Coelho on Sketchfab

Para agilizar a experiência, optei por um ritmo que cruza diferentes ferramentas. Um LLM para gerar descrições de elementos (ando numa onda pré-halloween, notoriamente, os prompts foram bastante dark) que pudessem ser usados como prompts em geradores de imagem, usei o Bard e o Perplexity para isso. Adobe Firefly ou Clipdrop para gerar imagens, e a ferramenta de remoção de fundos do Adobe Express (o CSM requer imagens com fundo branco ou transparente para que o algoritmo funcione. 

CSMR01 by Artur Coelho on Sketchfab

Nem sempre os resultados eram fieis às imagens, e os modelos tem algumas falhas e falta de detalhes, mas isso é de esperar, esta tecnologia está neste momento a dar os primeiros passos. De qualquer forma, ao regressar à escola, vou imprimir alguns destes modelos em 3D, para perceber os resultados.

CSM Selfie by Artur Coelho on Sketchfab

A consistência do algoritmo também é estranha. Testei com fotos minhas, com resultados algo bizarros e anatomicamente aterrorizantes, até me calhar este, que me transformou numa segunda encarnação do Capitão Haddock. A ironia, é que foi usada uma foto e não um avatar ou caricatura como imagem de base. Os caminhos dos espaços latentes destes algoritmos são insondáveis.

CSM Ghost by Artur Coelho on Sketchfab

O CSM está a crescer muito depressa, e a começar a ser pago. Congeminei uma possível atividade com alunos, mas dado os limites do serviço suspeito que terei de diminuir as ambições. De qualquer forma, é uma tecnologia prometedora, e brevemente haverá mais diversidade de serviços e aplicações.

Computational Thinking in 3D Modeling and Printing

Dia 27 de janeiro, pude partilhar algumas ideias sobre o uso de modelação 3D como atividade de estímulo ao desenvolvimento de competências de pensamento computacional. Fica aqui o registo da sessão no Fab Educators Summit.

Instantes

 

A integrar a programação criativa em Python com os imagiCharms na disciplina de TIC.

As mais novas do clube de robótica, cada vez mais a dar cartas.

A experimentar o Womp3D.

Luma AI

WV Polo by Artur Coelho on Sketchfab

Tenho estado a experimentar a Luma AI, uma app/serviço web que tira partido da tecnologia NeRF para gerar digitalizações 3D usando inteligência artificial para reconstruir os modelos a partir da captura. Essencialmente, um algoritmo extrai informação de uma captura vídeo, construindo um modelo de treino que irá gerar um modelo 3D. Uma tecnologia muito prometedora, com resultados muito interessantes.

Entre outras capturas, testei-o com o meu carro. Como qualquer um que se dedique à digitalização 3D com fotogrametria e Lidar, os carros são o pesadelo dos algoritmos, com todas as superfícies translúcidas e reflexivas que têm. É muito difícil obter capturas boas de automóveis, especialmente nesta modalidade de street 3D scan. Os resultados da Luma foram surpreendentes, visualmente parece estar tudo muito bem.

Uma análise à mesh revela problemas, as diferentes luminosidades da superfície metálica da carroçaria demonstram continuar a ser um grande obstáculo na reconstrução 3D - é o que explica todas as amolgadelas nas portas (juro que o meu carro tem algumas, mas não são tantas nem tão profundas). De qualquer forma, foi o melhor resultado que já tive a digitalizar o meu carro. E, tendo em conta que a Luma AI utiliza inteligência artificial, suspeito que estes dados sejam incorporados para melhorias incrementais aos modelos de treino. 

Workshops 3D Robótica para Todos

Dia 4 de novembro, o desafio foi desenvolver sessões de introdução à modelação 3D, numa atividade de parceria entre a ANPRI e a câmara municipal de Torres Vedras, no seu projeto Robótica para Todos. 

As sessões decorreram com uma turma de décimo ano de gestão da ESCO, escola profissional, e alunos do clube de robótica da Escola de S. Gonçalo. 

Dado o público, a opção foi pela introdução a formas mais avançadas de modelação do que as possibilitadas pela modelação por primitivos, e a sessão introduziu os alunos à modelação por CAD/Subdivisão de Superfícies usando o Sketchup.

 

Workshop 3D @ FTE Lab

 

O desafio partiu do Professor João Piedade, dinamizar uma sessão sobre 3D para os alunos da pós-graduação em Programação e Robótica no Ensino Básico. Um curso de que também já fui aluno, e me permitiu dar o salto para áreas criativas com algoritmos e robots. Uma aula mista, com um grupo presencial e outros online, dispersos por Portugal e Angola. Isto hoje já é banal, mas não cesso de me maravilhar com esta capacidade que a internet tem de derrubar barreiras temporais e geográficas.

Numa sessão de três horas, falou-se e experimentou-se sobre modelação e impressão 3D, truques de impressão, algumas técnicas mais avançadas, o potencial da fotogrametria, e a ligação entre criar em 3d e pensamento computacional. Sempre, espero, com o foco no potencial pedagógico, nas suas múltiplas possibilidades em sala de aula.

Instantes

 Colaborar num projeto do Lab Aberto, e 3D na sala de aula.

ACD Impressão 3D

 

Num desafio do Centro de Formação da Associação de Escolas do Alentejo Litoral, uma ACD online dividida em duas partes: introdução à modelação 3D, e introdução à impressão 3D. Inscrições aqui: CFAEAL.

Workshop Introdução à Modelação e Impressão 3D

Por desafio do Paulo Torcato, rumámos à Escola Secundária de Sacavém para dinamizar um workshop de 3D para alunos e docentes em Erasmus. Um grupo que incluía alunos turcos, croatas, portugueses e estónios, o que deu o prazer adicional de colocar a trabalhar com a 3DC.io, desenvolvida na Estónia.

Não sendo a melhor solução para modelação 3D complexa, o 3DC.io tem a enorme vantagem de funcionar em dispositivos móveis, tornando a criatividade digital muito acessível.

A sessão concluiu com a impressão 3D de algumas das peças modeladas. Foi necessário fazer alguns ajustes à impressora 3D da escola que nos acolheu, que devido à pandemia, tem estado parada. Nada que umas afinações não resolvessem.

Workshop LCD 3D @EB1VP

Um workshop diferente. Por ser "em casa", com uma turma de 2º ano da EB1 da Venda do Pinheiro, mas essencialmente por ter partido da vontade e dinamismo de um dos alunos do clube de robótica. Já há alguns anos que este aluno queria dinamizar atividades com os novos alunos da sua antiga professora do primeiro ciclo. As fases iniciais da pandemia colocaram um travão nessa ideia, mas o ambiente mais seguro (todos os intervenientes, exceto as crianças de 2º ano, são vacinados e tomam os devidos cuidados) deste ano levou a que, finalmente, se desenrolasse a iniciativa.

Toda a sessão esteve a cargo do aluno do Clube de Robótica, que mostrou, partilhou e ensinou os seus colegas mais pequenos a modelar em 3D. Usando os nossos tablets, os alunos criaram um pequeno modelo, que agora iremos imprimir para lhes dar. Escolhemos a aplicação 3DC.io, pela sua simplicidade de uso.

É bom ver que o papel do professor, aqui, foi o de... acartar com os materiais da escola-sede para a EB1. Tudo o resto, foi dinamizado pelo aluno, que diga-se, é um excelente professor. Suspeito que tenhamos de repetir este tipo de sessões.

Workshop 3D IV CNPI

 

Já se sentia a falta. Ontem, finalmente, iniciou-se o regresso às sessões presenciais com uma sessão sobre 3D. E, já que estamos a recomeçar e o grupo necessariamente pequeno, para manter as regras de segurança pandémica, a tentar fazer algo mais diferente. Em vez de workshop programado com algo específico, algo mais aberto, construído informalmente a partir das necessidades expressas pelo grupo.

Na pequena demonstração da tangibilização do 3D, não resisti a demonstrar o Espantoso Espantador de Crianças (E Adultos Também), porque é mais um exemplo de como o 3D se integra em projetos interdisciplinares, mesmo que sejam uma piada para despertar a atenção dos alunos pequenos.

O workshop decorreu na ES D. Dinis, como parte das atividades do IV Congresso Nacional de Professores de Informática dinamizado pela ANPRI.

Isso explica o regresso ao Tinkercad, uma plataforma sobre a qual já perdi o interesse. Pessoalmente, prefiro as plataformas para dispositivos móveis (3DC e Onshape) ou a flexibilidade artística do Sketchup. E os formandos também as descobriram, bem como o mundo da partilha de recursos do Sketchfab ao Scan the World. Mas, para iniciação, regressa-se ao Tinkercad para dar os primeiros passos na modelação. E, pelo caminho, perceber qual a relação entre a modelação 3D e o pensamento computacional.

Já fazia falta. Estes tempos de pandemia trouxeram a proximidade do digital, e espero que isso fique, há tanta coisa que faz mais sentido à distância ou em contextos mistos. A tradicional formação pós-laboral, por exemplo, beneficia imenso com o online, faz pouco ou nenhum sentido passar três horas mais o tempo de deslocação para o local para este tipo de formação. Mas o online per se não é o suficiente, e especialmente nota-se isso em sessões tipo workshop. Online, não passam de longas palestras em que o formador fala, mostra, demonstra, e os participantes assistem. Presencialmente, podem ser momentos de partilha mútua e interativa, mais do que um percurso fechado de aprendizagem. Ontem, passámos do telemóvel a dicas de configuração de impressão 3D. Informalmente, dialogando. Pessoalmente, estava a fazer-me falta.

Projetos de TIC - 3D

Este ano, os projetos finais de TIC foram em modo livre. Os alunos podiam escolher temas e tecnologias ao seu gosto, dentro das abordadas na disciplina. Desafio adicional: desenvolver o seu projeto individual usando tecnologias móveis. Partilhamos aqui os melhores projetos 3D, criados com a app 3DC.io:

TIC_5_2021 by aevp on Sketchfab

Projeto de 5.º ano.

TIC6_2021 by aevp on Sketchfab

Projetos de 6.º ano.

Workshop Fab Experience: Introdução ao 3D

 

Intensivo, a cobrir estas tecnologias da modelação à impressão, passando por recursos, várias ferramentas, dicas e truques. Integrado na Fab Experience do Lab Aberto Fablab. Dia 4 de junho, a partir do makerspace do Centro de Recursos Poeta José Fanha.

Valha-me um telemóvel semi-avariado que é imensamente útil enquanto câmara. Sou totalmente voluntário nestes workshops, o meu eventual rendimento reverte para auxiliar as despesas da Associação Lab Aberto Fablab.

Instantes

 

O que é que temos feito nas aulas de TIC? Regressando ao ensino presencial, aproveitamos para finalizar aprendizagens de processamento de texto e edição de folhas de cálculo, usando dispositivos móveis.

Apesar dos confinamentos, as nossas impressoras 3D não têm tido descanso. Após a impressão dos projetos dos alunos de 5º ano em E@D, estamos agora a imprimir projetos de alunos que, livremente, nos enviam pedindo a impressão. Muitos estão ligados com atividades de História, outros, com Educação Visual.