Workshop Captura do Real com Telemóvel, Lisboa

Dia 7 de março, no encontro de balanço sobre as aprendizagens essenciais da ANPRI, um momento hello world: o primeiro workshop de captura 3D com telemóveis para educação.

O objetivo era ambicioso, desafiar os formandos a experimentar a digitalização 3D em dispositivos móveis com a Display.land, e em seguida trabalhar a sua captura para impressão 3D combinando o Meshlab, netfabb e 3D Buiilder. Esta segunda parte acabou por funcionar mais em modo de demonstração do que em exercício prático, mas lá está. Foi a primeira vez que se fez este workshop, em parte permite perceber o que funciona e não funciona.

A parte mais divertida da sessão? Quando os formandos vieram para a rua fazer as suas primeiras experiências de fotogrametria. O espaço da escola Dom Dinis não é dos mais inspiradores para este tipo de atividades, mas alguns detalhes naturais e arquitetónicos permitiram aos formandos experimentar o processo de captura.

Outros, mais ambiciosos, optaram por tentar capturar objetos mais próximos.

E como a tecnologia permite estas coisas, deu para uma espécie de foto de grupo em 3D. O foco era a estátua, mas a captura incluiu o que estava ao seu redor, o que significa que os participantes foram apanhados ao ver-me demonstrar uma captura espiralada de um objeto.

Este workshop foi experimental, o primeiro em que este tipo de tecnologias 3D foi experimentado por professores. Algumas notas de melhoria: a app Display.land depende dos serviços AR Core da google, que não estão ativos em todos os dispositivos android. Este é um elemento problemático, quando cerca de metade dos formandos não tem possibilidade de correr a aplicação nos seus dispositivos. Por outro lado, sabemos que há investimento por detrás do desenvolvimento da app no sentido de encontrar outras formas de fotogrametria sem os dados captados pelo AR Core. Acresce a capacidade das redes wifi disponíveis, que impediu a visualização rápida dos resultados das capturas. O colocar os formandos com a mão na massa, desenvolvendo um fluxo de trabalho de processamento de modelos 3D resolve-se com uma estruturação diferente. Apesar das falhas, o workshop teve saldo positivo, especialmente quando alguns dos participantes viram as suas primeiras capturas 3D nos seus dispositivos. Foram verdadeiros pioneiros, ou, talvez mais apropriadamente, cobaias.

A faísca ficou lançada, vamos ver o que irá sair daqui.

Realidade Aumentada em Dispositivos Móveis - Notas

Há algum tempo, formandos numa formação de 3D na ANPRI perguntara,-me o que fazer para ver os modelos 3D criados nas apps usadas nesta formação em realidade aumentada. Demorei a responder, não mexo com AR há... literalmente, anos, mas a pergunta deixoue com o bichinho novamente. E como, felizmente, o meu telemóvel foi ao mergulho no baleal, aproveitei a desgraça para investigar soluções para esta questão. Deixo-vos uma lista, ainda incipiente e renovada, de apps e ideias para misturar 3D com realidade aumentada.

AR Core

Primeiro (e muito importante) pormenor: verificar se o vosso telemóvel (por extensão, dos vossos alunos) é capaz de suportar realidade aumentada: https://developers.google.com/ar/discover/supported-devices.

Não é um processo direto, não chega ser um telemóvel de topo (na lista, há alguns bastante acessíveis). Usar RA em android depende do serviço AR Core da google (https://play.google.com/store/apps/details?id=com.google.ar.core), que só se instala em modelos de telemóvel validados pela google. E mesmo que o dispositivo tenha condições para o correr, enquanto não for validado por eles, as apps não funcionam. O AR Core depende de uma conjugação de sensores e lentes para rastrear movimento, detetar o ambiente e analizar luminosidade.

Como testar se o vosso telemóvel é compatível? Na playstore, tentem instalar algumas das apps que indico a seguir. Se funcionarem a 100%, o vosso dispositivo é totalmente AR Core compatible. Se funcionarem nalgumas coisas, podem correr versões reduzidas de realidade aumentada. Se não funcionarem (e nesse caso, a playstore não vos deixa instalar), o vosso telefone não suporta RA.

Aplicações

Como sempre, o que me interessa neste tipo de apps não é o dar acesso a conteúdos já existentes, mas permitir que eu use os meus conteúdos 3D. Das do primeiro tipo, há muitas, são interessantes, mas não são ferramentas criativas.

Augment: https://play.google.com/store/apps/details?id=com.ar.augment - trabalhei com esta app há alguns anos atrás, porque era a única que permitia visualizar modelos 3D locais, sem depender de acesso à internet. Dependia de marcador. Confesso que não voltei a mexer muito com ela depois desta brincadeira, http://3dalpha.blogspot.com/2013/04/rovs-e-realidade-aumentada-kit-do-mar.html, mas continua a ser uma das app de referência para AR em android.

Sketchup Viewer: https://play.google.com/store/apps/details?id=com.trimble.buildings.ketchup - é isso mesmo, permite importar ficheiros SKP e visualizar em AR.

Metaverse: https://play.google.com/store/apps/details?id=com.gometa.metaverse - adoro quando em poucos minutos consigo passar de uma ideia difusa para uma nova aprendizagem. E com a metaverse consegui isso. Na verdade, são duas apps: a para android/iOS e uma aplicação web para authoring, metaverse studio (https://studio.gometa.io/). Não foi difícil fazer uma pequena brincadeira com 3D scanning no telemóvel e realidade aumentada nesta app: https://www.facebook.com/tic3d/videos/1819431474860556/ . O como não é muito direto. Por qualquer razão que me escapa, o authoring não aceita o elementar ficheiro zip contendo os ficheiros obj/mtl/jpg que é o standard de importação de modelos 3D. Mas permite inserir modelos 3D diretamente do Google Poly (https://poly.google.com/), o que significa que fiz upload do meu modelo 3D para o Poly, para depois o usar. Ainda não mergulhei mais a fundo nesta app, mas nela podemos produzir "experiências" com conteúdo multimédia, e criar sequências. Imaginem contar uma história com diferentes modelos 3D a fazer de cenas. Um pormenor interessante é que a Metaverse suporta diferentes tipos de Realidade Aumentada. No vídeo, é AR Core total, dá para andar à volta do modelo. Mas há mais dois modos limitados. Ah, ia-me esquecendo: é gratuita. A ver se em breve faço um tutorial sobre isto.

Sketchfab: https://play.google.com/store/apps/details?id=com.sketchfab.sketchfab - sou überfan deste serviço web de partilha de conteúdo 3D, e percebi que também faz maravilhas com AR. É incrivelmente simples. Na versão mobile, ao entrar num modelo da galeria (vosso, ou de qualquer utilizador do Sketchfab), há um pequeno ícone para visualizar em AR. Toquem nele, usem a lente para procurar uma superfície plana, e podem colocar o modelo 3D na realidade: https://www.facebook.com/artur.coelho.94/videos/10157450755846919/ . No vídeo, o pedregulho que estão a ver é um modelo criado por fotogrametria que está na minha galeria sketchfab. Ou seja, para fazerem isto com os vossos modelos, têm de criar conta no serviço, e fazer para lá upload dos ficheiros.

Outras aplicações:

3D Scanner for AR Core: https://play.google.com/store/apps/details?id=com.lvonasek.arcore3dscanner querem fazer selfies 3D? Com esta app é simples (desde que a câmara frontal tenha qualidade para isso). Também faz 3D scanning de grandes espaços, mas ainda está rudimentar nisso. Yep, foi assim que a minha cara foi parar ao metaverse.

Paint Draw AR: https://play.google.com/store/apps/details?id=com.vaytricks.PaintDrawAR - ainda um 'cadito buggy (o export obj simplesmente não funciona), mas tem piada usar o telemóvel, literalmente, como lápis de cor para desenhar em 3D.

Display.land: https://play.google.com/store/apps/details?id=com.ubiquity6.displayar - já vos falei desta app simplesmente FA-BU-LO-SA de fotogrametria para telemóvel aqui - Bit2Geek: Capturar a Realidade em 3D, por isso, não digo mais nada.

Instantes

Em TIC trabalha-se em projeto, com robots, e telemóveis. Algumas das turmas de sexto ano estiveram a aprender modelação 3D para aplicar nos seus projetos de programação de objetos tangíveis.

No clube de robótica, experimenta-se com captura do real e realidade aumentada.

Aproveitar uma visita de estudo para desafiar alunos a descobrir como se faz fotogrametria.

Programar, modelar em 3D, experimentar com realidade virtual, pintar em realidade virtual. Sempre com a liberdade para descobrir e experimentar.

Evento Final OSOS

Dia 14, no Ciência Viva, foi momento de partilhar e aprender no evento final do projeto OSOS, Open Schools for Open Societies. Deu para partilhar o nosso pequeno projeto de 3D e multimédia que partiu da estrutura do OSOS para explorar a integração de tecnologias em projetos.

Os trabalhos que levámos despertaram a atenção dos visitantes. Mas, mais do que mostrar, aprendemos, com as partilhas de projetos nacionais e internacionais das escolas envolvidas nesta iniciativa, que cruza ciência com ativismo social e comunitário.

Introdução ao 3D em Projetos Pedagógicos - Mafra

Alguns instantes da ação de formação recentemente finalizada, sobre introdução à modelação 3D em projetos pedagógicos no CFAERC. Essencialmente, uma ação de introdução, onde formandos sem experiência prévia puderam experimentar diversas formas de criar em 3D, usando computador ou dispositivos móveis.

Um desafio que, a avaliar pelos resultados, abriu a imaginação dos participantes.

Instantes

Experimentar o 3d scanning.

Aprender a programar com o Anprino na aula de TIC.

Desafiar os alunos do clube de robótica a dinamizar atividades com realidade virtual.

E porque não experimentar desenhar em realidade virtual?

Os nossos projetos 3D no clube avançar. Uma base marciana, e a escola recriada em 3D... num telemóvel.

Editar vídeo num telemóvel? E porque não?

Em TIC, explorar a interseção de robótica com história.

Outro projeto do clube em bom andamento, este jogo desenvolvido em python.

Projetos 3D dos alunos do clube.

Um regresso ao ano passado, com a impressão de modelos criados para o projeto OSOS.

Chegar ao Centro de Recursos e ver os alunos a aprender por si sós a trabalhar com Blender? Sim, aconteceu.

Ideias com espaço e robots, propostas pelos alunos. Temos de lhes dar todo o apoio.

MCE

Pois, agora também sou Microsoft Certified Educator.

Coisas que acontecem, graças aos desafios da ANPRI. E para além do teste, exigente, o momento de partilha com mais trinta formadores da ANPRI, pessoas que admiro pelas suas capacidades e vontade de partilhar. Um momento entre gigantes das TIC educativas em Portugal, e uma oportunidade para visitar o Build Brighter Futures, evento promovido pela Microsoft.

E hey, até uso ferramentas Microsoft nas minhas experiências e práticas pedagógicas. O Makecode para Microbit é um exemplo, e um dos grandes segredos das minhas aventuras de impressão 3D é o 3D Builder.

Story of Implementation: Monstrous creatures (EN-CUR-204)

Browsing the list of Europeana Learning Scenarios, I've decided to use Monstrous Creatures (EN-CUR-204) by Natalia Targa, since I felt could be adapted to an information literacy activity for portuguese 5th year students, in ICT class. Due to the differences in age of the students and themes of the class, this scenario was adapted to our specific context rather than straightforwar applied.

Catch Your Monster: An Information Literacy Activity

Our goal: with young students from Agrupamento de Escolas Venda do Pinheiro, use Europeana to foster learning about internet search techniques, use digital communication tools, and develop keyboard skills.

The challenge: let's use Europeana to catch some monsters?

The original scenario was developed as a search and discussion activiy for 19 year old students in lnaguage classes. Our students are 10 year olds, in ICT class. Therefore, the discussion part of the scenario wasn't used, and the links referred were used as a topic starter with our pupils. Furthermore, due to severe time restraints, this implementation had to be done with nine 5th year groups of 26 students, with a 50 minute class for each group.

From an information literacy point of view, using Europeana in an activity enables teachers to deeply explore ICT concepts. Since student's can't rely on search engines autocomplete and autocorrect tools, they have to pay attention to what they write in the search box. It's also a way to show students that online search does not begin and end with Google or other search engines, and that indepedent digital archives can be a powerful way to find targeted results, instead of just using blind trust in a search engine algorithm.

The main theme - monsters, was used to spark student's interest, and also explored, using brainstorming, small concept map. This was done in order for find further keywords, either in portuguese or english, that enabled broader search results.

Europeana use was demonstrated, prior to the search activity. Specifically, pupils learned how to search using single or combined keywords, and filter the results by media type, or cathegory. Information literacy wise, this was a great opportunity to teach kids about tagging information, and what using tags to describe content enable, from search  to machine learning. Also, learning about filtering search results to refine information.

Then, onwards to the task. Groups of pupils (due to materiel constraints, pairs or trios) had to search Europeana using keywords associated with the theme Monsters. From the results, they had to choose three images, and send them to the teacher, correctly referenced. However, they could not download any of the images. They had to use the class email to compose a message, correctly stating the subject of the email, and use the body to paste the direct URL for each of their chosen images. Due to time constraints, we decided not to ask them to identify each chosen image, but they had to correctly state their origin.

Using this scenario, Europeana was a tool for children to develop online search strategies, formal digital communication skills using email, and proficiency in the use of computer interfaces and keyboard writing. This might seem a rather prosaic use of Europena, but keep in mind that pupils who participated in this activiy are very young, and often struggle with the most basic computer use (either because prior to ICT class they rarely used computers, or due to being used to touch-screen mobile device interfaces, that have different interaction principles).

But, beyond and in my view far more important, using Europeana gives the students a perception of the importance of our european common heritage, by viewing and interacting with artifacts representative of different european traditions and histories.

That's essentially it, but the activity has some continuity beyond this time frame. The results chosen by the groups will be used as content for small informatiom tools literacy projects, using text processing, presentations or visual programming with children-friendly computer languages (essentially, Scratch). But that's still in the future.

Tl; DR: version:

- Adaptation of the LS Monstrous creatures (EN-CUR-204) by Natalia Targa to an information literacy activity for portuguese 5th year pupils in ICT class;
- Specific goals, information literacy: develop search techniques, understand keywords, learn to refine search, learn to use search engines, discover digital archives; identify and reference information.
- Specific goals, computer literacey: compose messages using digital communications tools; proficiency in computer interface and peripherals (keyboard, mouse).
- Outcomes: an email message per group, sharing chosen URLs, correctly referenced.