ACD-6: Realidade Aumentada

Momentos da ACD CFAERC sobre realidade aumentada no telemóvel, que após algumas remarcações decorreu no dia 7 de maio. Uma sessão que tinha de ser presencial, para que se compreenda o potencial e o divertido, desta tecnologia. 

Sessão dividida em duas partes, uma de exploração de algumas apps de visualização de conteúdos em realidade aumentada, e outra de criação de conteúdos de realidade aumentada usando o telemóvel.

ACD-6: Introdução à Realidade Aumentada

Descobrir aplicações de Realidade Aumentada e criar uma pequena experiência AR é o desafio deste workshop, que cruzará o computador com dispositivos móveis. Aberto a todos os interessados, em parceria com o CFAERC, irá decorrer no espaço do Centro de Recursos Poeta José Venha, Agrupamento de Escolas Venda do Pinheiro. Inscrições aqui: CFAERC Plano de Formação.

ACD 6: Contar Histórias com Realidade Aumentada

 

Contar Histórias com Realidade Aumentada

Duração: 3 horas

Destinatários: Docentes de todos os grupos de recrutamento.

Formador(a): Artur Coelho

Data: 6/03/2021

Horário: 10-13 horas

Local da formação: Agrupamento de Escolas Venda do Pinheiro - Centro de Recursos/Online

Conteúdos

• Introdução à Realidade Aumentada;
• Criar narrativas digitais;
• Criar uma aplicação em Realidade Aumentada para dispositivos móveis.

Objetivos

• Descobrir o potencial pedagógico de Realidade Aumentada em dispositivos móveis;
• Incentivar conceitos de pensamento computacional;
• Partilha de experiências.

Observações

Requer acesso Web para aceder a: https://studio.gometa.io/  e instalação da app Metaverse no dispositivo móvel.

Esta atividade insere-se no âmbito da EU Codeweek 2020, é desenvolvida em parceria com o Centro de Recursos Poeta José Fanha.Será desenvolvida com equipamentos do AE Venda do Pinheiro. Sugere-se que os participantes tragam tablet.

Inscrições: CFAERC - Ficha de Inscrição 2020/2021.

Instantes

Finalizemos o ano letivo.

Aproveitar a época de reuniões para experimentar com realidade aumentada.

Às voltas com fotogrametria e realidade aumentada. E, claro, Anprinos.

Vai dar trabalho a montar, mas vai sair daqui um robot desenhador, programado mecanicamente.

Finalizar formações e dar workshops em tempos de pandemia. Há que dar a volta.

Realidade Aumentada em Dispositivos Móveis - Notas

Há algum tempo, formandos numa formação de 3D na ANPRI perguntara,-me o que fazer para ver os modelos 3D criados nas apps usadas nesta formação em realidade aumentada. Demorei a responder, não mexo com AR há... literalmente, anos, mas a pergunta deixoue com o bichinho novamente. E como, felizmente, o meu telemóvel foi ao mergulho no baleal, aproveitei a desgraça para investigar soluções para esta questão. Deixo-vos uma lista, ainda incipiente e renovada, de apps e ideias para misturar 3D com realidade aumentada.

AR Core

Primeiro (e muito importante) pormenor: verificar se o vosso telemóvel (por extensão, dos vossos alunos) é capaz de suportar realidade aumentada: https://developers.google.com/ar/discover/supported-devices.

Não é um processo direto, não chega ser um telemóvel de topo (na lista, há alguns bastante acessíveis). Usar RA em android depende do serviço AR Core da google (https://play.google.com/store/apps/details?id=com.google.ar.core), que só se instala em modelos de telemóvel validados pela google. E mesmo que o dispositivo tenha condições para o correr, enquanto não for validado por eles, as apps não funcionam. O AR Core depende de uma conjugação de sensores e lentes para rastrear movimento, detetar o ambiente e analizar luminosidade.

Como testar se o vosso telemóvel é compatível? Na playstore, tentem instalar algumas das apps que indico a seguir. Se funcionarem a 100%, o vosso dispositivo é totalmente AR Core compatible. Se funcionarem nalgumas coisas, podem correr versões reduzidas de realidade aumentada. Se não funcionarem (e nesse caso, a playstore não vos deixa instalar), o vosso telefone não suporta RA.

Aplicações

Como sempre, o que me interessa neste tipo de apps não é o dar acesso a conteúdos já existentes, mas permitir que eu use os meus conteúdos 3D. Das do primeiro tipo, há muitas, são interessantes, mas não são ferramentas criativas.

Augment: https://play.google.com/store/apps/details?id=com.ar.augment - trabalhei com esta app há alguns anos atrás, porque era a única que permitia visualizar modelos 3D locais, sem depender de acesso à internet. Dependia de marcador. Confesso que não voltei a mexer muito com ela depois desta brincadeira, http://3dalpha.blogspot.com/2013/04/rovs-e-realidade-aumentada-kit-do-mar.html, mas continua a ser uma das app de referência para AR em android.

Sketchup Viewer: https://play.google.com/store/apps/details?id=com.trimble.buildings.ketchup - é isso mesmo, permite importar ficheiros SKP e visualizar em AR.

Metaverse: https://play.google.com/store/apps/details?id=com.gometa.metaverse - adoro quando em poucos minutos consigo passar de uma ideia difusa para uma nova aprendizagem. E com a metaverse consegui isso. Na verdade, são duas apps: a para android/iOS e uma aplicação web para authoring, metaverse studio (https://studio.gometa.io/). Não foi difícil fazer uma pequena brincadeira com 3D scanning no telemóvel e realidade aumentada nesta app: https://www.facebook.com/tic3d/videos/1819431474860556/ . O como não é muito direto. Por qualquer razão que me escapa, o authoring não aceita o elementar ficheiro zip contendo os ficheiros obj/mtl/jpg que é o standard de importação de modelos 3D. Mas permite inserir modelos 3D diretamente do Google Poly (https://poly.google.com/), o que significa que fiz upload do meu modelo 3D para o Poly, para depois o usar. Ainda não mergulhei mais a fundo nesta app, mas nela podemos produzir "experiências" com conteúdo multimédia, e criar sequências. Imaginem contar uma história com diferentes modelos 3D a fazer de cenas. Um pormenor interessante é que a Metaverse suporta diferentes tipos de Realidade Aumentada. No vídeo, é AR Core total, dá para andar à volta do modelo. Mas há mais dois modos limitados. Ah, ia-me esquecendo: é gratuita. A ver se em breve faço um tutorial sobre isto.

Sketchfab: https://play.google.com/store/apps/details?id=com.sketchfab.sketchfab - sou überfan deste serviço web de partilha de conteúdo 3D, e percebi que também faz maravilhas com AR. É incrivelmente simples. Na versão mobile, ao entrar num modelo da galeria (vosso, ou de qualquer utilizador do Sketchfab), há um pequeno ícone para visualizar em AR. Toquem nele, usem a lente para procurar uma superfície plana, e podem colocar o modelo 3D na realidade: https://www.facebook.com/artur.coelho.94/videos/10157450755846919/ . No vídeo, o pedregulho que estão a ver é um modelo criado por fotogrametria que está na minha galeria sketchfab. Ou seja, para fazerem isto com os vossos modelos, têm de criar conta no serviço, e fazer para lá upload dos ficheiros.

Outras aplicações:

3D Scanner for AR Core: https://play.google.com/store/apps/details?id=com.lvonasek.arcore3dscanner querem fazer selfies 3D? Com esta app é simples (desde que a câmara frontal tenha qualidade para isso). Também faz 3D scanning de grandes espaços, mas ainda está rudimentar nisso. Yep, foi assim que a minha cara foi parar ao metaverse.

Paint Draw AR: https://play.google.com/store/apps/details?id=com.vaytricks.PaintDrawAR - ainda um 'cadito buggy (o export obj simplesmente não funciona), mas tem piada usar o telemóvel, literalmente, como lápis de cor para desenhar em 3D.

Display.land: https://play.google.com/store/apps/details?id=com.ubiquity6.displayar - já vos falei desta app simplesmente FA-BU-LO-SA de fotogrametria para telemóvel aqui - Bit2Geek: Capturar a Realidade em 3D, por isso, não digo mais nada.

Ping

Não um post em si, mais um listar cenas a fazer no meio de uma altura do ano que apesar de ter fama de ser leve e pouco trabalhosa, está a ser cheia de iniciativas, desafios, eventos e reuniões. Aqui por estes lados sente-se mesmo a necessidade de férias. Entre cansaço, responsabilidades e desafios, não tem havido tempo (ou capacidade mental) para posts que mantenham esta crónica das aventuras do 3D no mundo da educação. Estão a aguardar tempo para serem devidamente escritos, ficam aqui em resumo:

- Tive uma experiência fantástica a reparar um problema de entupimento na BEEINSCHOOL, com apoio técnico via Skype. Aprendi imenso, perdi medos, e notem, a ajuda simpática e impecável do pessoal da Bee aliada ao excelente design da impressora possibilitou que alguém como eu, claramente não techie, intervisse na impressora sem avarias nem parafusos a sobrar.

- O fim de semana passado foi algo alucinante, com mergulho no festival Sci-Fi Lx. Dois dias intensos com um workshop de impressão 3D e demonstrações contínuas no espaço do pavilhão principal do Instituto Superior Técnico. Na verdade, mais do que dois dias. Quando se colabora na organização, há que montar antes e desmontar depois. Como foram cedidos pela nossa escola computadores para apoio ao festival, digamos que ganhei músculo a calcorrear escada acima escada abaixo com torres de PCs e monitores debaixo do braço. Valeu a pena, e soube bem ouvir um dos organizadores observar que eu não te conhecia, só me diziam que eras o do 3D, mas a ajuda que deste foi above and beyond. Claro que percebi a referência a uma série clássica de FC militarista que passou na televisão nos anos 90!

- Depois de um fim de semana pesado, atingir o chão a correr... a maratona. A nossa escola iniciou o processo de obras de requalificação, ampliando a capacidade de resposta à comunidade e trazendo alguns desafios específicos para as TIC em 3D (a começar pelo acompanhamento possível e manutenção do funcionamento do sistema informático com as obras a decorrer). Custou ter de encaixotar as impressoras e parar as actividades, mas quando andam obreiros de maça em punho a mandar paredes abaixo, há que proteger o material.

- Por agora estamos imersos no congresso/formação Estimulo à Melhoria das Aprendizagens - (21st Century Classrooms), a decorrer no espaço da Fundação Gulbenkian. Notas rápidas: a sessão com Teresa Vandeirinho a mostrar possibilidades de reorganização espacial de uma sala de aula para a tornar mais propícia a novas formas de aprender e trabalhar (tenho a intuição que uma sala makerspace seria perfeita para nós, mas o sistema de ensino não se resume às TIC e outras disciplinas requerem metodologias próprias); perceber que os ecrãs ActivStudio têm o problema de sempre, aquela desadequação da superfície de toque ao interface do Windows, mas descobrir, grelhando o techie da Promethean que lá estava, que o ecrã tem um sistema operativo Android. Ou seja, se não lhe ligarmos um PC, está ali um tablet gigante; ficar espantado com a dinâmica do Agrupamento de Escolas de Atouguia da Baleia, e kudos pelo desafio awesome dos alunos em modelar o património local no Minecraft para imprimir em 3D (apesar de sentir que têm de aprender algumas coisas sobre modelação e impressão 3D para melhorar este aspecto do seu trabalho, o simples extrair mesh do Mineways e imprimir não assegura os melhores resultados); e, finalmente, ter frequentado um workshop de impressão 3D leccionado pela entusiástica CEO da BEEVERYCREATIVE. Aprendi coisas novas, e ajudou a perceber que estratégias de formação podem ser utilizadas. Esta área é nova, e aqueles que estão a desenvolver este tipo de iniciativas estão, de forma literal, a desbravar novos terrenos de aprendizagem. Não é fácil perceber como construir um workshop ou formação sobre impressão 3D quando não se tem referentes prévios de como agir. Pessoalmente, aprendo imenso a cada workshop TIC em 3D.

- O jogo Pokémon Go! explodiu na cultura popular e estamos a experimentá-lo. Para um projecto como o nosso, que explora várias vertentes do 3D, este jogo é fascinante pelas suas características tecnológicas de realidade aumentada geolocalizada. Ficámos espantados pela precisão dos mapas. Recorda um velho projecto nosso, daqueles que ainda não desistimos de desenvolver: narrativas em realidade aumentada utilizando personagens em 3D modeladas pelos nossos alunos. Quando andávamos a experimentar apps de AR, não conseguimos dar a volta ao Aurasma para introduzir conteúdo 3D. Será que agora já se consegue?

- Por falar em projectos... ainda não colocámos online os trabalhos dos alunos do 2º. semestre. Não está esquecido.

Realidade Aumentada nas TIC

Realidade Aumentada nas TIC

Comunicação apresentada na conferência Investigação, Práticas e Contextos em Educação 2013, ESECS-IPL. Apresentamos actividades experimentais utilizando aplicações de realidade aumentada integradas em processos de trabalho em TIC ou interdisciplinares.


Slide 1: Espero não vos desiludir. Coloco nesta apresentação um título bombástico e se calhar estão à espera que algo de fenomenal salte do ecrã. Mas não. Este trabalho é um ponto de partida, um primeiro passo de um caminho do qual não faço ainda ideia das possíveis ramificações mas que sinto ter potencial pedagógico. É uma resposta em busca de pergunta. Saliento que este género de actividades se insere numa vertente muito própria de ensino com TIC que é influenciado pelo meu percurso artístico pessoal, rede de contactos com pessoas ligadas às indústrias criativas e gosto pelo estímulo da criatividade dos alunos. É o meu percurso das TIC na educação, que defendo e cujos resultados me surpreendem constantemente, mas que não tenho a veleidade de defender como o percurso a seguir, o mais correcto ou eficaz. Cada um de nós tem as suas experiências, vivências e áreas de interesse. É importante haver diversidade na oferta de experiências de aprendizagem.

Slide 2: Para contextualizar a realidade aumentda começo por mostrar dois pólos opostos. Não são aplicações puras de AR per se. Num, na imagem que se assemelha a um instrumento de tortura medieval, vemos o sistema Damocles de Ivan Sutherland, um dos primeiros sistemas de realidade virtual imersiva. Sutherland é um nome que merece ser mais falado quando falamos da história da computação. Normalmente falamos de Turing, Englelbart, Kay, ou Vannevar Bush, mas esquecemos que Sutherland é o responsável pelo Sketchad, o primeiro sistema de desenho assistido por computador. Foi percursor da realidade virtual imersiva e o criador da primeira digitalização de um objecto físico para 3D através de um projecto muito insano onde com ajuda dos seus estudantes pintou o carro da mulher com um padrão triângulos para mapear os vértices no espaço virtual tridimensional, recriando digitalmente o veículo. A esses padrões de triângulos que definem superfícies chamamos hoje de malhas poligonais (mesh em inglês) e são a base do 3D. Sistemas como o Damocles permitem ao utilizador interagir em realidade virtual, abstraído do mundo real. Mas imaginem andar pela rua com um disposivito destes na cabeça. Seria talvez perigoso para os restantes peões... 60 anos depois, No pólo oposto, o hype contemporâneo do Glass, os óculos que Sergei Brin com aquele seu ar we are borg you will be assimilated pretende que venham a substuir os ecrãs com que mediamos a experiência da vida digital. Os sistemas de realidade virtual isolam-nos da realidade. Sistemas como o Glass sobrepõem à realidade física um ecrã virtual. Viver numa realidade mediada por ecrãs é um facto comum hoje. A realidade aumentada adapta a informação ao contexto do espaço real visível através do ecrã do computador, telemóvel ou tablet. (Quando aos glass, não resistam. Recordam-se de quando surgiram os telemóveis e todos refilavam com aqueles trambolhos? Com o Glass vai ser o mesmo. Primeiro estranham, depois todos entranham).

Slide 3: Mas eu sou professor. A realidade virtual imersiva é muito divertida e o Glass um futuro que aguardo ansiosamente, mas como posso tirar partido da realidade aumentada disso com os meus alunos? Há diversos sistemas que tiram partido da Realidade Aumentada para potenciar situações de aprendizagem, especialmente técnicas ou procedimentais. Normalmente são dependentes de deselegantes óculos de AR, wearable computers ou computadores. Mas… imaginem uma forma de aprender em que os alunos apontam a câmara dos seus telemóveis ou tablets para o espaço que os rodeia. No ecrã, como por magia, surgem informações em texto, imagens, vídeos e modelos em 3D contextualizados sobrepostos ao espaço real. Imagine passear por Belém, apontar o telemóvel e ver no ecrã reconstruções virtuais do Mosteiro dos Jerónimos destacando pormenores que escapam ao olhar. Imagine ler um livro e, através do tablet, ver os personagens da história animados em 3D. Imagine apontar para o céu e no ecrã do seu dispositivo surge um mapa astronómico que se atualiza a partir da posição do dispositivo. Estas tecnologias já estão disponíveis, hoje. No entanto, boa parte das aplicações de AR estão pensadas para computador. Olhemos para os livros aumentados. Será viável ler um livro utilizando a câmara do computador para ver para além das palavras? Ou carregar com  um computador enquanto percorro as ruas de uma cidade para ter acesso a informação georeferenciada?

Slide 4: A disponibilidade de dispositivos móveis ligados em rede com capacidades gráficas e computacionais crescentes e câmara integrada permitiu uma pequena explosão das aplicações de realidade aumentada. Uma pesquisa aos repositórios de apps mostra-nos uma diversidade crescente de aplicações, categorizáveis em browsers (sobrepõem diversos tipos de informação geolocalizada ou por marcador), jogos, apps específicas para publicidade ou aplicações de visualização 3D, com uso no e-commerce e visualização arquitectónica. Num exemplo possível, uma aplicação para ios permite aos arquitectos visualizar no terreno o aspecto futuro dos prédios a partir dos seus ficheiros CAD.

Slide 5: Porque não tentar aproveitar na sala de aula os potenciais da RA? Há várias vertentes possíveis, como pesquisa e apresentação de conteúdos ou percursos georeferenciados. A vertente que escolhi implica um outro caminho, envolvendo processos de criação e expressão artística digital integrados na utilização das TIC.

Slide 6: Há um trabalho prévio de exploração de 3D com os alunos em TIC. O 3D é uma tecnologia potente, que faz parte da cultura mediática dos alunos através dos jogos e animação, mas cuja complexidade a faz parecer temível. Se abordada de forma lúdica, com aplicações apropriadas, não o é ou pelo menos não é sentida como tal pelos alunos. E o seu potencial educativo é vasto. Pensemos em artes: 3D implica manipular forma, textura, organização do espaço, luz e cor. Ou olhemos para matemáticas: o 3D trabalha com vértices e arestas transformados em superfícies e formas manipuladas num espaço tridimensional definido por coordenadas cartesianas. Já para não falar do trabalho com formas geométricas e conceitos de geometria (rotação, simetria). Olhemos para história: representar um monumento em 3D (trabalho comum entre os meus alunos) obriga a pesquisar e saber mais sobre o monumento. Ciências? Porque não recriar virtualmente células ou outros elementos? Misturamos aprendizagem curricular com pesquisa e recriação. Os professores de línguas poderão ficar agradados ao saber que o 3D permite fazer filmes de animação, com os consequentes processos de escrita criativa e estruturação em guião. É uma tecnologia que permite integrar criatividade, trabalho em projectos interdisciplinares que recorram a aprendizagens prévias para criar produtos multimédia.

Slide 7: Para saber um pouco mais sobre a utilização do 3D no ensino básico convido-vos a visitar a área de posters, onde encontram um dedicado ao projecto 3D alpha que mostra o que crianças e jovens conseguem fazer com um conjunto vasto de aplicações de modelação e animação 3D.

Slide 8: Antes de avançar com os alunos foram testadas diferentes apps android de AR. O objectivo expresso era o de visualizar conteúdo 3D. Os browsers de AR fazem-no, mas implicam programação; optámos antes por apps dedicadas que abriam nativamente ficheiros em 3D. Porquê android? Os baixos preços dos equipamentos tornam este sistema operativo cada vez mais prevalecente, com uma taxa de penetração de mercado cada vez maior. E sejamos honestos. Ipads são excelentes equipamentos, mas muito caros. Quantos dos nossos alunos poderão ter acesso a estes equipamentos? E estão cada vez mais a trazer para a escola os seus smartphones e tablets android de baixo custo.

Slide 9: Escolhemos a aplicação Augment, concebida para auxílio ao comércio electrónico. O princípio por detrás é simples: podemos visualizar sobre o espaço real objectos descarregados da internet. Imaginem, por exemplo, que querem adquirir um móvel para a sala e encontram um que gostam num website. Falta saber se realmente fica bem no espaço pretendido. Com esta app, descarregam o modelo e visualizam em tempo real. Sempre poupam a viagem de regresso à loja caso o móvel não fique bem no espaço escolhido...  Outro factor importante para a seleçção do Augment tem a ver com a facilidade com que lê formatos 3d comuns (obj, o formato txt do 3D, collada, criado facilmente utilizando o sketchup) armazenados localmente no dispositivo móvel.

Slide 9: As primeiras actividades foram experimentais. No fluxo de trabalho em sala de aula visualizámos e fotografámos trabalhos criados sobre o espaço real. O resultado foi a surpresa dos alunos, deleite e entusiasmo por descobrir algo novo. O factor WOW estava em alta. Alguns alunos reagiam com total incredulidade ao verem os seus modelos sobrepostos ao espaço real no ecrã do tablet.

Slide 10: Criar fotografias em RA com trabalhos dos alunos é divertido, mas não tem um grande aproveitamento pedagógico para além da introdução a uma nova tecnologia. Outra experiência que desenvolvemos envolveu um trabalho interdisciplinar com ciências, onde alunos de 6.º ano pesquisaram sobre ROVs (robots submersíves), recriaram-nos em 3D e visualizaram-nos em RA. Esta é uma experiência inicial, a desbravar novos territórios.  Temos consciência que o nível de penetração de equipamentos móveis capazes de suportar AR é ainda incipiente, mas em tendência de crescimento. Interessa procurar contextos eficazes de utilização e metodologias de trabalho interdisciplinar que permitam tirar partido desta tecnologia. Note-se que as forças de mercado já estão em campo, com uma disponibilidade cada vez maior de apps. Se queremos que os nossos alunos cresçam para ser algo mais do que consumidores de conteúdos, temos que investir em metodologias de trabalho que estimulem nas crianças e jovens o uso criativo de ferramentas digitais.

Terminamos com uma experiência de utilização do Augment num tablet. Que, fiel ao espírito das demos tecnológicas em que no momento crucial o sistema vai abaixo, teve alguns sobressaltos mas permitiu uma pequena demonstração da facilidade com que se pode utilizar realidade aumentada num telemóvel ou tablet.

ROV's e Realidade Aumentada (Kit do Mar 2013)

Trabalho desenvolvido com uma turma de 6.º ano em parceria com as disciplinas de Ciências da Natureza, Formação Cívica e Tecnologias de Informação e Comunicação.

Objectivos: estimular projectos interdisciplinares; abordar conteúdos de ciências da natureza ligados às temáticas do mar; conhecer o que são ROV's; estimular o uso criativo de tecnologias digitais; estimular a criação em 3D; experimentar tecnologias de realidade aumentada em plataformas móveis.

Materiais e métodos:  Materiais: computadores, tablets, software de modelação 3D (Doga L3)  e visualização VRML (BS Contact), aplicação android de realidade aumentada (Augment).

Métodologia: pesquisa inicial sobre o tema; recriação em 3D; exportação em formato comum e conversão; visualização em vídeo e realidade aumentada.

Descrição: Após uma introdução em Ciências da Natureza sobre ROV's e suas utilizações na pesquisa científica, os alunos nas aulas de Formação Cívica pesquisaram diferentes tipos destes veículos. Em seguida, com a colaboração de TIC recriaram em 3D ROV's utilizando a aplicação de modelação Doga L3. Concluídos os modelos, procedeu-se à sua exportação em VRML e conversão para a aplicação android Augment. Na última sessão utilizámos um tablet para visualizar os modelos criados em realidade aumentada.

Conclusão: ao longo deste projecto os alunos:  descobriram o que são ROV's e reforçaram conhecimentos sobre as suas potencialidades; desenvolveram metodologias de trabalho criativo em suporte digital; conceberam objectos virtuais recorrendo à modelação tridimensional com trabalho em alçado, perspectiva e referenciais cartesianos; experimentaram uma tecnologia emergente em suportes móveis (realidade aumentada) que esbate a fronteira entre o real e o virtual.

Bibliografia:
ficha Kit do Mar ROV's - Robots Submarinos
Coelho, A. (2010). EVT Virtual: Aplicações de 3D e VRML/X3D em Educação Visual e Tecnológica.
Tutorial Doga L3
Augment Help
Realidad Aumentada e Educación

Momentos Lumiére

A brincar com o virtual: concluímos hoje com os alunos do 6.º E os trabalhos para o concurso Kit do Mar com uma sessão de fotografia em realidade aumentada. Cada grupo posou como quis, mostrando os seus modelos virtuais sobrepostos ao espaço real através da aplicação Augment para android. Alguns escolheram ser fotografados com os seus modelos de ROV (essas fotos, por óbvias questões éticas, não podemos divulgar aqui), outros optaram por formas mais criativas de mostrar o seu trabalho. Digamos que foi uma sessão delirante, com pouco tempo disponível, muito entusiasmo e alguns momentos lumiére com alunos a ficarem espantados ao ver os seus modelos surgir como que por magia no ecrã do tablet utilizado para a sessão. Já tinham visto nas primeiras sessões realidade aumentada a funcionar, mas ver os seus projectos materializados no éter digital deixou-os deslumbrados. Agora resta aos professores organizar as imagens recolhidas e esquematizar o projecto em vídeo.

(Momentos lumiére: baseado naquela história talvez apócrifa sobre espectadores que ao verem pela primeira vez um filme projectado fugiam da sala, temendo que o comboio filmado pelos irmãos Lumiére os trucidasse, chamo "momento lumiére" àquele misto de deslumbramento, choque e curiosidade que sentimos no primeiro embate com um novo media ou uma nova iteração de um media tradicional. Como, por exemplo, a primeira vez que ao colocar óculos 3D nos deslumbrámos com a projecção estereoscópica, ou nos surpreendemos com o hiper-realismo da simulação virtual do 3D, ou mergulhámos na virtualidade de um mundo de jogo. Ou a primeira vez que pegámos no telemóvel ou tablet e sobre o mundo real surgiu um objecto de realidade aumentada. Numa criança, esse momento desperta sempre um fabuloso sorriso de curiosidade desperta.)

Kit do Mar - Sneak Preview (II)

A pergunta que anda na mente é como enviar por email para uma organização um trabalho em realidade aumentada? As respostas poderão envolver uma apresentação longa ou um vídeo demonstrativo do projecto e das várias fases do trabalho. Quanto aos alunos, o grosso do trabalho está feito. Cada grupo criou o seu robot em 3D e agora resta-lhes imaginar um nome e uma ficha técnica para as suas virtuais máquinas.

Nestas actividades em que alunos de idades entre os dez e onze anos manipulam aplicações de criação em 3D nunca deixamos de ser surpreendidos pela facilidade que alguns deles mostram na elaboração de modelos de elevada complexidade.

Resta agora o trabalho de conversão dos ficheiros VRML exportados do Doga L3 para o formato OBJ, posteriormente importado para o Augment. Na última sessão do projecto vamos brincar com realidade aumentada.

Challenge: Accepted.

Proposta de trabalho final de um aluno de oitavo ano: modelar um dinossauro. Um T-rex, perguntei. Não, stor, um raptor. São os meus favoritos, disse. Desafio para mim: encontrar uma forma simples de criar um dinossauro realista. Opções: box modeling em Blender, Wings3D, modelação no zModeler ou Vivaty, texturização com o UVMapper. Desafio: aprender e desenvolver técnicas de modelação para depois as poder ensinar ao aluno. Desafio... aceite. Algumas notas: texturizar no UVMapper classic é muito simples, e box modeling no Blender não é assim tão difícil mas dá trabalho (boa parte do qual é orientar-me no interface absurdo do programa). O rascunho do lagarto gigante é da responsabilidade do aluno que o propôs. A mais complexa construção digital começa sempre por rabiscos no papel que ajudam a definir formas e facilitam o trabalho posterior.

Janeiro será um mês interessante. Os alunos vão criar os seus projectos multimédia em 3D. Antevejo muita casa detalhada no Sketchup, programa favorito da maior parte deles. Antevejo experiências de mundos virtuais em VRML criados no Minecraft. E vai ser o mês onde ponho, finalmente, o projecto de realidade aumentada a andar. Até lá, resta-me estudar bem estas questões de modelação. Desafios são sempre bem vindos.

Fotografia virtual

Fotografar o que não está fisicamente lá. Experiências na sala de aula com o Augment e modelos criados pelos alunos em diversos programas de modelação 3D. À procura de um caminho de exploração. Ideia: criar um concurso de fotografia do invisível. Reacções reais, gestos corporais perante objectos virtuais. Justaposição do real e do virtual com toque de fantasia e bom humor. Vamos ver no que dá.

RA in the wild

Momento intrigante hoje na aula. Um dos alunos deparou com um vídeo e ligações na página moodle da turma sobre realidade aumentada. Dei por isso quando o vi de telemóvel em riste a descarregar o Augment e o ES Explorer. O instinto docente quase me levou a ir ajudá-lo, mas optei por o deixar entregue a si mesmo. Passei-lhe apenas um marcador de realidade aumentada impresso, dizendo que ia precisar daquilo. E virei costas. Momentos depois era vê-lo sorridente, a apontar o telemóvel para o marcador e a visualizar a torre eiffel em realidade aumentada. O puro sorriso da descoberta de algo novo e fascinante, de um cérebro estimulado por novas ideias. Mostrei-lhe que podia pegar no marcador, movimentá-lo e visualizar o objecto 3D de diferentes pontos de vista em tempo real. E voltei a virar costas. Do canto do olho continuei a ver o sorriso e o olhar interessado. A seguir foi ter com os colegas de que é amigo e partilhou a descoberta. Alguns não ligaram, outros ficaram espantados... e lá me vieram pedir mais "papelinhos daqueles que dão para ver coisas em 3D"...

Foi um daqueles momentos mágicos, que faz valer as chatices do dia a dia, as tropelias dos ministérios e o sufoco conceptual deste momento presente. Um momento em que percebi que uma criança foi por si mais além do que o esperado, pegando no vislumbre que lhes deixei e construindo a sua aprendizagem.

Testes de realidade aumentada

We have liftoff!

Ok, isto é um toque de show off... ou talvez não. O Eagle é um dos modelos mais complexos que já criei utilizando o Vivaty Studio. É  também um dos mais pesados, particularmente no formato obj. Testá-lo no Augment teve dois objectivos: ver como é que a app se dá com modelos complexos pesados e... ver o Eagle em realidade aumentada!

Um modelo do Sketchup em collada. Sem texturas...

A verdade é que o Augment teve dificuldades em apresentar o modelo. Demorou bastante a abrir o ficheiro e sempre que movimentava o tablet a aplicação quase paralisava a tentar renderizar em tempo real todos os componentes do modelo. Talvez com um equipamento mais recente com melhor memória isto não aconteça (tenho um Galaxy Tab de 7" original). Junto com o Eagle testei um ficheiro dae saído do Sketchup. Correu muito bem, particularmente porque o modelo era complexo. Aqui o próximo passo é perceber se um VRML animado converte com animação para DAE (collada), porque a app suporta animação em Collada.

Só falta levar isto para a sala de aula. Está quase. O primeiro passo é aprender a utilizar o Bryce como introdução simples aos conceitos do 3D e em seguida começar a modelar objectos em aplicações que permitem exportar em formatos múltiplos. Está para breve o dia em que serão modelos 3D criados por alunos a aparecer nestas imagens onde o virtual e o real se mesclam.

Testes de Realidade Aumentada

Um último teste com o augment. Sobrepor objectos 3D armazenados localmente em modo offline utilizando o ES Explorer é um processo simples e o Augment funciona sem falhas. Mas abrir os ficheiros obj significava perder a informação de cor e textura. Modelos cinzentos, por muito intrigante que seja a sua sobreposição ao mundo real, não deixam de ser cinzentos. Como dar a volta?

A dica saída do apoio da Augmentedev deu-me a ideia: porque não tentar empacotar os ficheiros obj do modelo 3d e mtl com a informação sobre os materiais e cores num ficheiro zip? Afinal, é esse o formato requerido pelo Augment no modo online. Restava saber se o ES Explorer permitia escolher a aplicação do tablet para abrir o ficheiro, e funcionou. Para sobrepor um modelo 3D colorido sobre um ambiente real basta ter o marcador, e usar o ES para abrir um ficheiro zip que contenha a informação necessária sobre o modelo.

Quanto a testes creio que terminei. O Augment mostrou ser uma app fiável que faz muito bem aquilo para que foi desenhada. Com auxílio de outra app, um gestor de ficheiros, permite arquivar conteúdo 3D no dispositivo para apresentação sem necessidade de recorrer a descargas de dados. O próximo passo é a criação de tutoriais para facilitar o trabalho dos alunos.

Quanto ao fluxo de trabalho para os alunos, este último teste mostrou-me que estava no bom caminho: experimentar diversos programas de modelação 3D (Sketchup, Doga L3, CB Model, Vivaty); exportar sempre em VRML ou DAE; retocar no Vivaty em termos de cor; utilizar o Vivaty para converter os modelos de VRML para OBJ; comprimir em zip os ficheiros .obj e .mtl; guardar no tablet ou telemóvel, e utilizar o ES Explorar combinado com o Augment para visualizar os modelos em realidade aumentada.

Entretanto, outras ideias começam a surgir. Por interessante que seja utilizar o augment e fotografar modelos 3D sobre locais reais, parece-me algo que se esgota depressa. Seria interessante encontrar forma de criar percursos onde os modelos se modificassem de acordo com o contexto. Algo utilizável como visita virtual, exposição em realidade aumentada ou contar de historias com um toque tecnológico. Que eu saiba o augment não permite isso uma vez que tem de ser o utilizador a escolher o modelo a apresentar. A ideia, agora mais a médio prazo, é tentar ver que outras apps de RA fariam isso, quer através de diferentes marcadores em modo offline ou através de referenciação por gps e descarga online em tempo real. Estou muito curioso com o que o Layar e o Wikitude poderão fazer neste contexto. Talvez, se o tempo e o trabalho de sapador o permitir, consiga fazer uma "enciclopédia" temática com textos, imagens e modelos 3D dos alunos num suporte de papel reciclado encadernado de forma artesanal, com marcadores de RA a dar uma dimensão virtual ao objecto real.

Projectos com realidade aumentada: notas

Um post com ideias soltas, resultadas do progresso obsessivo com o mundo das aplicações de realidade aumentada e uma ideia cada vez menos difusa de aproveitamentos pedagógicos.

- O AndAR Model Viewer parecia ser a app mais apropriada para o fim que tenho em vista - colocar os alunos a modelar em 3D e visualizar os seus trabalhos em realidade aumentada. Testei com modelos criados no Vivaty Studio e mostrou correctamente as cores dos objectos. Promissor, gratuito e de fonte aberta. O que me parecia mais interessante era a possibilidade de visualizar objectos armazenados no dispositivo, sem requerer ligação à internet. Infelizemente, por razões que não consigo descortina, a app só funciona correctamente algumas vezes. Na maior parte dos testes arranca, carrega o modelo, mas não parece reconhecer o marcador de AR ou então paralisa. Não se percebe. Pelos fóruns da página da app não há referências a alterações ou desenvolvimentos posteriores a 2010. Não posso depender em sala de aula de uma aplicação instável.

Teste com o Augment em modo offline

- Regresso ao Augment. É uma aplicação estável, que funciona sem falhas, baseada no sdk Vuforia de realidade aumentada desenvolvido pela Qualcomm. Tecnologia proprietária, mas funciona. Se utilizar tecnologias gratuitas e open source é uma das minhas prioridades pedagógicas, creio que neste caso posso abrir excepção. Se a tecnologia subjacente é proprietária, a app é gratuita. Resta o problema de aceder a modelos 3D sem os descarregar dos repositórios da AugmenteDev. Para o uso que lhe pretendo dar a possibilidade de utilização sem ligação à web é importante - cada aluno terá que utilizar o seu smartphone e depender da sua ligação de dados que implica custos. Ter os conteúdos armazenados localmente ultrapassa a necessidade de ligações de dados. A versão iOS do Augment possibilita visualização offline de modelos. Para Android essa opção ainda não está disponível, mas uma dica da equipe da AugmenteDev mostrou-me que é possível dar a volta ao problema. A técnica é semelhante à usada com o AndAR, com uma nuance: utilizando um gestor de ficheiros (foi-me recomendado o ES Explorer), escolher a Augment para abrir ficheiros em formato obj. E... funciona. A imagem comprova. Infelizmente a informação de cor contida no ficheiro de materiais perde-se. Aqui o próximo passo envolve texturas de imagens. Outra possibilidade interessante a testar é a visualização de objectos animados. O Augment suporta animação em collada, resta saber se consigo converter um objecto animado em vrml e a coisa funcionar na app.

- É irritante ver que as apps de realidade aumentada que trabalham com objectos 3d se ficam por formatos como o obj ou o 3ds. Depois fazem-se tutoriais a sublinhar a importância de utilizar objectos leves, por causa dos constrangimentos da largura de banda em redes móveis. Não estou a brincar. Li isto nos tutoriais da Layar. Acontece que tecnologia para apresentar objectos e cenas 3D complexas já existe há muito tempo. As especificações VRML e X3D são óptimas para conteúdo 3D com restrições de largura de banda e hardware. No entanto, parecem estar completamente ignoradas pelos que desenvolvem aplicações em realidade aumentada. Uso o Vivaty Studio para trabalho em 3D, na senda do VRML/X3D. Fico irritado com a riqueza que é perdida na conversão para outros formatos que ainda tornam mais pesados os modelos originais.

Um modelo colorido, numa das vezes em que o AndAR funcionou...

- À medida que se mergulha nesta coisa da realidade aumentada, mais ideias vêem à cabeça. As possibilidades dos browsers de RA intrigam-me. Seria possível criar percursos com pontos de interesse por gps ou marcador que permitissem caças ao tesouro, percursos pedagógicos, histórias que se contam ao longo de um percurso? Utilizando layers para o Layar ou locais no Wikitude? Colocar os alunos a criar modelos 3D e a visualizar em RA pode ser o primeiro passo para coisas mais interessantes, sobrepondo a realidade virtual à realidade táctil.

- Começa a ser hora de planificar um processo de trabalho para estas actividades. Explorar aplicações de modelação 3D (Doga, Sketchup e Vivaty, essencialmente). Perceber o conceito de formatos intercambiáveis (wrl, x3d, obj, dae). Instalar apps nos smartphones. Disseminar marcadores de RA. E.. criar. Do que anda por aí de experiências pedagógicas com RA, geralmente colocam o aluno no papel de consumidor de informação utilizando apps de realidade aumentada como interface. A minha perspectiva, herdada de anos no ensino artístico como professor de EVT, é colocar estas ferramentas nas mãos dos alunos e incentivá-los a criar.

Real + Virtual

Anda um ovni a pairar sobre a secretária? Sim, mas em realidade aumentada. A experiência resultou utilizando um ficheiro 3D criado por mim. O ovni foi criado no Vivaty Studio, o meu modelador de eleição e aplicação essencial para criar conteúdos VRML/X3D. Essencialmente peguei num ficheiro X3D já com alguns meses e usando o conversor do Vivaty exportei-o para o formato OBJ (wavefront) mantendo as normais. Em seguida, copiei os ficheiros do objecto (.obj) e materiais (.mtl) para uma pasta no tablet. Note-se que os materiais são as cores das meshes em vrml, não criei mapas de texturas.

No tablet, arranquei o AndAR Model Viewer, a app de realidade aumentada baseada no AR Toolkit que permite visualizar modelos 3D personalizados. Escolhendo a opção carregar modelo personalizado o AndAR recorre ao OI file manager para se poder ir buscar os modelos guardados na memória do tablet. Depois é esperar que carregue (pode demorar um pouco se o objecto for pesado). Assim que a câmara ficar activa, basta apontar para o marcador para o modelo surgir sobreposto ao espaço real. O AndAR permite rodar, redimensionar e reposicionar o modelo. Ao contrário do Augment, não necessita de acesso à internet para funcionar.

Próximo passo: estabelecer um fluxo de trabalho com os alunos que implique o uso do Vivaty para criar conteúdo 3D. Estas experiências são divertidas mas o meu objectivo é colocar os alunos a modelar em 3D e aplicar as suas criações em mundos virtuais VRML/X3D. A Realidade Aumentada é, como se diz, valor acrescentado. A cereja em cima do bolo.

Andar...

A testar o AndAR, que me funciona intermitentemente no tablet. Vá lá, consegui que por uma vez me apresentasse um modelo pré-configurado. Há que testar mais extensivamente, porque o AndAR promete ser capaz de visualizar ficheiros obj guardados localmente. Ainda não testei essa opção. Para além disso é baseado na framework aberta do ARToolkit. Já o Augment é uma delícia de utilizar mas é proprietário e obriga a acesso à web para descarga dos modelos 3D, o que do meu ponto de vista não é muito viável por exigir conectividade constante. Penso que a solução viável para um projecto como o que estou a magicar passará pelo armazenamento local de conteúdo 3D nos smartphones dos alunos para visualização sem requerer acesso à internet (que implica gastos de tráfego). Muito interessante seria se a Bitmanagement se dessa ao trabalho de criar uma versão do BS Contact para Android que realmente funcionasse para qualquer outra coisa para além do rodar de modelos wrl. Sim, wrl, não comprimido, esqueçam o x3d... genial seria uma aplicação de AR para Android capaz de trabalhar com ficheiros vrml/x3d. Por agora, é investigar, testar, falhar, testar, até acertar numa app e num fluxo de trabalho apropriado para os alunos.

Levitação

Parece que a torre Eiffel fez uma aparição no Centro de Recursos. Ou isso ou um teste ao Augment, aplicação de realidade aumentada que permite visualizar modelos 3D descarregados da web sobrepostos aos ambientes do dia a dia.

Basta deixar o marcador à vista da câmara, arrancar a app com acesso web... e nem a sala de professores escapa à invasão.

Próximos passos: dar a volta à texturização em 3D, na qual eu sou notoriamente azelha. Maus hábitos do vrml, que deixa que cada componente de um objecto tenha uma cor nativa atribuída. Os formatos de ficheiro lidos pelas apps de AR vão para a gama obj/stl, e esses precisam de um mapa de texturas. É desta que tenho de aprender a fazer wrapping de UVs. Em seguida, libertar para os alunos. Ensiná-los a criar objectos 3D, fazer o upload para a augment e... soltar bicharada virtual pela escola. Entretanto magica-se nas palavras apressadas da coordenadora do Centro de Recursos, que olhou para o tablet e falou em contar histórias. Agora é matutar no como.

Realidade Virtual na sala de aula

Agora ovelhas voam pela sala de aula? É o resultado dos primeiros testes com uma aplicação de realidade aumentada para iOS e Android. O que para mim a distinguiu de outras foi a possibilidade de descarregar um marcador universal do seu website (que funciona muito bem como PDF projectado) e poder carregar modelos 3D criados pelos utilizadores. A aposta no crowdsourcing é sempre inteligente.

A ver o invisível, apontando o tablet ao marcador...

A aplicação que estou a testar chama-se Augment. Funciona em duas formas, com um sítio web para descarga de marcadores e upload de modelos 3D e uma app para smartphone/tablet para visualizar objectos de realidade aumentada. A aplicação reconhece ficheiros OBJ, STL, DAE, 3DS e BLEND com mapas de textura incluídos em ficheiros zip. Como tenho uma relação má com mapas de textura experimentei com modelos VRML convertidos para OBJ com o Meshlab.

A app no tablet liga-se às bases de dados da Augment na web e descarrega modelos para visualização em RA. Podemos aumentar o tamanho e reposicionar o objecto no espaço. Não descortinei forma de rodar, mas o deslocar fisicamente o tablet funciona como andar à volta do modelo. Tem um inconveniente: não nos dá uma lista dos nossos modelos e obriga a uma pesquisa e descarga sempre que alteramos o modelo a visualizar. Ou então ainda não encontrei uma opção de acesso rápido aos meus modelos, ou à possibilidade de armazenar localmente um modelo.

E enquanto os alunos lutavam com marcadores de índice em Word ou navegabilidade por hiperligação no powerpoint... o professor andava a fazer voar foguetões virtuais na sala de aula.

Resta testar a criação e upload de modelos texturizados. O passo seguinte será libertar a app para uso pelos alunos. A experiência de mexer em realidade aumentada é divertida e encaixa-se bem em alguns dos projectos a desenvolver nas aulas de TIC. Estou já a planificar uma actividade que envolve  a criação de modelos 3D pelos alunos (utilizando o Doga Project, Sketchup ou Vivaty Studio), a instalação da app por aqueles cujos smartphones o permitirem, e espalhar marcadores pela escola fora para mostrar objectos virtuais sobrepostos à realidade onde menos se espertar.