Testes de realidade aumentada

We have liftoff!

Ok, isto é um toque de show off... ou talvez não. O Eagle é um dos modelos mais complexos que já criei utilizando o Vivaty Studio. É  também um dos mais pesados, particularmente no formato obj. Testá-lo no Augment teve dois objectivos: ver como é que a app se dá com modelos complexos pesados e... ver o Eagle em realidade aumentada!

Um modelo do Sketchup em collada. Sem texturas...

A verdade é que o Augment teve dificuldades em apresentar o modelo. Demorou bastante a abrir o ficheiro e sempre que movimentava o tablet a aplicação quase paralisava a tentar renderizar em tempo real todos os componentes do modelo. Talvez com um equipamento mais recente com melhor memória isto não aconteça (tenho um Galaxy Tab de 7" original). Junto com o Eagle testei um ficheiro dae saído do Sketchup. Correu muito bem, particularmente porque o modelo era complexo. Aqui o próximo passo é perceber se um VRML animado converte com animação para DAE (collada), porque a app suporta animação em Collada.

Só falta levar isto para a sala de aula. Está quase. O primeiro passo é aprender a utilizar o Bryce como introdução simples aos conceitos do 3D e em seguida começar a modelar objectos em aplicações que permitem exportar em formatos múltiplos. Está para breve o dia em que serão modelos 3D criados por alunos a aparecer nestas imagens onde o virtual e o real se mesclam.

Testes de Realidade Aumentada

Um último teste com o augment. Sobrepor objectos 3D armazenados localmente em modo offline utilizando o ES Explorer é um processo simples e o Augment funciona sem falhas. Mas abrir os ficheiros obj significava perder a informação de cor e textura. Modelos cinzentos, por muito intrigante que seja a sua sobreposição ao mundo real, não deixam de ser cinzentos. Como dar a volta?

A dica saída do apoio da Augmentedev deu-me a ideia: porque não tentar empacotar os ficheiros obj do modelo 3d e mtl com a informação sobre os materiais e cores num ficheiro zip? Afinal, é esse o formato requerido pelo Augment no modo online. Restava saber se o ES Explorer permitia escolher a aplicação do tablet para abrir o ficheiro, e funcionou. Para sobrepor um modelo 3D colorido sobre um ambiente real basta ter o marcador, e usar o ES para abrir um ficheiro zip que contenha a informação necessária sobre o modelo.

Quanto a testes creio que terminei. O Augment mostrou ser uma app fiável que faz muito bem aquilo para que foi desenhada. Com auxílio de outra app, um gestor de ficheiros, permite arquivar conteúdo 3D no dispositivo para apresentação sem necessidade de recorrer a descargas de dados. O próximo passo é a criação de tutoriais para facilitar o trabalho dos alunos.

Quanto ao fluxo de trabalho para os alunos, este último teste mostrou-me que estava no bom caminho: experimentar diversos programas de modelação 3D (Sketchup, Doga L3, CB Model, Vivaty); exportar sempre em VRML ou DAE; retocar no Vivaty em termos de cor; utilizar o Vivaty para converter os modelos de VRML para OBJ; comprimir em zip os ficheiros .obj e .mtl; guardar no tablet ou telemóvel, e utilizar o ES Explorar combinado com o Augment para visualizar os modelos em realidade aumentada.

Entretanto, outras ideias começam a surgir. Por interessante que seja utilizar o augment e fotografar modelos 3D sobre locais reais, parece-me algo que se esgota depressa. Seria interessante encontrar forma de criar percursos onde os modelos se modificassem de acordo com o contexto. Algo utilizável como visita virtual, exposição em realidade aumentada ou contar de historias com um toque tecnológico. Que eu saiba o augment não permite isso uma vez que tem de ser o utilizador a escolher o modelo a apresentar. A ideia, agora mais a médio prazo, é tentar ver que outras apps de RA fariam isso, quer através de diferentes marcadores em modo offline ou através de referenciação por gps e descarga online em tempo real. Estou muito curioso com o que o Layar e o Wikitude poderão fazer neste contexto. Talvez, se o tempo e o trabalho de sapador o permitir, consiga fazer uma "enciclopédia" temática com textos, imagens e modelos 3D dos alunos num suporte de papel reciclado encadernado de forma artesanal, com marcadores de RA a dar uma dimensão virtual ao objecto real.

Projectos com realidade aumentada: notas

Um post com ideias soltas, resultadas do progresso obsessivo com o mundo das aplicações de realidade aumentada e uma ideia cada vez menos difusa de aproveitamentos pedagógicos.

- O AndAR Model Viewer parecia ser a app mais apropriada para o fim que tenho em vista - colocar os alunos a modelar em 3D e visualizar os seus trabalhos em realidade aumentada. Testei com modelos criados no Vivaty Studio e mostrou correctamente as cores dos objectos. Promissor, gratuito e de fonte aberta. O que me parecia mais interessante era a possibilidade de visualizar objectos armazenados no dispositivo, sem requerer ligação à internet. Infelizemente, por razões que não consigo descortina, a app só funciona correctamente algumas vezes. Na maior parte dos testes arranca, carrega o modelo, mas não parece reconhecer o marcador de AR ou então paralisa. Não se percebe. Pelos fóruns da página da app não há referências a alterações ou desenvolvimentos posteriores a 2010. Não posso depender em sala de aula de uma aplicação instável.

Teste com o Augment em modo offline

- Regresso ao Augment. É uma aplicação estável, que funciona sem falhas, baseada no sdk Vuforia de realidade aumentada desenvolvido pela Qualcomm. Tecnologia proprietária, mas funciona. Se utilizar tecnologias gratuitas e open source é uma das minhas prioridades pedagógicas, creio que neste caso posso abrir excepção. Se a tecnologia subjacente é proprietária, a app é gratuita. Resta o problema de aceder a modelos 3D sem os descarregar dos repositórios da AugmenteDev. Para o uso que lhe pretendo dar a possibilidade de utilização sem ligação à web é importante - cada aluno terá que utilizar o seu smartphone e depender da sua ligação de dados que implica custos. Ter os conteúdos armazenados localmente ultrapassa a necessidade de ligações de dados. A versão iOS do Augment possibilita visualização offline de modelos. Para Android essa opção ainda não está disponível, mas uma dica da equipe da AugmenteDev mostrou-me que é possível dar a volta ao problema. A técnica é semelhante à usada com o AndAR, com uma nuance: utilizando um gestor de ficheiros (foi-me recomendado o ES Explorer), escolher a Augment para abrir ficheiros em formato obj. E... funciona. A imagem comprova. Infelizmente a informação de cor contida no ficheiro de materiais perde-se. Aqui o próximo passo envolve texturas de imagens. Outra possibilidade interessante a testar é a visualização de objectos animados. O Augment suporta animação em collada, resta saber se consigo converter um objecto animado em vrml e a coisa funcionar na app.

- É irritante ver que as apps de realidade aumentada que trabalham com objectos 3d se ficam por formatos como o obj ou o 3ds. Depois fazem-se tutoriais a sublinhar a importância de utilizar objectos leves, por causa dos constrangimentos da largura de banda em redes móveis. Não estou a brincar. Li isto nos tutoriais da Layar. Acontece que tecnologia para apresentar objectos e cenas 3D complexas já existe há muito tempo. As especificações VRML e X3D são óptimas para conteúdo 3D com restrições de largura de banda e hardware. No entanto, parecem estar completamente ignoradas pelos que desenvolvem aplicações em realidade aumentada. Uso o Vivaty Studio para trabalho em 3D, na senda do VRML/X3D. Fico irritado com a riqueza que é perdida na conversão para outros formatos que ainda tornam mais pesados os modelos originais.

Um modelo colorido, numa das vezes em que o AndAR funcionou...

- À medida que se mergulha nesta coisa da realidade aumentada, mais ideias vêem à cabeça. As possibilidades dos browsers de RA intrigam-me. Seria possível criar percursos com pontos de interesse por gps ou marcador que permitissem caças ao tesouro, percursos pedagógicos, histórias que se contam ao longo de um percurso? Utilizando layers para o Layar ou locais no Wikitude? Colocar os alunos a criar modelos 3D e a visualizar em RA pode ser o primeiro passo para coisas mais interessantes, sobrepondo a realidade virtual à realidade táctil.

- Começa a ser hora de planificar um processo de trabalho para estas actividades. Explorar aplicações de modelação 3D (Doga, Sketchup e Vivaty, essencialmente). Perceber o conceito de formatos intercambiáveis (wrl, x3d, obj, dae). Instalar apps nos smartphones. Disseminar marcadores de RA. E.. criar. Do que anda por aí de experiências pedagógicas com RA, geralmente colocam o aluno no papel de consumidor de informação utilizando apps de realidade aumentada como interface. A minha perspectiva, herdada de anos no ensino artístico como professor de EVT, é colocar estas ferramentas nas mãos dos alunos e incentivá-los a criar.

Real + Virtual

Anda um ovni a pairar sobre a secretária? Sim, mas em realidade aumentada. A experiência resultou utilizando um ficheiro 3D criado por mim. O ovni foi criado no Vivaty Studio, o meu modelador de eleição e aplicação essencial para criar conteúdos VRML/X3D. Essencialmente peguei num ficheiro X3D já com alguns meses e usando o conversor do Vivaty exportei-o para o formato OBJ (wavefront) mantendo as normais. Em seguida, copiei os ficheiros do objecto (.obj) e materiais (.mtl) para uma pasta no tablet. Note-se que os materiais são as cores das meshes em vrml, não criei mapas de texturas.

No tablet, arranquei o AndAR Model Viewer, a app de realidade aumentada baseada no AR Toolkit que permite visualizar modelos 3D personalizados. Escolhendo a opção carregar modelo personalizado o AndAR recorre ao OI file manager para se poder ir buscar os modelos guardados na memória do tablet. Depois é esperar que carregue (pode demorar um pouco se o objecto for pesado). Assim que a câmara ficar activa, basta apontar para o marcador para o modelo surgir sobreposto ao espaço real. O AndAR permite rodar, redimensionar e reposicionar o modelo. Ao contrário do Augment, não necessita de acesso à internet para funcionar.

Próximo passo: estabelecer um fluxo de trabalho com os alunos que implique o uso do Vivaty para criar conteúdo 3D. Estas experiências são divertidas mas o meu objectivo é colocar os alunos a modelar em 3D e aplicar as suas criações em mundos virtuais VRML/X3D. A Realidade Aumentada é, como se diz, valor acrescentado. A cereja em cima do bolo.

Andar...

A testar o AndAR, que me funciona intermitentemente no tablet. Vá lá, consegui que por uma vez me apresentasse um modelo pré-configurado. Há que testar mais extensivamente, porque o AndAR promete ser capaz de visualizar ficheiros obj guardados localmente. Ainda não testei essa opção. Para além disso é baseado na framework aberta do ARToolkit. Já o Augment é uma delícia de utilizar mas é proprietário e obriga a acesso à web para descarga dos modelos 3D, o que do meu ponto de vista não é muito viável por exigir conectividade constante. Penso que a solução viável para um projecto como o que estou a magicar passará pelo armazenamento local de conteúdo 3D nos smartphones dos alunos para visualização sem requerer acesso à internet (que implica gastos de tráfego). Muito interessante seria se a Bitmanagement se dessa ao trabalho de criar uma versão do BS Contact para Android que realmente funcionasse para qualquer outra coisa para além do rodar de modelos wrl. Sim, wrl, não comprimido, esqueçam o x3d... genial seria uma aplicação de AR para Android capaz de trabalhar com ficheiros vrml/x3d. Por agora, é investigar, testar, falhar, testar, até acertar numa app e num fluxo de trabalho apropriado para os alunos.

Levitação

Parece que a torre Eiffel fez uma aparição no Centro de Recursos. Ou isso ou um teste ao Augment, aplicação de realidade aumentada que permite visualizar modelos 3D descarregados da web sobrepostos aos ambientes do dia a dia.

Basta deixar o marcador à vista da câmara, arrancar a app com acesso web... e nem a sala de professores escapa à invasão.

Próximos passos: dar a volta à texturização em 3D, na qual eu sou notoriamente azelha. Maus hábitos do vrml, que deixa que cada componente de um objecto tenha uma cor nativa atribuída. Os formatos de ficheiro lidos pelas apps de AR vão para a gama obj/stl, e esses precisam de um mapa de texturas. É desta que tenho de aprender a fazer wrapping de UVs. Em seguida, libertar para os alunos. Ensiná-los a criar objectos 3D, fazer o upload para a augment e... soltar bicharada virtual pela escola. Entretanto magica-se nas palavras apressadas da coordenadora do Centro de Recursos, que olhou para o tablet e falou em contar histórias. Agora é matutar no como.

Realidade Virtual na sala de aula

Agora ovelhas voam pela sala de aula? É o resultado dos primeiros testes com uma aplicação de realidade aumentada para iOS e Android. O que para mim a distinguiu de outras foi a possibilidade de descarregar um marcador universal do seu website (que funciona muito bem como PDF projectado) e poder carregar modelos 3D criados pelos utilizadores. A aposta no crowdsourcing é sempre inteligente.

A ver o invisível, apontando o tablet ao marcador...

A aplicação que estou a testar chama-se Augment. Funciona em duas formas, com um sítio web para descarga de marcadores e upload de modelos 3D e uma app para smartphone/tablet para visualizar objectos de realidade aumentada. A aplicação reconhece ficheiros OBJ, STL, DAE, 3DS e BLEND com mapas de textura incluídos em ficheiros zip. Como tenho uma relação má com mapas de textura experimentei com modelos VRML convertidos para OBJ com o Meshlab.

A app no tablet liga-se às bases de dados da Augment na web e descarrega modelos para visualização em RA. Podemos aumentar o tamanho e reposicionar o objecto no espaço. Não descortinei forma de rodar, mas o deslocar fisicamente o tablet funciona como andar à volta do modelo. Tem um inconveniente: não nos dá uma lista dos nossos modelos e obriga a uma pesquisa e descarga sempre que alteramos o modelo a visualizar. Ou então ainda não encontrei uma opção de acesso rápido aos meus modelos, ou à possibilidade de armazenar localmente um modelo.

E enquanto os alunos lutavam com marcadores de índice em Word ou navegabilidade por hiperligação no powerpoint... o professor andava a fazer voar foguetões virtuais na sala de aula.

Resta testar a criação e upload de modelos texturizados. O passo seguinte será libertar a app para uso pelos alunos. A experiência de mexer em realidade aumentada é divertida e encaixa-se bem em alguns dos projectos a desenvolver nas aulas de TIC. Estou já a planificar uma actividade que envolve  a criação de modelos 3D pelos alunos (utilizando o Doga Project, Sketchup ou Vivaty Studio), a instalação da app por aqueles cujos smartphones o permitirem, e espalhar marcadores pela escola fora para mostrar objectos virtuais sobrepostos à realidade onde menos se espertar.