O Oculus Quest (o original e o segundo modelo ) têm uma história interessante de recursos adicionados muito depois de o hardware ser lançado. O mais famoso deles é Oculus Link, que efetivamente transforma a Quest em um Oculus Rift. Esse recurso teve tanto sucesso que a Oculus decidiu descontinuar todos os seus fones de ouvido, exceto o Quest.
O rastreamento de mãos não causou o impacto que o Oculus Link fez, mas ainda é um recurso incrível com muito potencial. Com o rastreamento manual, você não precisa de controladores. Suas próprias mãos são digitalizadas no mundo VR!
Se você tiver um Quest ou está pensando em comprar um, vale a pena saber como funciona o rastreamento de mãos e o que ele pode trazer para a experiência de RV.
Como a Quest rastreia o mundo
A Oculus Quest usa um sistema inovador abordagem para o rastreamento de movimento que é comumente referido como rastreamento “de dentro para fora”, que é muito diferente de como o rastreamento de movimento funcionava no passado.
Quando os primeiros fones de ouvido da próxima geração foram lançados em meados da década de 2010, eles usavam uma ou mais câmeras externas de rastreamento. Luzes especiais de rastreamento de movimento no fone de ouvido disseram à câmera exatamente onde o fone de ouvido estava em relação a ela. Com alguma matemática inteligente, esses dados poderiam ser convertidos em um rastreamento de movimento muito preciso no espaço 3D. É assim que os fones de ouvido VR premium oferecem “seis graus de liberdade”, também conhecidos como 6DoF.
Quest move a câmera sensor no próprio fone de ouvido, neste caso, posicionando-os em pontos estratégicos do dispositivo. Outros fones de ouvido podem usar ainda mais câmeras para melhorar a precisão. Essas quatro câmeras permitem que a Quest observe o mundo real ao seu redor e determine qual é a sua posição naquele espaço.
Isso é o que permite que a Quest seja independente e portátil. É também o recurso que permite o rastreamento manual com o Oculus em primeiro lugar.
Os controladores de toque Oculus padrão
Para entender o que torna o rastreamento manual Oculus tão impressionante , temos que começar com os controladores físicos bastante mundanos que vêm com a Oculus Quest. Cada um é totalmente monitorado por sensores internos e marcadores especiais de rastreamento de movimento que informam às câmeras a bordo do Quest onde os controladores estão em relação ao fone de ouvido.
Quando você está segurando os controladores de toque em VR, eles ' re rastreado com incrível precisão. Usando os botões de punho e gatilho no controlador, o software VR pode criar uma experiência convincente de agarrar e manipular itens. Isso é usado com grande efeito em jogos como Half-Life Alyx e A escalada, onde agarrar itens no mundo de RV é uma parte central do jogo.
Os controladores de toque também oferecem feedback tátil graças a dispositivos chamados “atuadores lineares”, que podem criar sensações físicas de esbarrar em coisas, vibração e outras sensações de toque. Thumbsticks e botões também oferecem uma maneira familiar de se mover em um espaço de RV quando você não pode se mover fisicamente no seu espaço real.
A principal desvantagem disso em comparação com o rastreamento de mãos é que você tem ganchos para as mãos. Você pode realizar movimentos simples de beliscar com as mãos virtuais, mas isso é tudo. Não parece uma grande limitação quando os jogos são projetados em torno dos controladores, mas o rastreamento de mão abre um espectro de novas possibilidades em RV.
O que o Oculus Hand-Tracking faz
Quando o rastreamento de mãos está habilitado, você verá uma representação precisa de suas mãos reais no mundo VR. Cada movimento de seus dedos ou pulso será refletido em suas cópias virtuais.
Rastreamento de mão não é mais um recurso beta da Quest. Agora ele está integrado ao sistema operacional e a muitos aplicativos originais da Quest. O primeiro grande benefício aqui é que se você quiser colocar rapidamente sua Quest e assistir a um filme em RV ou navegar pela app store, não precisa se esforçar para amarrar os controladores de toque. Usando apenas suas mãos, você pode acessar os menus do sistema e navegar com facilidade.
Agora que o rastreamento das mãos é um recurso oficial da Quest, os desenvolvedores de aplicativos de terceiros podem adicioná-lo aos seus aplicativos. Já existem vários aplicativos que fazem uso excelente do recurso de rastreamento manual Oculus, mas temos certeza de que os desenvolvedores encontrarão muitas outras maneiras empolgantes em que o rastreamento manual direto pode transformar a experiência de RV
Como Oculus Rastreamento de mãos funciona
Os resultados do rastreamento de mãos são incríveis, mas como realmente funciona? Obviamente, a Oculus não publicará os detalhes exatos de sua solução proprietária, mas conhecemos as tecnologias e os princípios envolvidos.
Primeiro, as câmeras de bordo são essenciais para fazer o trabalho de rastreamento manual. Eles não apenas fornecem informações estereoscópicas de profundidade, mas também dados visuais para processamento por visão de máquina. O que é visão de máquina? É um ramo do inteligência artificial, especificamente um campo conhecido como aprendizado de máquina. É a mesma tecnologia que permite que o aplicativo da câmera do seu telefone identifique rapidamente os rostos em uma foto.
Essencialmente, o software tem que aprender o que nos dados da imagem fornecidos pela câmera é uma mão e o que não é uma mão. Isso provavelmente foi feito mostrando ao software milhares e milhares de mãos em ambientes diferentes até que ele pudesse descobrir de forma confiável uma maneira rápida e eficaz de diferenciá-los de todo o resto em sua sala.
Assim que o software puder criar modelos virtuais precisos e em tempo real de suas mãos, os desenvolvedores de aplicativos podem usá-los para qualquer coisa que possam imaginar. Agora você pode manipular objetos com precisão em RV!
Experiências monitoradas manualmente que valem a pena experimentar
Se você possui uma Oculus Quest, pode experimentar o recurso de rastreamento manual Oculus sem ter que comprar nenhuma aplicativo específico. Conforme mencionado acima, ele funciona no ambiente principal da Quest, bem como em alguns aplicativos primários. Quando se trata de experiências de terceiros, há algumas que valem a pena destacar.
A linha é uma experiência narrativa de $ 4,99 que também serve como uma demonstração técnica perfeita para rastreamento de mãos. Ele conta a história de uma cidade modelo em escala que funciona com um relógio e trilhos.
Nosso herói Pedro está apaixonado por Rosa, mas ele não pode escapar de seu destino. Até que algo novo aconteça um dia. Você interage com o mundo do modelo em escala deles usando sua mão para girar botões, puxar alavancas e mexer em tudo o que puder. É uma experiência linear e curta, mas pode mostrar o rastreamento manual de uma forma muito divertida em cerca de 15 minutos.
Valsa do mago (US $ 9,99) é outra excelente vitrine da tecnologia. Você pode usar suas mãos para lançar feitiços e interagir com quase tudo no mundo VR ao seu redor. Se você sempre quis viver a fantasia de ser um mago que pode disparar raios de luz com as mãos, este é o jogo para você!
O que você acha do rastreamento de mãos no Quest? Tentaste? Quais jogos você recomendaria? Compartilhe suas ideias nos comentários.