Quest und Unity ARCameraManager zeigen kein Passthrough? So aktivieren Sie die Kameraansicht in Ihrer AR-App!

Haben Sie Probleme, die Passthrough-Kameraansicht auf Ihrer Oculus Quest oder Meta Quest zu aktivieren, wenn Sie mit dem Unity ARCameraManager arbeiten? Sie sind nicht allein! Viele Entwickler stoßen auf dieses Problem, wenn sie Augmented-Reality-Anwendungen (AR) für die Quest-Plattform entwickeln. Keine Panik! Dieser umfassende Leitfaden führt Sie durch die Schritte, die Sie unternehmen müssen, um die Kameraansicht zum Laufen zu bringen und immersive AR-Erlebnisse zu schaffen.

Was ist Passthrough und warum ist es wichtig?

Passthrough, auch bekannt als Umgebungsansicht, ist eine Funktion, die es der VR-Brille ermöglicht, Videomaterial von den Außenkameras anzuzeigen und so dem Benutzer eine Sicht auf seine reale Umgebung innerhalb der virtuellen Umgebung zu ermöglichen. Dies ist entscheidend für AR-Anwendungen, da es digitale Inhalte nahtlos in die reale Welt integriert und so ein Gefühl von Immersion und Interaktion vermittelt.

Ohne Passthrough wäre Ihre AR-Anwendung im Wesentlichen ein Overlay digitaler Objekte über einem komplett schwarzen Bildschirm, was die Benutzererfahrung deutlich beeinträchtigen würde. Die Fähigkeit, die reale Umgebung zu sehen, ist der Schlüssel zu überzeugenden AR-Anwendungen.

Häufige Ursachen für das Problem „Kein Passthrough”

Bevor wir uns in die Lösung stürzen, ist es wichtig, die häufigsten Ursachen zu verstehen, warum der Passthrough möglicherweise nicht in Ihrer Unity-Anwendung angezeigt wird:

• Fehlende Berechtigungen: Die Anwendung hat nicht die erforderlichen Berechtigungen, um auf die Kameras der Quest zuzugreifen.
• Falsche Projekteinstellungen: Bestimmte Projekteinstellungen in Unity sind möglicherweise nicht korrekt konfiguriert, um Passthrough zu unterstützen.
• Fehlende Komponenten: Die notwendigen AR Foundation-Komponenten oder spezifischen Oculus Integration-Komponenten fehlen möglicherweise in Ihrer Szene.
• Inkompatible Versionen: Inkompatibilitäten zwischen Ihren AR Foundation-Paketen, Oculus Integration SDK und Ihrer Unity-Version können Probleme verursachen.
• Shader-Probleme: In manchen Fällen kann ein falsch konfigurierter Shader die Darstellung des Passthrough behindern.
• Overlay-Probleme: Probleme mit der Rendering-Reihenfolge oder anderen Rendering-Aspekten können dazu führen, dass der Passthrough verdeckt wird.

Schritt-für-Schritt-Anleitung zur Aktivierung von Passthrough

Hier ist eine detaillierte Anleitung zur Behebung des Passthrough-Problems und zur Aktivierung der Kameraansicht in Ihrer AR-Anwendung:

Schritt 1: Installieren Sie die erforderlichen Pakete

Stellen Sie zunächst sicher, dass Sie die notwendigen Pakete in Ihrem Unity-Projekt installiert haben:

1. AR Foundation: Dieses Paket bietet eine einheitliche API für die Erstellung von AR-Anwendungen auf verschiedenen Plattformen. Gehen Sie zu Fenster > Paketmanager und suchen Sie nach „AR Foundation”. Installieren Sie die neueste verifizierte Version.
2. ARCore XR Plugin (oder ARKit XR Plugin für iOS): Abhängig von der Plattform, auf die Sie abzielen, installieren Sie das entsprechende XR-Plugin. Da wir uns hier auf die Quest konzentrieren, benötigen Sie im Allgemeinen das ARCore XR Plugin, auch wenn die Quest technisch gesehen auf Android basiert. Das Oculus XR Plugin bietet hier eine stabilere Lösung für die Quest. Installieren Sie die neueste verifizierte Version aus dem Paketmanager.
3. Oculus Integration: Dieses Paket bietet Oculus-spezifische Funktionen, einschließlich Unterstützung für Passthrough. Laden Sie es vom Unity Asset Store herunter und importieren Sie es in Ihr Projekt. Stellen Sie sicher, dass Sie die neueste Version verwenden, die mit Ihrer Unity-Version kompatibel ist.

Schritt 2: Konfigurieren Sie die Projekteinstellungen

Als Nächstes müssen Sie Ihre Projekteinstellungen in Unity konfigurieren:

1. XR-Plugin-Management: Gehen Sie zu Bearbeiten > Projekteinstellungen > XR-Plugin-Management. Stellen Sie sicher, dass das Oculus XR-Plugin aktiviert ist. Klicken Sie außerdem auf die Registerkarte „Android” und vergewissern Sie sich, dass das Oculus XR-Plugin auch dort aktiviert ist.
2. Qualitätseinstellungen: Gehen Sie zu Bearbeiten > Projekteinstellungen > Qualität. Stellen Sie sicher, dass die Rendering-Pfad auf „Vorwärts” eingestellt ist und die MSAA (Multi-Sample Anti-Aliasing) auf „4x” oder höher eingestellt ist (optional, aber empfohlen für eine bessere visuelle Qualität).
3. Rendering-Einstellungen: Gehen Sie zu Bearbeiten > Projekteinstellungen > Grafik. Stellen Sie sicher, dass die Farbraum auf „Linear” eingestellt ist.

Schritt 3: Richten Sie die AR-Szene ein

Erstellen Sie nun Ihre AR-Szene in Unity:

1. AR Session Origin: Erstellen Sie ein neues GameObject in Ihrer Szene und nennen Sie es „AR Session Origin”. Fügen Sie die Komponenten AR Session Origin und AR Session hinzu.
2. ARCameraManager: Fügen Sie dem „AR Session Origin” GameObject die Komponente ARCameraManager hinzu. Dies ist entscheidend für die Steuerung der Kamera in Ihrer AR-Anwendung.
3. AR Passthrough Material: (Manuelle Einrichtung, oft nicht notwendig, aber hilfreich für die Fehlersuche). Erstellen Sie ein neues Material in Ihrem Projekt. Stellen Sie den Shader auf „Oculus/VR/OVR Passthrough” ein. Weisen Sie dieses Material der Material Eigenschaft des ARCameraBackground Skripts zu, das standardmäßig zum ARCameraManager gehört.

Schritt 4: Aktivieren Sie Passthrough in Oculus Integration

Hier kommt der entscheidende Schritt, um Passthrough mit Oculus Integration zu aktivieren:

1. OVRManager: Erstellen Sie ein neues GameObject in Ihrer Szene und nennen Sie es „OVRManager”. Fügen Sie die Komponente OVRManager hinzu.
2. Enable Passthrough: Gehen Sie im Inspector-Fenster der OVRManager-Komponente zum Abschnitt „OVRCameraRig”. Stellen Sie sicher, dass die Option Supports Secure Passthrough aktiviert ist. Manchmal ist es auch hilfreich, die Option Requires System Keyboard zu aktivieren.
3. Passthrough-Konfiguration: Innerhalb der OVRManager-Komponente finden Sie einen Abschnitt, der sich speziell auf Passthrough bezieht. Sie können hier verschiedene Einstellungen wie die Farbe und Helligkeit des Passthrough-Layers anpassen. Stellen Sie sicher, dass die Option „Enable Passthrough” aktiviert ist (dies ist oft standardmäßig aktiviert, aber es lohnt sich, dies zu überprüfen).

Schritt 5: Fordern Sie die Kameraberechtigung an

Ihre Anwendung benötigt die Erlaubnis des Benutzers, auf die Kameras der Quest zuzugreifen. Sie können dies mit dem OVRPlugin.RequestPermissions()-Aufruf im Code tun. Erstellen Sie ein neues Skript (z. B. „PermissionRequest”) und fügen Sie den folgenden Code hinzu:

„`csharp
using UnityEngine;
using Oculus.Platform;

public class PermissionRequest : MonoBehaviour
{
void Start()
{
RequestCameraPermission();
}

void RequestCameraPermission()
{
Oculus.Platform.Request.GrantPermission(Oculus.Platform.Request.Permission.CameraAndMicrophone).OnComplete(message =>
{
if (message.IsError)
{
Debug.LogError(„Fehler beim Anfordern der Kameraberechtigung: ” + message.GetError().Message);
}
else
{
Debug.Log(„Kameraberechtigung erfolgreich angefordert!”);
}
});
}
}
„`

Fügen Sie dieses Skript einem GameObject in Ihrer Szene hinzu. Dieser Code fordert die Kameraberechtigung beim Start der Anwendung an. Der Benutzer muss diese Berechtigung erteilen, damit Passthrough funktioniert.

Schritt 6: Überprüfen Sie die Build-Einstellungen für Android

Gehen Sie zu Datei > Build-Einstellungen und stellen Sie sicher, dass die folgenden Einstellungen korrekt konfiguriert sind:

1. Plattform: Stellen Sie sicher, dass „Android” als Zielplattform ausgewählt ist.
2. Texturkomprimierung: Stellen Sie sicher, dass ASTC oder ein anderes geeignetes Format für mobile Geräte ausgewählt ist.
3. API-Level: Stellen Sie sicher, dass Ihr Ziel-API-Level mit den Anforderungen der Quest und des Oculus Integration SDK übereinstimmt. Überprüfen Sie die Dokumentation für die empfohlene API-Stufe.
4. Scripting Backend: Stellen Sie sicher, dass „IL2CPP” als Scripting Backend ausgewählt ist.
5. Zielarchitektur: Stellen Sie sicher, dass „ARM64” ausgewählt ist.

Schritt 7: Testen und Debuggen

Nachdem Sie alle Schritte ausgeführt haben, erstellen Sie Ihre Anwendung und installieren Sie sie auf Ihrer Oculus Quest. Wenn der Passthrough immer noch nicht funktioniert, sollten Sie Folgendes überprüfen:

• Konsolenfehler: Überprüfen Sie die Unity-Konsole auf Fehlermeldungen oder Warnungen im Zusammenhang mit Passthrough oder Kamerazugriff.
• Berechtigungsstatus: Verwenden Sie den OVRPlugin.GetSystemPermissionStatus()-Aufruf, um den aktuellen Status der Kameraberechtigung zur Laufzeit zu überprüfen.
• Geräteneustart: Manchmal hilft ein einfacher Neustart der Oculus Quest, um Probleme mit Berechtigungen oder Systemkomponenten zu beheben.
• Oculus-Entwickler-Hub: Verwenden Sie den Oculus-Entwickler-Hub, um Ihre Quest zu debuggen und zu protokollieren. Dies kann Ihnen helfen, Einblicke in die Leistung Ihrer Anwendung und potenzielle Probleme zu erhalten.

Fortgeschrittene Tipps und Fehlerbehebung

• Shader-Priorität: Stellen Sie sicher, dass Ihre Shader die Passthrough-Textur korrekt rendern. Die Passthrough-Textur sollte im Allgemeinen hinter anderen virtuellen Objekten gerendert werden.
• Tiefe: Manchmal können Probleme mit der Tiefenerkennung zu Problemen mit dem Passthrough führen. Versuchen Sie, die Tiefeneinstellungen in Ihren Materialien und Shadern anzupassen.
• Oculus-Dokumentation: Die Oculus-Dokumentation ist eine wertvolle Ressource für die Fehlerbehebung bei Passthrough-Problemen. Schlagen Sie in der Dokumentation nach den neuesten Informationen und Empfehlungen nach.
• Forums und Communities: Treten Sie Oculus-Entwicklerforen und -Communities bei, um Hilfe von anderen Entwicklern zu erhalten, die möglicherweise ähnliche Probleme hatten.

Zusammenfassung

Die Aktivierung der Passthrough-Kameraansicht in Ihrer Unity AR-Anwendung für die Oculus Quest kann eine Herausforderung sein, aber mit der richtigen Vorgehensweise und sorgfältiger Aufmerksamkeit für Details ist es erreichbar. Indem Sie die in diesem Leitfaden beschriebenen Schritte befolgen, können Sie die häufigsten Probleme beheben und immersive AR-Erlebnisse für Ihre Benutzer erstellen. Denken Sie daran, die Berechtigungen zu überprüfen, die Projekteinstellungen zu konfigurieren und die Oculus Integration ordnungsgemäß einzurichten. Viel Glück und viel Spaß beim Entwickeln!