App-Symbol von ProjectARApp-Symbol von ProjectAR

ProjectAR

Ihre Blender-Szene, live im Raum.

Ein Blender-Add-on und eine iPhone-App, die die geöffnete Szene über Ihr lokales Netzwerk in Augmented Reality streamen. Objekt verschieben, Modifier hinzufügen oder Material ändern: Die AR-Ansicht aktualisiert sich in Sekundenbruchteilen.

Blender

Ein Modell in AR zu prüfen, heißt normalerweise, es nach jeder Änderung zu exportieren, zu senden und neu zu öffnen. ProjectAR lässt Blender geöffnet und sendet nur, was sich geändert hat, sodass das Modell auf dem Tisch immer das Modell in der Datei ist.

Bis zu60Transform-Updates pro Sekunde
Bis zu10Mesh-Updates pro Sekunde und Objekt
3Desktop-Plattformen: Windows, macOS und Linux
0zusätzliche Python-Pakete zu installieren

Die Highlights.

  • Live, während Sie arbeiten. Verschieben, drehen oder skalieren Sie in Blender, und das Objekt auf dem Tisch folgt.

  • Modifier inklusive. Was der Viewport zeigt, samt ausgewerteter Geometrie, landet genau so in AR.

    Blender
  • Instanzen und Streuungen. Auch Collection-, Partikel- und Geometry-Nodes-Instanzen werden gestreamt, bis zu einem selbst gesetzten Limit.

  • Mehrere Telefone, eine Szene. Telefone können jederzeit dazukommen; wer später einsteigt, erhält die komplette Szene.

  • Wählen, was gestreamt wird. Alles Sichtbare, nur die Auswahl oder eine einzelne Collection, wobei sich jedes Objekt aus AR heraushalten lässt.

    Blender
  • Findet sich von selbst. Blender erscheint per Bonjour in der App unter Nearby, eine manuelle IP funktioniert ebenfalls.

Alles wird gestreamt.

Was das Add-on sendet und wie es Telefone flüssig hält.

  • Live-Streaming. Objekttransformationen mit bis zu 60 Updates pro Sekunde; Meshes werden neu gesendet, wenn sich Geometrie oder Materialien ändern.

  • Nur Änderungen werden übertragen. Die komplette Szene geht nur raus, wenn sich ein Gerät verbindet, eine Datei geöffnet wird, sich der Einheitenmaßstab ändert oder Sie auf Resync klicken.

  • Modifier inklusive. Ausgewertete Geometrie, genau so, wie der Viewport sie zeigt.

  • Instanzen. Collection-, Partikel- und Geometry-Nodes-Instanzen, bis zu einem selbst gesetzten Limit.

  • Wählen, was gestreamt wird. Alles Sichtbare, die Auswahl oder eine Collection; jedes Objekt lässt sich in AR ausblenden.

  • AR-Ursprung. Der Weltursprung oder der 3D-Cursor landet dort, wo Sie tippen, so lassen sich auch weit entfernte Modelle leicht platzieren.

  • Updates pausieren. Halten Sie den Stream bei aufwendigen Bearbeitungen an; die Telefone holen auf, sobald Sie fortfahren.

  • Einfache Materialien. Base Color, Metallic, Roughness und Alpha aus dem Principled BSDF.

  • Automatische Erkennung. Bonjour auf jeder Netzwerkschnittstelle, oder die IP von Hand einfügen.

  • Mehrere Geräte. Mehrere Telefone gleichzeitig, jedes mit eigenem Datenzähler und einer Schaltfläche zum Trennen.

  • Merkt sich Ihre Einstellungen. Port, Update-Rate und Limits bleiben erhalten, und der Server kann zusammen mit Blender starten.

  • Schont langsamere Telefone. Dreiecks- und Instanzbudgets pro Objekt sowie automatischer Resync für Geräte, die zurückfallen.

So funktioniert’s.

Blenders Daten werden ausschließlich im Hauptthread gelesen; nur fertige Byte-Frames gelangen in die Netzwerk-Threads.

  1. Szene beobachten

    Ein Depsgraph-Handler markiert jedes Objekt, das sich geändert hat.

  2. Frames erstellen

    Ein Timer im Hauptthread von Blender wandelt Entfernungen, Meshes und Transformationen in Byte-Frames um.

  3. An jedes Telefon senden

    Ein Sende-Thread pro Gerät überträgt die fertigen Frames.

  4. Einander finden

    Bonjour kündigt den Server als _viewar._tcp an; eine manuelle IP funktioniert ebenfalls.

  5. Platzieren

    Meshes kommen im Y-up-Raum von RealityKit an; tippen Sie auf eine Fläche, um die Szene zu platzieren.

Ein Frame auf der Leitung

Länge4 Byte · Big-Endian
Typ1 Byte · 1 JSON, 2 Mesh
NutzdatenJSON: hello, clear, transforms, remove, ping · Mesh: Positionen, Normalen, UVs, Dreiecksindizes und Materialien pro Dreieck, Little-Endian

Protokollversion 1 kennt kein Instancing: Jede Instanz wird als gewöhnliches Objekt mit stabiler ID wie Trees/Pine#0.12 gesendet, und ein von vielen Instanzen geteiltes Mesh wird pro Update einmal trianguliert.

Auch für ältere iPhones gemacht.

Das Panel zählt Dreiecke und Instanzen laufend mit, warnt, bevor eine Szene zu schwer wird, und listet alles auf, was es übersprungen hat.

Standardport51515TCP, dazu mDNS über UDP 5353
Dreiecke pro Objekt300,000Objekte darüber werden übersprungen
Instanzen500darüber hinaus werden keine Instanzen gesendet

Updates pro Sekunde

Standardmäßig 30; 15 bis 20 für schwere animierte Szenen.

Szenengröße

Halten Sie die gesamte Szene unter etwa einer Million Dreiecken; darüber warnt das Panel.

Beim Vorschauen

Viewport-Subdivision-Stufen senken, Unnötiges ausblenden oder nur eine Collection streamen.

Beim Sculpten

Updates pausieren und die Telefone danach aufholen lassen.

In einer Minute verbunden.

Computer und Telefon im selben Netzwerk, Blender in der Firewall zugelassen, und die App findet ihn.

  • Windows

    Blender in privaten Netzwerken zulassen.

  • macOS

    Blender Geräte in Ihrem Netzwerk finden lassen.

  • Linux

    Zwei Ports öffnen, wenn Sie eine Firewall nutzen.

  • Jedes Netzwerk

    Ein Heimrouter oder ein Handy-Hotspot funktioniert am besten.

  • Fehlerbehebung

    Lösungen für die üblichen Stolpersteine.

Technische Daten

Add-on
Blender 4.2 oder neuer, getestet mit 5.2 LTS, unter Windows, macOS oder Linux. Keine zusätzlichen Python-Pakete; die Bonjour-Bibliotheken werden als Wheels mitgeliefert.
App
Die ProjectAR iOS-App auf einem ARKit-fähigen iPhone oder iPad
Netzwerk
Computer und Telefon im selben WLAN oder LAN, ohne Client-Isolation
Gestreamt
Mesh-, Kurven-, Flächen-, Metaball- und Textobjekte sowie deren Instanzen, mit Normalen pro Ecke und der aktiven UV-Map
Materialien
Base Color, Metallic, Roughness und Alpha aus dem Principled BSDF
Noch nicht
Lichter, Kameras und Bildtexturen
Datenschutz
Der Server startet erst, wenn Sie auf Start Server klicken, lauscht nur in Ihrem lokalen Netzwerk und nimmt nie Kontakt zum Internet auf

Weitere Tools

Windows

Wenn die Windows Defender Firewall nachfragt, lassen Sie Blender in privaten Netzwerken zu. Ist Ihr WLAN-Profil auf „Öffentlich“ gesetzt, ändern Sie es auf „Privat“.

Apple Bonjour muss nicht installiert werden; die Erkennung ist bereits integriert.

macOS

Erlauben Sie Blender auf Nachfrage, Geräte in Ihrem lokalen Netzwerk zu finden. Sie können das später unter Systemeinstellungen › Datenschutz & Sicherheit › Lokales Netzwerk ändern.

Linux

Wenn Sie eine Firewall wie ufw verwenden, öffnen Sie TCP 51515 und UDP 5353 (mDNS).

Jedes Netzwerk

Gastnetzwerke und viele Büro- oder Hochschulnetze blockieren den Datenverkehr zwischen Geräten. Ein Heimrouter oder ein Handy-Hotspot funktioniert zuverlässig.

Schlägt die Erkennung fehl, geben Sie die IP-Adresse des Computers in der App ein; das Panel listet jede Adresse auf, auf der es lauscht.

Fehlerbehebung

Port konnte nicht geöffnet werden. Ein anderes Programm oder eine zweite Blender-Instanz nutzt ihn. Wählen Sie in den Einstellungen einen anderen Port und geben Sie ihn in der App ein.

Die App findet den Computer nie. Meist liegt es an der Firewall oder am Netzwerk. Probieren Sie zuerst eine manuelle IP, um Erkennungs- von Verbindungsproblemen zu unterscheiden.

Verbunden, aber nichts erscheint. Tippen Sie auf eine Fläche, um die Szene zu platzieren. Prüfen Sie, ob die Objekte im View Layer sichtbar sind, ob der Stream nicht auf eine leere Auswahl beschränkt ist und ob die Updates nicht pausiert sind. Klicken Sie dann auf Resync.

Das Modell ist weit von der Stelle entfernt, auf die ich getippt habe. Es liegt weit vom Weltursprung entfernt. Stellen Sie AR Origin auf 3D Cursor und rasten Sie den Cursor am Modell ein.

Falsche Farben. Gelesen werden nur nicht verknüpfte Werte des Principled BSDF; ist Base Color mit einer Textur verbunden, wird die Viewport-Anzeigefarbe des Materials verwendet.