Inside VisionOS: 17 cose che gli sviluppatori devono sapere in questo momento

Apple è nuova Auricolare VisionPro è un dispositivo completamente nuovo nell'ecosistema Apple. Mentre la società ha fornito dettagli sul dispositivo stesso durante le sue 2 ore + Discorso principale della WWDC 2023, la società ha salvato i dettagli dello sviluppatore per un evento successivo, il Piattaforme Stato dell'Unione.

Ho guardato quella presentazione e in questo articolo ho catalogato i punti chiave sullo sviluppo per VisionOS che i programmatori devono conoscere. Iniziamo con un po' di background.

Anche: Primo tentativo di Apple Vision Pro: 3 motivi per cui questo cambia tutto

VisionOS è il sistema operativo progettato per quello che Apple chiama "informatica spaziale". L'azienda separa questo paradigma informatico dai due con cui abbiamo più familiarità, desktop e mobile computing. L'idea con l'informatica spaziale è che il tuo ambiente di lavoro esiste fluttuando di fronte a te.

Lo "spazio condiviso" è dove le app galleggiano fianco a fianco. Pensa a più finestre affiancate, ma invece che su un desktop, sono a mezz'aria.

Gli utenti possono aprire una o più finestre che esistono come piani nello spazio. Supportano visualizzazioni e controlli tradizionali, ma supportano anche contenuti 3D, che possono vivere in una finestra con contenuti 2D. In un programma CAD, l'oggetto potrebbe essere 3D, ma la barra degli strumenti potrebbe essere 2D, per esempio.

Oltre le finestre, le app possono creare volumi tridimensionali. Questi possono contenere oggetti e scene. La differenza fondamentale è che i volumi possono essere spostati nello spazio 3D e possono essere visualizzati da tutte le angolazioni. È la differenza tra guardare nella vetrina di un negozio rispetto a camminare intorno a un'auto e sbirciare attraverso i finestrini anteriori, posteriori e laterali.

Anche:Incontra il tuo Digital Persona: gli utenti Vision Pro di Apple per ottenere avatar animati in tempo reale

Per gli sviluppatori che desiderano una full immersion, è possibile creare uno spazio completo dedicato. È come quando un gioco occupa l'intero schermo, ma nell'esperienza VisionOS quello schermo è completamente immersivo. Qui, app, finestre e volumi operano all'interno dell'ambiente completamente immersivo.

Ora che hai compreso i paradigmi virtuali utilizzati da VisionOS, diamo un'occhiata a diciassette cose che gli sviluppatori devono sapere sullo sviluppo per VisionOS.

1. Gli strumenti di sviluppo e le librerie utilizzate per VisionOS risulteranno familiari a molti sviluppatori Apple.

Lo sviluppo si basa su Swift UI, RealityKit e ARKit, che sono API esistenti che esistono da un po' di tempo. Apple ha esteso questi framework per VisionOS, aggiungendo il supporto per il nuovo hardware e il paradigma full-space.

2. VisionOS è fondamentalmente un'estensione dello sviluppo del sistema operativo iOS e iPad.

Gli sviluppatori utilizzeranno SwiftUI e UIKit per creare l'interfaccia utente. RealityKit viene utilizzato per visualizzare contenuti 3D, animazioni ed effetti visivi. ARKit fornisce alle app una comprensione dello spazio del mondo reale intorno all'utente e rende tale comprensione disponibile per il codice all'interno di un'app.

3. Tutte le app dovranno esistere nello spazio 3D.

Anche le app 2D di base trasferite da iOS o iPad OS galleggeranno nello spazio. Se quello spazio è una vista della stanza in cui l'utente utilizza l'ambiente Vision Pro o alcuni ambiente simulato che blocca il mondo reale, anche le app tradizionali "fluttueranno" nello spazio 3D.

4. VisionOS aggiunge una nuova destinazione per la creazione di app.

In precedenza, gli sviluppatori Xcode potevano scegliere iPhone, iPad e Mac come destinazioni (ovvero dove eseguire l'app). Ora gli sviluppatori possono aggiungere VisionOS come destinazione. Non appena l'app viene ricostruita, la nuova destinazione aggiunge le funzionalità di VisionOS, tra cui le finestre ridimensionabili e le funzionalità di traslucenza adattiva di VisionOS.

5. Le app UIKit precedenti (non create con Swift e SwiftUI) possono essere ricompilate per VisionOS.

Quando lo faranno, otterranno alcune caratteristiche salienti e di presenza 3D da VisionOS. Pertanto, anche se le app basate su UIKit e Objective C potrebbero non essere in grado di fornire un'esperienza 3D completamente immersiva, guadagneranno aspetto nativo di VisionOS ed essere in grado di coesistere ragionevolmente senza soluzione di continuità con il più moderno basato su SwiftUI applicazioni.

6. Gli elementi dell'interfaccia utente tradizionali (come i controlli) ottengono una nuova opzione Z-offset.

Ciò consente agli sviluppatori di spingere riquadri e controlli nello spazio 3D, consentendo a determinati elementi dell'interfaccia di fluttuare davanti o dietro altri elementi. Ciò può consentire agli sviluppatori di attirare l'attenzione su determinati elementi.

7. VisionOS utilizza il tracciamento oculare per abilitare la foveazione dinamica.

Foveation descrive una tecnica di elaborazione delle immagini in cui alcune aree di un'immagine ottengono più dettagli rispetto ad altre aree. Con VisionOS, Vision Pro utilizza il tracciamento oculare per eseguire il rendering dell'area della scena osservata con una risoluzione molto elevata, ma riduce la risoluzione nella visione periferica. Ciò riduce i tempi di elaborazione nelle aree in cui l'utente non presta la massima attenzione. Gli sviluppatori non hanno bisogno di codificare per questo. È integrato nel sistema operativo.

8. L'illuminazione degli oggetti è derivata dalle condizioni spaziali attuali.

Per impostazione predefinita, gli oggetti che fluttuano nello spazio 3D acquisiscono le caratteristiche di illuminazione e ombra dello spazio in cui l'utente indossa il visore. Gli sviluppatori possono fornire una risorsa di illuminazione basata su immagini se desiderano personalizzare il modo in cui gli oggetti vengono illuminati nello spazio virtuale.

9. ARKit fornisce alle app un modello utilizzabile della stanza del mondo reale in cui viene utilizzato il dispositivo.

Utilizza la stima del piano per identificare le superfici piatte nella stanza reale. La ricostruzione della scena crea un modello 3D dinamico dello spazio nella stanza con cui le app possono interagire. L'ancoraggio delle immagini consente di bloccare la grafica 2D in una posizione nello spazio 3D, facendola sembrare parte del mondo reale.

10. ARKit su VisionOS aggiunge il tracciamento delle mani scheletriche e le funzionalità di accessibilità.

Ciò fornisce alle app dati di posizionamento e mappatura delle articolazioni, in modo che i gesti possano controllare in modo più completo l'esperienza virtuale. Le funzioni di accessibilità consentono agli utenti di interagire con il movimento degli occhi, la voce e il movimento della testa oltre ai movimenti delle mani.

11. Unity è stato sovrapposto a RealityKit.

Apple ha collaborato con Unità quindi gli sviluppatori di Unity possono indirizzare direttamente VisionOS dall'interno di Unity, consentendo a tutti i contenuti basati su Unity di migrare nelle app basate su VisionOS senza troppi sforzi di conversione. Questo è in realtà piuttosto grande perché consente agli sviluppatori con una profonda esperienza di Unity di creare app basate su Unity insieme alle app VisionOS.

12. Reality Composer Pro è un nuovo strumento di sviluppo per l'anteprima e la preparazione di contenuti 3D.

Questo è essenzialmente un asset manager per contenuti 3D e virtuali. Ciò consente inoltre agli sviluppatori di creare materiali personalizzati, testare gli shader, integrare queste risorse nel processo di sviluppo Xcode e visualizzare in anteprima su Vision Pro.

13. L'elaborazione dello spazio condiviso avviene sul dispositivo.

Ciò significa che le immagini e la mappatura della stanza sono mantenute private. L'elaborazione cloud non viene utilizzata per la mappatura 3D. Tutte le informazioni personali e le dinamiche spaziali della stanza sono gestite interamente all'interno del dispositivo Vision Pro.

14. Per chi non dispone di dispositivi, Xcode fornisce anteprime e un simulatore.

Ciò ti consente di avere un'idea di come sarà la tua app e di testarla. La modalità di anteprima ti consente di vedere il tuo layout in Xcode, mentre il simulatore è un ambiente su schermo dedicato per testare il comportamento generale dell'app. Puoi simulare i gesti utilizzando una tastiera, un trackpad o un controller di gioco.

15. Per quelli con Vision Pro, è possibile codificare interamente nello spazio virtuale.

Vision Pro estende i desktop Mac nello spazio virtuale, il che significa che puoi avere il tuo ambiente di sviluppo Xcode fianco a fianco con la tua app Vision Pro.

16. Ci sarà un app store dedicato per Vision Pro.

Le app, complete di acquisti in-app, saranno disponibili per il download e l'acquisto dall'app store dedicato di Vision Pro. Inoltre, Test Flight funziona con Xcode e Vision OS come previsto, quindi gli sviluppatori saranno in grado di distribuire versioni beta delle app esattamente come per iPhone e iPad.

17. Apple sta preparando una serie di risorse di supporto alla codifica.

L'SDK VisionOS, Xcode aggiornato, simulatore e Reality Composer Pro saranno disponibili entro la fine del mese. Apple sta inoltre allestendo laboratori per sviluppatori Apple Vision Pro. Situati a Londra, Monaco, Shanghai, Singapore, Tokyo e Cupertino, gli sviluppatori potranno visitare e testare le applicazioni. Per coloro che non visitano i siti Apple, gli sviluppatori possono inviare richieste ad Apple per valutare e testare build di app e fornire feedback. Apple non ha fatto menzione dei tempi di consegna di queste richieste.

Cosa ne pensi?

Ulteriori informazioni sullo sviluppo per Vision Pro e VisionOS sono disponibili su Sito web per sviluppatori di Apple.

Anche:Le aziende useranno il codice basso per gestire le loro attività?

Allora, cosa ne pensate? Sei uno sviluppatore? In tal caso, hai intenzione di sviluppare per Vision Pro? Sei un utente? Vedi un utilizzo immediato per questo dispositivo o il prezzo di $ 3.500 e l'esperienza di utilizzo simile a una maschera ti scoraggiano? Fatecelo sapere nei commenti qui sotto.

---

Puoi seguire i miei aggiornamenti giornalieri sui progetti sui social media. Assicurati di seguirmi su Twitter all'indirizzo @DavidGewirtz, su Facebook all'indirizzo Facebook.com/DavidGewirtz, su Instagram all'indirizzo Instagram.com/DavidGewirtze su YouTube all'indirizzo YouTube.com/DavidGewirtzTV.