Vědci z institutu Maxe Plancka ve spolupráci s inženýři z Intelu, konkrétně z institutu Visual Computing, představili novou technologii rekonstrukce trojrozměrných objektů z nekompletních dat. Nový systém je důležitý jak pro snímání objektů, které nelze nasnímat klasickými metodami, tak i pro digitalizaci objektů do virtuálního prostředí pomocí omezených prostředků.
Skenování 3D objektů bylo a stále je velmi náročnou záležitostí a i když se snímací technologie stále zlepšují, jsou problémy s některými materiály a tvary, které omezují možnost daného skeneru a softwaru, jež z reálných dat tvoří digitální verzi. Často jsou totiž k dispozici nekompletní data a tak je nutné daný trojrozměrný objekt ručně dokreslit, což trvá dlouho a není to zrovna moc efektivní způsob.
Navíc nastává doba rozšířené reality, kdy je nutné i pomocí jednoduchých a malých kamer v mobilním telefonu dokázat podobně věci. Ale tam, kde není hardware, je nutné nasadit chytrý software. A právě ten vědci vymysleli.
Nepřesná data
Hlavním problémem při skenování trojrozměrných objektů pomocí snímačů ve stylu Microsoft Kinect a dalších podobných je, že i přes integraci kamer a senzorů vzdálenosti nedokáží objekt perfektně nasnímat. Digitální rekonstrukce je vždy omezena minimálně na úrovni rozlišení daných čipů, ve většině případů ale chybí větší množství dat.
Trojrozměrné objekty tak nelze pomocí těchto jednoduchých systémů snímat, protože výsledek je často nepoužitelný. A právě na to se vědci zaměřili – jak získat kvalitní digitální podobu objektu, i když jsou data nekvalitní, nepřesná nebo nekompletní.
Vždy totiž není možné vůbec snímat konstrukce trojrozměrného objektu v celém jeho objemu, protože má například duté části, do kterých nelze snímač vložit a podobně. Inženýři si tak vzali na pomoc to jediné, co mohli – chytrý software.
Umělá inteligence, která rozpozná objekt
Když člověk vidí nějaký 3D objekt, který nemá zrovna náhodné tvary, je schopen díky znalostem a mozku „dopočítat“ a reálně třeba dokreslit jeho podobu, aniž by měl kompletní data. Vychází to pochopitelně z principu toho, že existuje nějaká databáze objektů, která zahrnuje takřka vše kolem nás a jak dané objekty standardně vypadají či jaké mají různé variace (klasická forma židle má obvykle čtyři nohy, hrníček má většinu jedno ucho a podobně).
V rámci projektu DISTRO (Distributed 3D Object Design) tak vyvinuli systém s umělou inteligencí (VConv-DAE - Convolutional Denoising Auto Encoder for Volumetric Representations), která se naučila databázi trojrozměrných objektů a díky tomu dokáže i z nekompletních dat zjistit, o jaký objekt se jedná (klasifikace dat a dostupných 3D záznamů) a případně dokreslit jeho kompletní trojrozměrný digitální obraz.
Důležité i pro rozšířenou realitu
Na první pohled se sice může zdát, že technologie se uplatní jako zajímavé vylepšení v profesionální oblasti pro automatické skenování objektů, kde vzniká velké množství chyb, ale s rozmachem mobilních telefonů s pokročilými kamerami jdou možnosti ještě dále.
Díky této či podobné technologii totiž bude poměrně snadné skenovat reálné objekty a dostat je do virtuálního světa, aniž by bylo nutné kupovat drahý a specializovaný skenovací hardware. Typickým příkladem je rozšířená realita, kdy mohou firmy snadno naskenovat své produkty a dostat je do mobilní aplikace pro použití v rozšířené či virtuální realitě, podobně jako to nedávno představila například IKEA v rámci ARKitu od Applu.
Klasifikace je rovněž důležitá pro rozpoznávání. I z nekompletních dat totiž může případná aplikace třeba v rozšířené realitě běžící v brýlích budoucnosti rozpoznávat objekt, aniž byste ho museli dlouze obcházet a podrobně „skenovat“. Systém bude velmi rychle vědět i na bázi nekompletních dat, o jaký objekt jde, jaké má vlastnosti a vše, co je s ním spojené. To má takřka nekonečné možnosti použití, které si zatím ani nedokážeme představit.
Originální materiál o výzkumu nalezete zde (PDF).
Digitalizovaný objekt lze samozřejmě znovu zrealizovat, třeba pomocí 3D tiskárny:
