Ugrás a tartalomhoz

A gépi látás és képfeldolgozás párhuzamos modelljei és algoritmusai

Dr. Rövid András, Dr. Vámossy Zoltán, Dr. Sergyán Szabolcs (2014)

Typotex Kiadó

3D rekonstrukció

3D rekonstrukció

  • Megfelelő pontok problémája:

    • Amennyiben a célfelület mintázatokat tartalmaz, az egymásnak megfelelő pontok azonosíthatók (pl. az epipoláris geometria segítségével és a képpontok környezetének vizsgálatával)

    • Homogén felületek esetében a képpontok környezetének vizsgálata nem jelent megfelelő alternatívát. Ebben az esetben ugyanis nincsenek mintázatok, a képpontok környezetében nem tapasztalható jelentősebb eltérés (ha a fényviszonyok hatását is figyelemebe vesszük)

  • A problémát legegyszerűbben úgy tudjuk kiküszöbölni, ha mintázatokat vetítünk a célfelületre. Erre számos módszert találhatunk az irodalomban [1]-[5].

Kamera-lézer alapú 3D rekonstrukció

A következőkben a kamera-lézer alapú, ill. a kamera-projektor alapú megközelítéseket ismertetjük. Tekintsük az alábbi ábrát:

12.1. ábra - Kamera-lézer alapú 3D mérés

Kamera-lézer alapú 3D mérés

  • Az objektum felületére lézercsíkot vetítve a megfelelő pontok az alábbi módon egyértelműen azonosíthatók

    • Legyen a világ koordináta-rendszer a kamera koordináta-rendszere. Miután a kamerát kalibráltuk (pl. a korábban ismertetett Zhang-féle eljárással) a kamera koordináta- rendszerében a lézercsík által generált Γ sík egyenlete meghatározható.

    • Az objektum felületére vetített lézercsíkon található 3D pont koordinátáit a Γ sík és a kamera középpontjából indított, a képsík megfelelő pixelén áthaladó sugár metszete adja (lásd 6. ábra).

Lézer kalibrálása

  1. Legyen Π' egy tetszőleges sík. Jelölje továbbá Π a kamera képsíkját

  2. Vezessünk be egy Π' síkbeli u'v' Descartes koordináta-rendszert

    • Ha kalibrációs elemként pl. sakktáblát használunk, akkor Π' tekinthetjük a sakktábla síkjának, a sakktábla két egymásra merőleges külső élét pedig az u', v' koordináta tengelyeknek. Ebben az esetben a sakktábla csomópontjainak [u',v'] koordinátái adottak.

  3. Ismert koordinátájú Pi, i = 1...N kontrollpontok megadása az u'v' koordináta-rendszerben (pl. az előző pontban említett sakktábla csomópontjai)

  4. A kontrollpontok és azok képsíkon alkotott vetületeinek segítségével az u'v' (tetszőlegesen megválasztott) koordináta-rendszer és a pixelkoordináták közötti H homográfia meghatározása.

    [ w u ' a w v ' a w ] = [ h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 h 33 ] [ u a v a 1 ] ,

    ahol u'a, v'a a Π' síkban elhelyezett pont koordinátája, az ua, va pedig a képsíkon alkotott vetületének pixelkoordinátái.

  5. A Γ sík egyenletének a kamera koordináta-rendszerében (a választott világ koordináta-rendszerünk) való meghatározására, a Γ síkon fekvő, legalább három pont világkoordinátáira van szükség. Ezeket pl. az alábbi módszerrel határozhatjuk meg:

    • Lézercsík vetítése a Γ síkra

    • A kameraképből, a lézercsíkon fekvő pontokhoz tartozó képsíkbeli pixelkoordináták kinyerése

    • A lézercsíkon fekvő pontok u',v' koordinátáinak meghatározása a H homográfia segítségével.

    • Az [u',v',0] koordináták világ koordináta-rendszerbe való transzformálása

  6. Új Π' sík választása és az 1-5 lépések megismétlése

  7. A Γ sík egyenletének meghatározása

12.2. ábra - Lézersík meghatározása

Lézersík meghatározása

  • Ahhoz, hogy egy felületet a KL (kamera-lézer) alapú rendszer segítségével rekonstruálhassunk az egység pozíciójának és orientációjának időbeni követése szükséges.

  • Erre több alternatívával is találkozhatunk az irodalomban, ilyen pl. KL egység robotkarral való pozicionálása vagy kamerákkal való nyomon követése. Utóbbi esetben a KL egység pillanatnyi pozíciójának és orientációjának meghatározásához pl. az ahhoz rögzített markereket használhatjuk fel.

    • Csupán a markerek pozíciójának ismerete nem elegendő, azok egyértelmű azonosítása is nélkülözhetetlen ahhoz, hogy a relatív elmozdulás vektort és elforgatás mátrixot meg tudjuk határozni. Erre passzív és aktív módszereket is találunk az irodalomban (pl. modellillesztés alapú megoldások (passzív), aktív LED alapú módszerek (aktív)).

12.3. ábra - Kamera-lézer alapú rendszer sztereó kamerákkal való követése

Kamera-lézer alapú rendszer sztereó kamerákkal való követése

Az egyes kamera képek függetlenül feldolgozhatók. Mind a lézer detektálás mind pedig a markerek detektálása az egyes képeken párhuzamosítható.

12.4. ábra - Kamera-lézer alapú 3D rekonstrukció párhuzamos megvalósításának folyamatábrája

Kamera-lézer alapú 3D rekonstrukció párhuzamos megvalósításának folyamatábrája

Kamera-projektor alapú 3D rekonstrukció

A projektor kalibrálásánál a kivetített pl. sakktábla csúcspontjait kell detektálni majd az uv és u'v' koordináta-rendszerek közti homográfia segítségével a [ui,vi,0] koordinátákat meghatározni.

12.5. ábra - A projektor inverz kamera modellként való kalibrálása

A projektor inverz kamera modellként való kalibrálása

Ezt követően alkalmazható a Zhang-féle kalibrációs eljárás.

  • Ha egyszerre több mintát (párhuzamos csíkot) vetítünk a rekonstruálandó felületre, felmerül a síkok azonosításának problémája, ugyanis a kamera képen látható csíkok pontjairól nem tudjuk egyértelműen eldönteni, hogy azok melyik csík által generált síkon fekszenek.

  • Az elsődleges probléma tehát a szóban forgó síkok azonosítása különféle kódolási technikák alkalmazásával

    • Bináris szekvencia

    • "Gray code" szekvencia

    • stb.

  • Tekintsük a "Gray code" szekvencia alapú kódolást.

    • Ebben az esetben olyan bináris szekvenciával kódoljuk a projektor egyes oszlopait/sorait, melyben a szomszédos kódok csak egy bitben térnek el.

    • Ez elsősorban a hibásan azonosított sorok/oszlopok (pl. zajos kép esetén hibás detektálás) korrekciójára ad hatékony megoldást.

      12.6. ábra - 4 bites Gray code

      4 bites Gray code

  • A nehezen mérhető (takarásban lévő) felületelemek nagy pontosságú rekonstrukcióját a kamera-lézer alapú megoldás esetében alkalmazott többkamerás rendszerrel valósíthatjuk meg.

  • A rendszer architektúráját a 8. ábra szemlélteti.

  • Az aktív optikai alrendszer egymáshoz képest fix helyzetű komponensekből, azaz ebben az esetben egy projektorból és egy vagy több kamerából áll, melyek aktuális pozíciójának és orientációjának meghatározásánál pl. az alrendszerhez rögzített markerek detektálásából indulhatunk ki.

12.7. ábra - A 3D rekonstrukciós rendszer architektúrája

A 3D rekonstrukciós rendszer architektúrája

12.8. ábra - Szkennelés eredménye

Szkennelés eredménye

Felhasznált és javasolt irodalom

[1] Jason Geng., Structured-light 3D surface imaging: a tutorial. Advances in Optics and Photonics, Vol. 3, Issue 2, pp. 128-160, 2011.

[2] E. Lilienblum, B. Michaelis., Optical 3D Surface Reconstruction by a Multi-Period Phase Shift Method. Journal of Computers, Vol. 2, No. 2, pp. 73-83, 2007.

[3] N. Karpinsky, S. Zhang., High-Resolution, Real-Time 3D Imaging with Fringe Analysis. Journal of Real-Time Image Processing, Springer-Verlag, Vol. 7, Issue 1, pp. 55-66, 2010.

[4] Yan Cui, Schuon, S., Chan, D., Thrun, S., Theobalt, C., 3D Shape Scanning with a Time-of-Flight Camera. 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1173-1180, 13-18 June 2010.

[5] Rövid, A.; Szeidl, L.; Yamage, Y.; Takeshi, M.; Hashimoto, T., Indoor Real-Time 3D Reconstruction of Crash-Tested Car Cabins. 8th IEEE International Symposium on Intelligent Systems and Informatics (SISY), pp. 257-261, 10-11 Sept. 2010.