Buat 3d model pakai nerfstudio
Pengenalan
Seminggu sebelum CNY aku kena paksa gi melancong, sambil melancong terjumpa benda menarik so aku just collect dataset sambil berjalan
Aku dari dulu nak buat 3d model pakai nerf atau gaussian splatting cuma tak keluar rumah, so sambil keluar rumah boleh laa scrape real world
Apa tu 3D Reconstruction?
3D reconstruction adalah process untuk create 3d representation objek atau scene daripada gambar 2d atau sensor.
Kalau orang baru mula dulu2, akan start dengan Structure from Motion(SfM)
Use case
Kalau nak diikutkan banyak benda menarik boleh buat pakai 3d reconstruction, tapi yang aku minat lebih kepada simulation dengan game asset generation. Bayangkan bila rekod muka, badan, atau persekitaran seseorang dalam 360 darjah dan mengubahnya menjadi model 3D untuk digunakan dalam game.
Selain itu, company macam Petronas boleh buat pemetaan 3D untuk Plant dorang. Dengan teknologi macam ni, boleh menilai keperluan penyelenggaraan tanpa menghantar kakitangan secara fizikal ke tapak. Robot dilengkapi dengan kamera boleh berkeliaran di premis, menangkap data untuk analisis jarak jauh.
Contoh use case lain yang paling common adalah untuk education, aku rasa semua pernah rasa atau pernah tengok.
So far yang aku tau dan pernah try ada 3 method:
- Photogrammetry
- Nerf
- Gaussian Splatting
Based on aku punya experiment, Gsplat paling sharp result dia.
Contoh aku buat dulu utk stadium bukit jalil
Apa tu gaussian splatting?
Bagi aku video ni lagi bagus untuk explain instead of aku mengarut
Result
Example Video
Viewer
Supersplat
Untuk edit/crop splat, boleh pakai supersplat dan model aku model Supersplat boleh convert .splat ke .ply dan vice versa. Kalau untuk Blender boleh pakai .ply
https://playcanvas.com/supersplat/editor
Penutup
Method ni hanya untuk buat 3d model berdasarkan 2d gambar yang available. Since GPU, VR dan AR aka XR makin maju, benda macam ni akan jadi benda biasa dan boleh gunakan generated 3d model untuk train text to 3d model.
Dengan memanfaatkan teknik-teknik ini, dapat membuka dunia ke pelbagai domain, dari game hingga remote monitoring dan lain lain.
Other Resource:
https://poly.cam/ https://github.com/nerfstudio-project/nerfstudio