Trikang
NeRF LLFF dataset을 3D Gaussian Splatting의 Input으로 넣기 본문
기본적으로 NeRF LLFF 데이터 셋은 3D-GS에서 동작하지 않는다. LLFF 데이터 셋은 SIMPLE_RADIAL 카메라 모델을 사용하고 있는 . 것같다.
PINHOLE or SIMPLE_PINHOLE -> undistorted dataset
AssertionError: Colmap camera model not handled: only undistorted datasets (PINHOLE or SIMPLE PINHOLE cameras) supported!
그래서 아래와 같은 가공 절차를 거쳐서 작동하도록 수정했다.
기존 llff 데이터 셋에 대해 COLMAP을 이용한 가공 진행
image_undistorter를 이용해서 3D-GS가 읽을 수 있는 카메라 모델로 변경. 아래는 fern 데이터에 대한 가공 예시
colmap image_undistorter --image_path datasets/nerf_llff_data/fern/images --input_path datasets/nerf_llff_data/fern/sparse/0 --output_path datasets/nerf_llff_data/processed/fern --output_type COLMAP
그러면 output 디렉토리에 images, sparse, stereo ... 등이 생성되었을 것이며, sparse 디렉토리 안에는 cameras.bin, images.bin, point3D.bin 파일이 존재할 것이다.
sparse 디렉토리 수정
여기에서 sparse 디렉토리 안에 0이라는 이름의 디렉토리를 추가로 생성한 후, 해당 0 디렉토리 안으로 cameras.bin, images.bin, point3D.bin 파일을 이동시키자.
그럼 최종 결과물이 아래와 같을 것이다
이제 3D Gaussian Splatting으로 구동시켜보면 작동한다.
참고
https://github.com/graphdeco-inria/gaussian-splatting/issues/303
Q about COLMAP Camera Model? · Issue #303 · graphdeco-inria/gaussian-splatting
In your dataset_readers.py, the code only handles the camera models SIMPLE_PINHOLE and PINHOLE, but does not handle the SIMPLE_RADIAL type. I would like to ask if there is any rationale for this? T...
github.com
https://github.com/colmap/colmap/issues/2449
Colmap convert camera model simple radial output to pinhole output. · Issue #2449 · colmap/colmap
Is your feature request related to a problem? Please describe. When I use real llff colmap output already given with dataset to run gaussian splatting, it gives me error because the output of the c...
github.com
https://colmap.github.io/cli.html
Command-line Interface — COLMAP 3.9-dev documentation
exhaustive_matcher, vocab_tree_matcher, sequential_matcher, spatial_matcher, transitive_matcher, matches_importer: Perform feature matching after performing feature extraction.
colmap.github.io
https://github.com/graphdeco-inria/gaussian-splatting/issues/272
Camera model error: Colmap data · Issue #272 · graphdeco-inria/gaussian-splatting
I have a question about the camera model of the data: is cameras.bin where the gaussian_splatting model reads the model from? I have a cameras.bin file that I believe specifies PINHOLE model, but I...
github.com
