문장,단어로 3D 이미지 만들기(openai의 shape-e 모델 활용)

안녕하세요.

 

오늘은 3D 건축도면 변환을 위해 OpenAI의 shape-e 모델을 활용해 보았습니다.

아직은 오픈소스로 개발에 활용해보세요.

 

1. git에서 코드 확인 : https://github.com/openai/shap-e/blob/main/shap_e/examples/sample_text_to_3d.ipynb

shap-e/shap_e/examples/sample_text_to_3d.ipynb at main · openai/shap-e

 - 수행원리

2. 샘플코드를 실행하여 실제 잘 구현되는지 확인

 1) 건축에 적용하고자 한 입력값 : 1층당 전용면적이 84m^2인 30층짜리 아파트를 3D로 만들어줘

prompt = "a 30th floor apartment with 2 units per floor and an exclusive area of ​​84m^2 per unit."

 

 2) 샘플코드 실행방법

   - colab에서 런타임 T4 GPU로 변경

   - 랜더링 사이즈 : 128로 변경

 

 3) 코랩 실행 링크 : https://colab.research.google.com/drive/1Hi38Q_BEXWSBpeHRFOUGsMhoZur9Y0f5?usp=sharing

 - 원하는 이미지를 : prompt 값만 변경하여 실행해 보시면 됩니다.

3. 결과값

3D 랜더링 이미지

3D 랜더링 이미지

3D 랜더링 이미지

 

- 결론 : 상업적으로 쓰기에는 3D 랜더링 품질이 낮아, 더 많은 학습이 필요

 - 추후 학습 방법 : 건축도면과 3D이미지를 라벨링, 라벨링할때 문,창문,외벽,기둥 등 좀더 2D 캐드 도면에 가까운 단위로 라벨링 필요

 - 이외 도메인도 마찬가지 방법으로 추가 학습 필요.

 

4. 참고 : https://github.com/nv-tlabs/LLaMA-Mesh/blob/main/app.py LLaMA Mesh로도 수행 가능

 

 

감사합니다.