슬기로운 부자되기

안녕하세요. 오늘은 3D 건축도면 변환을 위해 OpenAI의 shape-e 모델을 활용해 보았습니다.아직은 오픈소스로 개발에 활용해보세요. 1. git에서 코드 확인 : https://github.com/openai/shap-e/blob/main/shap_e/examples/sample_text_to_3d.ipynb shap-e/shap_e/examples/sample_text_to_3d.ipynb at main · openai/shap-eGenerate 3D objects conditioned on text or images. Contribute to openai/shap-e development by creating an account on GitHub.github.com - 수행원리2. 샘플코드를 ..

LGCNS 재직시절 그룹사의 보안관제를 수행하였습니다.그때 SIEM에 하루에만 수백만개의 로그가 있는데 의심 IP만 어떻게 판별할까? 였습니다. 좋은방법은 아래와 같이 있으나, 모두 수작업이 많이 들어가고 수시로 업데이트해야합니다.1. signature를 고도화해서 WAF나 IPS에서 탐지해서 찾는다.2. malicious ip를 db에 업데이트해서 source ip기준 판별 그래서 어떻게 ML이나 AI를 이용해서 해결해 볼 수 있을까 고민해보았습니다. 앞에 블로그 글에서 수행했던 방법은1. 이벤트별 가중치를 부과하여 판별하기2. ML이나 AI로 training후 평가 방식이었습니다. 다만 이번엔 랜덤포레스트와 유사한 방식의 무작위 트리 분류구조 분석인 Isolation Forest 모델로 비정상 IP를..

재직시절 그룹사에 웹취약점 진단을 수행한 적이 있습니다. 앞서 수행했던 방법은 선형을 가정했지만,이번엔 비선형을 가정하여 신경망을 활용하여 학습해보았습니다.  - 해킹 시도 ip를 알고, 신경망을 이용해 분석 - 신경망을 이용할 경우 해킹 시도 ip들을 명확히 분류할 수 있다.  1. 서버 애러 로그 다운로드  server_error_logs.xlsx0.05MB  2. 결과값분류 보고서: precision recall f1-score supportNot Suspicious 0.99 1.00 0.99 198 Suspicious 0.00 0.00 0.00 2 accuracy ..

오늘 쓴 독후감은 허정준 저 "LLM을 활용한 실전 AI 어플리케이션 개발" 입니다.이 책을 완독후 한 단어로 요약하면 "교과서"입니다.LLM의 개념, 성능, 운영 까지 전반적인 LLM의 개념을 석사/박사급으로 정리를 잘 해두었습니다.앞으로 이 책을 제가 LLM에서 헤맬때 기본 구조를 다시 파악하는 데 사용할 예정입니다.AI비전공자로서 AI, LLM관련 도서를 5권정도 읽었지만, 대부분 어떤 개발건의 예시만 있지 왜 이 방법을 써야하고 이 방법이 갖는 장/단점은 무엇인지에 대한 설명은 없었습니다.하지만 이 책은 개념부터 차근차근 설명하면서, 실제 코드로 구현하고 검증까지 해보기에 정말 의미가 깊습니다.그리고 LLM모델의 평가, 운영, 멀티모달 관점에서는 생각해 본 적이 없었는데, 그부분까지 생각 할 수 ..

안녕하세요. LG CNS에서 서버admin시절 "Deel Learning로 중요한 로그만 따로 알아서 찾아줄 수 없을까?"에 대해고민이 있었습니다. 이전 https://funscientist.tistory.com/48 글에서는 교차검증으로 장애를 사전판별할 수 있는 방법을 찾으려는 시도였다면이번엔 DL을 이용하여 텍스트 감정분석과 같은 원리로 중요도를 찾는 것입니다. 아래 frame을 토대로 다양한 data를 load하여 활용해 보세요!  - 장애메세지는 문장의 의미를 해석하여 중요한 메세지를 찾을 수 있다. - Bert 사용이유 : 대규모 신경망인 Transformer 아키텍처에 기초, 로컬에서 수행하기에 민감한 정보가 올라가지 않는다.                           (chatgpt처럼..

안녕하세요. 서버admin시절 "ML로 서버 장애를 사전감지할 수 있을까?"에 대해 고민이 있었습니다. 이전 https://funscientist.tistory.com/46 글에서는 가중치를 미리 임의로 입력하여 임계값을 찾는 방식이었다면 이번엔 ML을 이용하여 최대한 여러 가정을 없애고 분석하는 방식으로 수정해 보았습니다. 아래 frame을 토대로 다양한 data를 load하여 활용해 보세요! - 장애는 비선형적으로 일어나며, 장애 발생 한달전 이벤트를 ML(KFold교차검증)을 통해 사전에 감지할 수 있다. - KFold 사용이유 : 다른 방식의 교차검증시 과적합이 발생하여 모델이 무의미 - 사용한 이벤트 파일 : 임의로 chatgpt 4.0을 이용해 1000개 log를 생성 - 엑셀 파일 형태 교차..

안녕하세요. 사진첩의 특정 카테고리 이미지를 찾는데 시간이 오래걸려서,내가 찾고자 하는 이미지를 텍스트로 입력후 transformer이용해서 자동으로 찾아주는 코드를 만들었습니다. 아래 구조를 활용해서 다양한 이미지 classification을 수행해 보시면 좋습니다.  - 아래와 같이 85개 이미지를 잘 찾으나, 기차도 차로 인식하는 아쉬운 점 발견   - 정확도는 아래와 같습니다. 제가 수행한 결과는 ViT이 가장 정확도가 높습니다.간단한 작업: MobileNetV2더 높은 정확도: EfficientNet, ResNet최신 Transformer 기반 모델: ViT - ViT 모델에 잘못 분류한 사진들을 별도 label하여 지도학습(Supervised Learning)을 추가적으로 수행해서 개선이 가능..

안녕하세요. chatgpt4.0 API를 이용해 법률 전문가 솔루션을 만들어 보았습니다.계약서내 임의로 만든 오류 2개를 모두 발견해냅니다. 아래 frame을 토대로 role을 다양하게 부여하여 활용해 보세요!  - 부동산매매 샘플 계약서 : 계약서내 합계금액 오류, 계약자명 불일치 2가지 오류를 의도적으로 발생 전체 분석 결과:계약서 검토 결과 다음과 같은 문제점들을 발견했습니다.1. 매매 대금 부분에서 한글로 쓰인 금액과 숫자로 표현된 금액이 틀립니다. "본 부동산의 매매 대금은 금 **삼억 원정(₩400,000,000)**으로 한다."에서 한글로 쓰인 금액은 삼억 원이지만, 숫자로 표현된 금액은 4억 원입니다. 부분이 일치하지 않습니다. 2. 매도인 (을) 부분에서 이름이 매도인(갑)인 홍길동과 매..

안녕하세요. 엑셀파일 원본으로 1분만에 Data분석하는 방법을 알려드리겠습니다. 1. 먼저 엑셀로 된 데이터를 준비합니다. - 저는 한국은행 통계데이터중 소비자물가 상승률을 업로드해보았습니다. 2. Chatgpt를 만든 openai의 data analyst를 이용합니다. - www.chat.openai.com --> Data Analyst 실행 3. 데이터 로드 4. 질문한 내용 : 소비자물가 상승률을 시각화해주세요 5. 응답결과 6. 추가질문 7.결과값 상기와같이 빠른 결과값을 받을 수 있음에 놀랐습니다. 불과 5분만에 data시각화 및 상관계수까지 구한것입니다. 중간에 오류가 뜨면 결측치까지 수정을 해줍니다. AI로 정말 답변의 정확성이 높아져서, 활용할 수 있는 곳은 무궁무진합니다. 참고하시어 간단..