슬기로운 부자되기

안녕하세요. 오늘은 3D 건축도면 변환을 위해 OpenAI의 shape-e 모델을 활용해 보았습니다.아직은 오픈소스로 개발에 활용해보세요. 1. git에서 코드 확인 : https://github.com/openai/shap-e/blob/main/shap_e/examples/sample_text_to_3d.ipynb shap-e/shap_e/examples/sample_text_to_3d.ipynb at main · openai/shap-eGenerate 3D objects conditioned on text or images. Contribute to openai/shap-e development by creating an account on GitHub.github.com - 수행원리2. 샘플코드를 ..

LGCNS 재직시절 그룹사의 보안관제를 수행하였습니다.그때 SIEM에 하루에만 수백만개의 로그가 있는데 의심 IP만 어떻게 판별할까? 였습니다. 좋은방법은 아래와 같이 있으나, 모두 수작업이 많이 들어가고 수시로 업데이트해야합니다.1. signature를 고도화해서 WAF나 IPS에서 탐지해서 찾는다.2. malicious ip를 db에 업데이트해서 source ip기준 판별 그래서 어떻게 ML이나 AI를 이용해서 해결해 볼 수 있을까 고민해보았습니다. 앞에 블로그 글에서 수행했던 방법은1. 이벤트별 가중치를 부과하여 판별하기2. ML이나 AI로 training후 평가 방식이었습니다. 다만 이번엔 랜덤포레스트와 유사한 방식의 무작위 트리 분류구조 분석인 Isolation Forest 모델로 비정상 IP를..

재직시절 그룹사에 웹취약점 진단을 수행한 적이 있습니다. 앞서 수행했던 방법은 선형을 가정했지만,이번엔 비선형을 가정하여 신경망을 활용하여 학습해보았습니다.  - 해킹 시도 ip를 알고, 신경망을 이용해 분석 - 신경망을 이용할 경우 해킹 시도 ip들을 명확히 분류할 수 있다.  1. 서버 애러 로그 다운로드  server_error_logs.xlsx0.05MB  2. 결과값분류 보고서: precision recall f1-score supportNot Suspicious 0.99 1.00 0.99 198 Suspicious 0.00 0.00 0.00 2 accuracy ..

재직시절 그룹사에 웹취약점 진단을 수행한 적이 있습니다.한쪽은 공격, 한쪽은 방어(IP 차단 or 확인) 방식으로 진행되었었습니다.이번엔 방어자 입장에서 해킹 시도 ip들을 안다고 가정하고 점수화 하는 방법을 했습니다.  - 해킹 or 의심 ip를 알고 해당 활동들을 역으로 SIEM의 애러로그별로 가중치를 계산한다. - 장점 : 유사한 방식의 해킹을 막을 수 있다. - 단점 : 다른 방식의 해킹시도시 SIEM 보안  log의 가중치가 바뀔 수 있다. 1. 서버 애러 로그 다운로드  2. 결과값Optimization terminated successfully. Current function value: 0.018712 Iterations 11 ..

안녕하세요. LG CNS에서 서버admin시절 "Deel Learning로 중요한 로그만 따로 알아서 찾아줄 수 없을까?"에 대해고민이 있었습니다. 이전 https://funscientist.tistory.com/48 글에서는 교차검증으로 장애를 사전판별할 수 있는 방법을 찾으려는 시도였다면이번엔 DL을 이용하여 텍스트 감정분석과 같은 원리로 중요도를 찾는 것입니다. 아래 frame을 토대로 다양한 data를 load하여 활용해 보세요!  - 장애메세지는 문장의 의미를 해석하여 중요한 메세지를 찾을 수 있다. - Bert 사용이유 : 대규모 신경망인 Transformer 아키텍처에 기초, 로컬에서 수행하기에 민감한 정보가 올라가지 않는다.                           (chatgpt처럼..

안녕하세요. 서버admin시절 "ML로 서버 장애를 사전감지할 수 있을까?"에 대해 고민이 있었습니다. 이전 https://funscientist.tistory.com/46 글에서는 가중치를 미리 임의로 입력하여 임계값을 찾는 방식이었다면 이번엔 ML을 이용하여 최대한 여러 가정을 없애고 분석하는 방식으로 수정해 보았습니다. 아래 frame을 토대로 다양한 data를 load하여 활용해 보세요! - 장애는 비선형적으로 일어나며, 장애 발생 한달전 이벤트를 ML(KFold교차검증)을 통해 사전에 감지할 수 있다. - KFold 사용이유 : 다른 방식의 교차검증시 과적합이 발생하여 모델이 무의미 - 사용한 이벤트 파일 : 임의로 chatgpt 4.0을 이용해 1000개 log를 생성 - 엑셀 파일 형태 교차..

안녕하세요. LG CNS에서 보안관제 담당자 시절 "해킹 의심 IP를 종합적인 점수로 감지할 수 있을까?"에 대해 고민이 있었습니다. 아래 처럼 이벤트별 가중치를 줘서 종합점수 기반으로 서버 장애를 찾는 방법으로 하였습니다. 아래 frame을 토대로 다양한 데이터롤 로드하여 활용해 보세요!  - IP별 이벤트 로그를 기반으로 종합점수가 높으면 해킹시도 의심 IP이다. - 사용한 이벤트 파일 : 임의로 chatgpt 4.0을 이용해 1000개 log를 생성   - 엑셀 파일 형태엑셀 파일  - 가짜로 임의로 만든 data이니 진짜 ip로 오인하여 차단 걸지 마세요!전체 IP별 종합 점수: ip_address total_score0 73.25.45.34 101 ..

안녕하세요. 서버admin시절 "종합적인 방법으로 서버 장애를 사전감지할 수 있을까?"에 대해 고민이 있었습니다. 아래 처럼 이벤트별 가중치를 줘서 종합점수 기반으로 서버 장애를 찾는 방법으로 하였습니다. 아래 frame을 토대로 다양한 data를 load하여 활용해 보세요!  - 서버 이벤트별 가중치를 다르게 주어 종합점수의 임계점을 찾으면 장애를 사전감지할 수 있다. - 사용한 이벤트 파일 : 임의로 chatgpt 4.0을 이용해 1000개 log를 생성  - 엑셀 파일 형태 - 위 장애 이벤트는 2개만 하여 상관관계 분석 data로는 부족하지만 임의로 상관계수 0.9이상인 값을 신뢰 임계값으로 가정 상관계수 0.9 이상을 달성한 임계값: 450해당 임계값에서의 상관계수: 0.9999999999999..

안녕하세요. 사진첩의 특정 카테고리 이미지를 찾는데 시간이 오래걸려서,내가 찾고자 하는 이미지를 텍스트로 입력후 transformer이용해서 자동으로 찾아주는 코드를 만들었습니다. 아래 구조를 활용해서 다양한 이미지 classification을 수행해 보시면 좋습니다.  - 아래와 같이 85개 이미지를 잘 찾으나, 기차도 차로 인식하는 아쉬운 점 발견   - 정확도는 아래와 같습니다. 제가 수행한 결과는 ViT이 가장 정확도가 높습니다.간단한 작업: MobileNetV2더 높은 정확도: EfficientNet, ResNet최신 Transformer 기반 모델: ViT - ViT 모델에 잘못 분류한 사진들을 별도 label하여 지도학습(Supervised Learning)을 추가적으로 수행해서 개선이 가능..

안녕하세요. chatgpt4.0 API를 이용해 법률 전문가 솔루션을 만들어 보았습니다.계약서내 임의로 만든 오류 2개를 모두 발견해냅니다. 아래 frame을 토대로 role을 다양하게 부여하여 활용해 보세요!  - 부동산매매 샘플 계약서 : 계약서내 합계금액 오류, 계약자명 불일치 2가지 오류를 의도적으로 발생 전체 분석 결과:계약서 검토 결과 다음과 같은 문제점들을 발견했습니다.1. 매매 대금 부분에서 한글로 쓰인 금액과 숫자로 표현된 금액이 틀립니다. "본 부동산의 매매 대금은 금 **삼억 원정(₩400,000,000)**으로 한다."에서 한글로 쓰인 금액은 삼억 원이지만, 숫자로 표현된 금액은 4억 원입니다. 부분이 일치하지 않습니다. 2. 매도인 (을) 부분에서 이름이 매도인(갑)인 홍길동과 매..