슬기로운 부자되기

안녕하세요. 오늘은 3D 건축도면 변환을 위해 OpenAI의 shape-e 모델을 활용해 보았습니다.아직은 오픈소스로 개발에 활용해보세요. 1. git에서 코드 확인 : https://github.com/openai/shap-e/blob/main/shap_e/examples/sample_text_to_3d.ipynb shap-e/shap_e/examples/sample_text_to_3d.ipynb at main · openai/shap-eGenerate 3D objects conditioned on text or images. Contribute to openai/shap-e development by creating an account on GitHub.github.com - 수행원리2. 샘플코드를 ..

안녕하세요. 인터넷  상의 도메인서비스(예를들면 www.naver.com, www.daum.net 등)의 정상 서비스 여부를 check하는파이썬 코드를 만들었습니다.  아래 파이썬 코드를 참고해서 본인이 담당하고 있는 서비스의 주소만 바꾸어서 활용하세요 - 구글 코랩 주소 : https://colab.research.google.com/drive/1cJ6YynLBc0jiY3P3iCWGpJXR4Njlwr2G?usp=sharing [결과값] [Error 발생 기준]1. Response Code가 200 정상 코드 외 발생시(ex, 404 등)2. 서비스 response time이 10초 이상 걸릴때3. 위 1,2번 애러 발생시에만 설정한 이메일로 alert(이메일 알람으로 해서 장애에 신속히 대응 가능하게 ..

안녕하세요. 시중에 많은 포트스캐너 툴들이 있는데요, 간단히 파이썬으로 만들었습니다.외부인터넷망의 서버의 경우 아래 구글 코랩을 수행해서 활용해보세요    - 취약한 포트(21,23 등)을 먼저 스캔후 이외 포트들을 검색하는 것으로 수행 - 상세 구글 코랩(파이썬 설치없이도 수행가능) : https://colab.research.google.com/drive/1VW731-QVOIfPnfy_UGcj19BoiKqj_xua?usp=sharing port scanner.ipynbColab notebookcolab.research.google.com

LGCNS 재직시절 그룹사의 보안관제를 수행하였습니다.그때 SIEM에 하루에만 수백만개의 로그가 있는데 의심 IP만 어떻게 판별할까? 였습니다. 좋은방법은 아래와 같이 있으나, 모두 수작업이 많이 들어가고 수시로 업데이트해야합니다.1. signature를 고도화해서 WAF나 IPS에서 탐지해서 찾는다.2. malicious ip를 db에 업데이트해서 source ip기준 판별 그래서 어떻게 ML이나 AI를 이용해서 해결해 볼 수 있을까 고민해보았습니다. 앞에 블로그 글에서 수행했던 방법은1. 이벤트별 가중치를 부과하여 판별하기2. ML이나 AI로 training후 평가 방식이었습니다. 다만 이번엔 랜덤포레스트와 유사한 방식의 무작위 트리 분류구조 분석인 Isolation Forest 모델로 비정상 IP를..

안녕하세요. 주식투자하시는 분이라면 2024년 9월에 미국 연준에 기준금리를 인하하고 S&P500 지수가 어떤 흐름을 보일지 관심이 많습니다.아래는 기준금리는 FRED API를 이용해서 수집, S&P500지수는 yfinance API를 이용해 수집하여 분석하였습니다. 정량적 분석을 활용해서 분석하고 싶으신 분들은 아래사항 참고하세요. 1. 결과표 Probability of decline after 4 months: 35.00%Average decline after 4 months (for decline cases): -7.73% - 결과 해석 : 금리이하후 4개월뒤 S&P500 지수 하락 가능성 35%, 평균 하락율 -7.73%   ==> 통계의 함정으로 정확히 해석하면 금리가 상승기조를 유지하다가 하락..

재직시절 그룹사에 웹취약점 진단을 수행한 적이 있습니다. 앞서 수행했던 방법은 선형을 가정했지만,이번엔 비선형을 가정하여 신경망을 활용하여 학습해보았습니다.  - 해킹 시도 ip를 알고, 신경망을 이용해 분석 - 신경망을 이용할 경우 해킹 시도 ip들을 명확히 분류할 수 있다.  1. 서버 애러 로그 다운로드  server_error_logs.xlsx0.05MB  2. 결과값분류 보고서: precision recall f1-score supportNot Suspicious 0.99 1.00 0.99 198 Suspicious 0.00 0.00 0.00 2 accuracy ..

재직시절 그룹사에 웹취약점 진단을 수행한 적이 있습니다.한쪽은 공격, 한쪽은 방어(IP 차단 or 확인) 방식으로 진행되었었습니다.이번엔 방어자 입장에서 해킹 시도 ip들을 안다고 가정하고 점수화 하는 방법을 했습니다.  - 해킹 or 의심 ip를 알고 해당 활동들을 역으로 SIEM의 애러로그별로 가중치를 계산한다. - 장점 : 유사한 방식의 해킹을 막을 수 있다. - 단점 : 다른 방식의 해킹시도시 SIEM 보안  log의 가중치가 바뀔 수 있다. 1. 서버 애러 로그 다운로드  2. 결과값Optimization terminated successfully. Current function value: 0.018712 Iterations 11 ..

오늘 쓴 독후감은 허정준 저 "LLM을 활용한 실전 AI 어플리케이션 개발" 입니다.이 책을 완독후 한 단어로 요약하면 "교과서"입니다.LLM의 개념, 성능, 운영 까지 전반적인 LLM의 개념을 석사/박사급으로 정리를 잘 해두었습니다.앞으로 이 책을 제가 LLM에서 헤맬때 기본 구조를 다시 파악하는 데 사용할 예정입니다.AI비전공자로서 AI, LLM관련 도서를 5권정도 읽었지만, 대부분 어떤 개발건의 예시만 있지 왜 이 방법을 써야하고 이 방법이 갖는 장/단점은 무엇인지에 대한 설명은 없었습니다.하지만 이 책은 개념부터 차근차근 설명하면서, 실제 코드로 구현하고 검증까지 해보기에 정말 의미가 깊습니다.그리고 LLM모델의 평가, 운영, 멀티모달 관점에서는 생각해 본 적이 없었는데, 그부분까지 생각 할 수 ..

안녕하세요. LG CNS에서 서버admin시절 "Deel Learning로 중요한 로그만 따로 알아서 찾아줄 수 없을까?"에 대해고민이 있었습니다. 이전 https://funscientist.tistory.com/48 글에서는 교차검증으로 장애를 사전판별할 수 있는 방법을 찾으려는 시도였다면이번엔 DL을 이용하여 텍스트 감정분석과 같은 원리로 중요도를 찾는 것입니다. 아래 frame을 토대로 다양한 data를 load하여 활용해 보세요!  - 장애메세지는 문장의 의미를 해석하여 중요한 메세지를 찾을 수 있다. - Bert 사용이유 : 대규모 신경망인 Transformer 아키텍처에 기초, 로컬에서 수행하기에 민감한 정보가 올라가지 않는다.                           (chatgpt처럼..

안녕하세요. 서버admin시절 "ML로 서버 장애를 사전감지할 수 있을까?"에 대해 고민이 있었습니다. 이전 https://funscientist.tistory.com/46 글에서는 가중치를 미리 임의로 입력하여 임계값을 찾는 방식이었다면 이번엔 ML을 이용하여 최대한 여러 가정을 없애고 분석하는 방식으로 수정해 보았습니다. 아래 frame을 토대로 다양한 data를 load하여 활용해 보세요! - 장애는 비선형적으로 일어나며, 장애 발생 한달전 이벤트를 ML(KFold교차검증)을 통해 사전에 감지할 수 있다. - KFold 사용이유 : 다른 방식의 교차검증시 과적합이 발생하여 모델이 무의미 - 사용한 이벤트 파일 : 임의로 chatgpt 4.0을 이용해 1000개 log를 생성 - 엑셀 파일 형태 교차..