슬기로운 부자되기

안녕하세요. LG CNS에서 보안관제 담당자 시절 "해킹 의심 IP를 종합적인 점수로 감지할 수 있을까?"에 대해 고민이 있었습니다. 아래 처럼 이벤트별 가중치를 줘서 종합점수 기반으로 서버 장애를 찾는 방법으로 하였습니다. 아래 frame을 토대로 다양한 데이터롤 로드하여 활용해 보세요!  - IP별 이벤트 로그를 기반으로 종합점수가 높으면 해킹시도 의심 IP이다. - 사용한 이벤트 파일 : 임의로 chatgpt 4.0을 이용해 1000개 log를 생성   - 엑셀 파일 형태엑셀 파일  - 가짜로 임의로 만든 data이니 진짜 ip로 오인하여 차단 걸지 마세요!전체 IP별 종합 점수: ip_address total_score0 73.25.45.34 101 ..

안녕하세요. 서버admin시절 "종합적인 방법으로 서버 장애를 사전감지할 수 있을까?"에 대해 고민이 있었습니다. 아래 처럼 이벤트별 가중치를 줘서 종합점수 기반으로 서버 장애를 찾는 방법으로 하였습니다. 아래 frame을 토대로 다양한 data를 load하여 활용해 보세요!  - 서버 이벤트별 가중치를 다르게 주어 종합점수의 임계점을 찾으면 장애를 사전감지할 수 있다. - 사용한 이벤트 파일 : 임의로 chatgpt 4.0을 이용해 1000개 log를 생성  - 엑셀 파일 형태 - 위 장애 이벤트는 2개만 하여 상관관계 분석 data로는 부족하지만 임의로 상관계수 0.9이상인 값을 신뢰 임계값으로 가정 상관계수 0.9 이상을 달성한 임계값: 450해당 임계값에서의 상관계수: 0.9999999999999..

안녕하세요. 사진첩의 특정 카테고리 이미지를 찾는데 시간이 오래걸려서,내가 찾고자 하는 이미지를 텍스트로 입력후 transformer이용해서 자동으로 찾아주는 코드를 만들었습니다. 아래 구조를 활용해서 다양한 이미지 classification을 수행해 보시면 좋습니다.  - 아래와 같이 85개 이미지를 잘 찾으나, 기차도 차로 인식하는 아쉬운 점 발견   - 정확도는 아래와 같습니다. 제가 수행한 결과는 ViT이 가장 정확도가 높습니다.간단한 작업: MobileNetV2더 높은 정확도: EfficientNet, ResNet최신 Transformer 기반 모델: ViT - ViT 모델에 잘못 분류한 사진들을 별도 label하여 지도학습(Supervised Learning)을 추가적으로 수행해서 개선이 가능..

안녕하세요. chatgpt4.0 API를 이용해 법률 전문가 솔루션을 만들어 보았습니다.계약서내 임의로 만든 오류 2개를 모두 발견해냅니다. 아래 frame을 토대로 role을 다양하게 부여하여 활용해 보세요!  - 부동산매매 샘플 계약서 : 계약서내 합계금액 오류, 계약자명 불일치 2가지 오류를 의도적으로 발생 전체 분석 결과:계약서 검토 결과 다음과 같은 문제점들을 발견했습니다.1. 매매 대금 부분에서 한글로 쓰인 금액과 숫자로 표현된 금액이 틀립니다. "본 부동산의 매매 대금은 금 **삼억 원정(₩400,000,000)**으로 한다."에서 한글로 쓰인 금액은 삼억 원이지만, 숫자로 표현된 금액은 4억 원입니다. 부분이 일치하지 않습니다. 2. 매도인 (을) 부분에서 이름이 매도인(갑)인 홍길동과 매..

안녕하세요. GRIT GIVER 이성용입니다. 서지영님 저 "랭체인으로 LLM 기반의 AI 서비스 개발하기" 책에 대한 소개를 합니다.일단 본 책의 가장 적합한 독자는 AI를 활용하고 싶은데 어떻게 해야하지? 라는 의문을 갖고 계신분입니다. AI,ML에 대한 기본적인 개념을 초반에 자세히 분류체계를 갖추어 잘 설명해주셨습니다.기본개념아래 랭체인이라는 AI 플랫폼에 RAG, Chatgpt4.0엔진을 얹어 원하는 형태의 LLM 어플리케이션을 개발 할 수 있는 샘플 코드들도 여러개 있습니다. 이 책을 읽기 전에 후기부터 보았는데, 후기중 불만이 가장 많은 부분은 오류가 많다는 것이었습니다.관련 오류 관련해서는 제가 이전에 올린 글인 https://funscientist.tistory.com/21 이것도 참고하..

안녕하세요. 오늘은 캐글 커뮤니티에 있는 데이터를 기반으로 Sales를 아래처럼 ARIMA&Prophet이 아닌 TFDF로 예측분석해보았습니다. ARIMA&prophet은 계절성과 같이 특정 주기적 속성을 부여하여 분석하기엔 유용하지만, 그럴경우 설명이 힘들고 오히려 특이치를 벗어날 수 있어 TFDF로 바꾸어서 수행하였씁니다. 캐글 주소 : https://www.kaggle.com/code/philipdekim/sales-forcasting-based-on-arima-prophet/edit Sales Forcasting based on ARIMA & Prophet Explore and run machine learning code with Kaggle Notebooks | Using data from N..

안녕하세요. 오늘은 VGG16모델을 이용하여 이미지를 분석해보았습니다. * VGG16 모델 : 16개의 레이어를 지원하는 VGG 모델 또는 VGGNet은 옥스포드 대학의 A. Zisserman과 K. Simonyan이 제안한 컨볼루션 신경망 모델입니다. 결과는 아쉽게도 기린을 잘 예측을 못했습니다 ㅜ 심지어 기린일 확률 자체도 0%네요.. (원인은 아래 5번을 참고하세요) 1. 이미지를 저장하기(pixabay 무료이미지 아무거나 저장) - 저는 기린으로 검색된 이미지 4장을 준비하였습니다.(https://pixabay.com/) 2. VGG16 import import numpy as np from tensorflow.keras.preprocessing import image from tensorflow..

안녕하세요. 파이썬으로 감정분석을 해보았습니다. 기존에는 긍정, 부정적인 word를 일일히 0,1 index를 부여하면서 ML을 수행했습니다. 그런데 transformers라는 라이브러리를 이용하여 분석보고서를 모두 읽지 않고 감정을 알아낼 수 있습니다. 세계 경제전망에 대한 유명 보고서들을 모두 모아서 분석하면 신뢰도 높은 결과를 얻을 수 있을거 같습니다. 결론 : 보고서 전체를 읽지 않고 transformer 라이브러리를 이용하여 분석가능. 결과 : 약 74%의 확률로 부정적임을 알 수 있었습니다. [{'label': 'NEGATIVE', 'score': 0.7457375526428223}] cf) 카톡 대화내용을 내보내기하여 자기가 사용하는 단어가 긍정/부정인지를 통해 대화 습관을 개선하는데에도 도..

안녕하세요. 요즘 경기하락세 중에서도 가장 타격이 큰 분야는 건설PF 분야인거같습니다. 태영건설68종목을 장내거래로 1개월전에 소액 매입하였습니다. 일반적으로 부실채권의 경우 회수율이 60%정도 도달할 걸로 예상되어, 직접 매입해보았습니다. 그런데 정말 회수율은 어느정도일까?가 궁금하여 여러 데이터를 찾아보았습니다. 1. 태영건설 재무재표(자산,부채,자본) - 부채비율(부채/자본) = 260%(2023.09월 재무제표기준) 으로 상당히 높습니다. 특히 2023년에 급등하였습니다. 2. 태영건설68 채권정보 - 요약정보 : 선순위, 무보증 일반사채 3. 채권 회수율 관련 논문 데이터 - 표 요약 설명 : 패널 A기준 다중 채권추심제도 회수율 - 표를 기준으로 할 경우 회수율 : 0.598(무보증, 비매출)..

안녕하세요. 저는 현재 포트폴리오의 대부분을 장기 미국 국채로 설정하였습니다. 암묵적으로 채권수익률과 채권가격이 역의 상관관계라는 것은 알지만, 대부분의 차트는 수익률만 보여주기에, 가격과 정확히 어느정도로 연관성이 있을지 궁금했습니다. 결론은 2008경제 위기와 동일한 가정을 할 경우 약 56%의 수익률이 발생합니다. 1. 먼저 30년 만기 미국국채 수익률 차트를 살펴봤습니다. - 채권수익률이 2008년 금융위기 전후로 약 4.5% --> 2.5%까지 감소하였었습니다. 2. 수익률과 채권가격간의 상관관계를 시각화해보았습니다. - 수익률에 상당히 민감하게 가격이 반응합니다. 3. 2008위기와 동일한 채권 수익률이 4.5% --> 2.5%로 낮아질 경우의 채권가격 예상 3.1 가정 - 채권의 액면가 : ..