밍스토리

보호되어 있는 글입니다.

우리가 '무엇을 보는 것'이 아니라, '무엇을 무엇으로 본다는 것'이다. 우리의 인식은 일종의 해석이다. -토마스쿤- 정수기 렌탈 비정상 계약 예측 비정상 계약으로 손실이 큼 → 고객정보와 과거 패턴 분석 후 예측 모델 만듦 수요량 예측 매장에서의 발주 정확도를 높이기 위해 → 6개 매장 200개 상품의 일별 수요량을 예측하는 알고리즘 개발 고객이 AI전문가에게 던지는 질문 모델이 왜 그렇게 예측을 했는지? 모델은 비즈니스 문제를 해결할 수 있는지? 인공지능이 예측한 결과에 대해서 사람들은 무엇을 어디까지 신뢰할까? Interpretability(해석) vs. Explainability(설명) Interpretability(해석) Input에 대해 모델 왜 그런 Output을 예측했는가? Whitebox..

1. 선형 회귀 아이스크림 판매량에 영향을 주는 요소 → 온도, 습도, 전단지... 식으로 나타낸다면 판매량 = 5*온도 -8*습도 +20*광고횟수+4 2. 로지스틱 회귀 아이스크림 방문 구매여부에 영향을 주는 요소 → 매장 방문 횟수, 온라인 주문 횟수... 식으로 나타낸다면 방문구매 여부 = 5*매장방문 횟수 -4*온라인주문횟수-10 3. 멀티 클래스 분류 꽃의 종(3종류)을 구분하는 요소 → Sepal L/W, Petal L/W 가장 확률 높은 클래스를 고르는 것 one-hot encoding / softmax function 선형 회귀 로지스틱 회귀 멀티클래스 분류 output layer activation X(or linear) sigmoid softma..

▽ 머신러닝 1. 지도학습 : 학습 대상이 되는 데이터에 정답을 주어 규칙성, 즉 데이터의 패턴을 배우게 하는 학습 방법 분류 : 어떤 그룹에 속하게 될 것인지를 판단함 회귀 : 어떤 값이 될 것인지 예측 2. 비지도 학습 : 정답이 없는 데이터 만으로 배우게 하는 학습 방법 군집화 : 비슷한 것들을 찾아서 그룹으로 묶음 변환 : 쉽게 이해할 수 있는 형태로 데이터를 표현 연관 : 서로 연관된 특징을 찾아냄 (장바구니 분석) 3. 강화학습 : 선택한 결과에 대해 보상을 받아 행동을 개선하면서 배우게 하는 학습 방법 지도학습 - 분류와 회귀 : 회귀는 연속적인 숫자를 예측하는 것 ※ 예측해야 할 값에 연속성이 있는지 확인하면 분류와 회귀를 쉽게 구분할 수 있음 모델(Model) 데이터로부터 패턴을 찾아 수..

selenium 자동화를 목적으로 만들어진 다양한 브라우져와 언어를 지원하는 라이브러리 크롬 브라우져 설치 크롬 브라우져 드라이버 다운로드 해야함 !! → 주피터 노트북 파일과 동일한 디렉토리에 chromedriver.exe 파일 업로드 크롬 브라우져와 같은 버전으로 다운 받는다 import pandas as pd from selenium import webdriver from selenium.webdriver.common.by import By driver = webdriver.Chrome() driver.get('https://daum.net') 코드 실행하면 자동으로 창이 뜬다 !! 검색창에 '파이썬' 입력하고 검색하기 돋보기 버튼 누르기 ↓ driver.find_element(By.CSS_SELE..

지금까지는 동적 웹페이지 데이터를 수집했다면....! 이번에는 정적 웹페이지 데이터를 수집한다 ▽ 아직도 차이점을 모른다면 아래 글 필독 https://mingjuu.tistory.com/14 Web Crwaling ① - basic 웹 크롤링을 하기전에 알아야 할 것들 !! (1) Client & Server Client 브라우져를 통해 서버에 데이터를 요청 Server Client가 데이터를 요청하면 요청에 따라 데이터를 전송 (2) Get & Post Get Url에 데이터가 포 mingjuu.tistory.com 정적 웹페이지에서 데이터를 파싱할 때는 json(str) > list, dict > DataFrame → 이런 절차 하지만 이번 네이버 연관 검색어 수집에서는 BeautifulSoup를 ..

Zigbang 원룸 매물 데이터 수집 동이름으로 매물 데이터를 수집해보겠습니다 ! ▽ 과정 동이름으로 위도 경도 구하기 → 위도 경도로 geohash 알아내기 → geohash로 매물 아이디 가져오기 → 매물 아이디로 매물 정보 가져오기 (1) 동이름으로 위도 경도 구하기 총 세단계를 거쳐아 한다. URL requests > response : json(str) json(str) > lat, lng https://www.zigbang.com/ No.1 부동산 앱, 직방 여기를 눌러 링크를 확인하세요. www.zigbang.com 아파트 빌라, 투룸, 원룸 등.. 다양한 옵션이 있지만 그 중 원룸 데이터를 수집 ! Request URL은 한글이 있기 때문에 decode해서 사용해야 한다 디코더/인코더 사이..

Daum Exchange 서버에서 어뷰징을 막는 경우 해결 방법 전 게시물과 같은 방법으로 크롤링을 진행하지만... 접근이 불가능한 경우에는 서버 개발자의 코드를 알 수 없으니 user-agent와 referer을 건드려 접근한다 ⊙ Referer란.....? : HTTP 리퍼러는 웹 브라우저로 월드 와이드 웹을 서핑할 때, 하이퍼링크를 통해서 각각의 사이트로 방문시 남는 흔적 !! 예를 들어 A라는 웹 페이지에 B 사이트로 이동하는 하이퍼링크가 존재한다고 하자. 이때 웹 사이트 이용자가 이 하이퍼링크를 클릭하게 되면 웹 브라우저에서 B 사이트로 참조 주소(리퍼러)를 전송하게 된다. B 사이트의 관리자는 이 전송된 리퍼러를 보고 방문객이 A 사이트를 통해 자신의 사이트에 방문한 사실을 알 수 있다. → ..

1. 웹서비스 분석 : url Crwaling Naver Stock Datas 네이버 증권 사이트에서 주가 데이터 수집 → pc 웹페이지가 복잡하면 mobile 웹페이지에서 수집한다 크롬 → naver.com → 오른쪽 상단 점 세개 클릭 → 도구 더보기 → 개발자 도구 표시된 부분 클릭하면 모바일 화면으로 바뀐다 이게 안된다면 ↓ https://m.stock.naver.com 코스피 - 네이버 증권 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 m.stock.naver.com 네이버 증권(모바일) 화면에서 개발자도구 - Network - Headers 확인하면 Requests URL도 알 수 있다 ! 빨간 블럭 클릭 ! 이 화면이 나왔다면 다음으로 넘어가시오... 밑으로 쭉 내라면 일별 시세를 확인..