본문 바로가기

728x90

hands-on machine learning

문돌이 존버/데이터 분석 2021. 6. 17.
핸즈온 머신러닝 2 복습하기(챕터 8: 차원 축소) CH 8. 차원 축소 많은 경우 머신러닝 문제는 훈련 샘플 각각이 수천 심지어 수백만 개의 특성을 가지고 있다. 이는 훈련을 느리게 하고 좋은 솔루션을 찾기 힘든데, 이를 차원의 저주(curse of dimensionality)라고 한다. 차원을 축소시키면 일부 정보가 유실될 수 밖에 없어, 훈련 속도는 빨라지지만 시스템 성능이 조금 나빠질 수 있다는 양면성이 존재한다. 따라서 차원 축소를 실행하기 전 훈련이 너무 느린지 원본 데이터로 시스템을 훈련시켜봐야 한다. (주의) 차원이 축소된다고 해서 언제나 학습 시간을 줄여주는 것은 아니다. 데이터셋, 알고리즘, 모델에 따라 상황이 달라진다. 8.2.1 투영 대부분의 실전 문제는 훈련 샘플이 모든 차원에 걸쳐 균일하게 퍼져 있지 않다. 많은 특성은 거의 변화..
문돌이 존버/데이터 분석 2020. 9. 30.
핸즈온 머신러닝 2 복습하기(챕터 4: 모델 훈련) CH 4. 모델 훈련 정규방정식(normal equation) 비용 함수를 최소화하는 $\theta$ 값을 찾기 위한 해석적인 방법이 있다. 이를 정규방정식이라고 한다. $\Theta=(X^TX)^{-1}X^Ty$ 이 공식을 테스트하기 위해 선형처럼 보이는 데이터를 생성해본다. 선형 함수는 $y = 4 + 3x_1 + gaussian_noise$ 이다. import numpy as np # np.random.randint(n, m): n과 m-1 사이에서 랜덤 숫자 뽑기 X = 2 * np.random.rand(100, 1) # rand: 0~1 사이의 균일분포 표준정규분포 난수 생성 y = 4 + 3 * X + np.random.randn(100, 1) # 기댓값이 0이고 표준편차가 1인 가우시안 표준..
문돌이 존버/데이터 분석 2020. 9. 8.
핸즈온 머신러닝 2 연습 문제 코드(Classification) 이번엔 분류 챕터의 연습 문제 중 하나인 스팸 메일 분류를 살펴보겠습니다. 물론, 박해선님의 깃허브 코드를 참고했고 거기도 설명을 잘해주셨지만 저와 같은 초보는 더 많은 주석이 필요하더라구요... ㅠ 공부도 할겸 제가 각종 모듈, 함수 등을 찾아봤고 이를 더 잘 이해하기 위해 주석을 마구 달아놓았습니다. 혹시나 더 친절한 설명이 필요하신 분이 있다면 초록색 주석을 살펴보시면 좋을 것 같네요~ 이번엔 코드가 비교적 길어 구글 코랩 파일을 공유하도록 하겠습니다. 저도 잘못 이해한 부분이 많을 수 있습니다. 참고는 하되 의문이 간다면 바로 피드백을 주시면 감사하겠습니다! 핸즈온 머신러닝 2 분류 파트 연습 문제(스팸 필터) Google Colaboratory colab.research.google.com
문돌이 존버/데이터 분석 2020. 9. 2.
핸즈온 머신러닝 2 복습하기(챕터 3: 분류) 오차 행렬(confusion matrix) 분류기의 성능을 평가하는 더 좋은 방법이다. 쉽게 말해 클래스 A의 샘플이 클래스 B로 분류된 횟수를 세는 것이다. 오차 행렬을 만들려면 실제 타깃과 비교할 수 있도록 먼저 예측값을 만들어야 한다. 테스트 세트로 예측을 만들 수 있지만 테스트 세트는 프로젝트의 맨 마지막에 사용되어야 한다. 대신 cross_val_predict() 함수를 사용하면 된다. from sklearn.model_selection import cross_val_predict y_train_pred = cross_val_predict(sgd_clf, X_train, y_train_5, cv=3) from sklearn.metrics import confusion_matrix confusio..
문돌이 존버/데이터 분석 2020. 8. 31.
핸즈온 머신러닝 2 복습하기(챕터 2:처음부터 끝까지, 챕터 3: 분류) 모델 세부 튜닝 - 그리드 탐색으로 사이킷런의 GridSearchCV를 사용하면 된다. 그러면 가능한 모든 하이퍼파라미터 조합에 대해 교차 검증을 사용해 평가한다. from sklearn.model_selection import GridSearchCV param_grid = [ {'n_estimators': [3, 10, 30], 'max_features': [2, 4, 6, 8]}, {'bootstrap': [False], 'n_estimators': [3, 10], 'max_features': [2, 3, 4]}, ] forest_reg = RandomForestRegressor() gird_search = GridSearchCV(forest_reg, param_grid, cv=5, scoring='..
문돌이 존버/데이터 분석 2020. 8. 29.
핸즈온 머신러닝2 복습하기(챕터 2: 머신러닝 프로젝트 처음부터 끝까지) 최근 핸즈온 머신러닝2를 구입해서 머신러닝 공부를 시작하고 있습니다. 앤드류 응 교수님의 코세라 강의를 비롯해서 김성훈 교수님의 모두를 위한 머신러닝/딥러닝 강의도 들었지만 오래되서 점차 기초 지식을 잊어버리는 듯한 느낌입니다. 핸즈온 머신러닝1도 사실 공부했었는데, 베이스가 없었던 때에 접했기 때문에 흐름만 읽는 수준이었습니다. 이제는 책을 찬찬히 살펴보며 이해를 하고, 때로는 의문을 가지며 꼼꼼하게 정리해야 하지 않을까 싶네요. 물론, 제가 배운 것을 정리하고 나중에 더 쉽게 기억하기 위해서 말이죠. 그래서 핸즈온 머신러닝2 복습하기 시리즈는 오로지 제 자신을 위해 정리한 필기에 불과합니다. 여러분들께 소개하고자 하는 목표가 아니기 때문에 설명이 불친절할 수도 있습니다. 또 책의 내용을 그대로 가져왔..

728x90

티스토리툴바