OFMY (Ony for me and you)

SVD는 NaN 값이 없는 행렬에만 적용 가능하기 때문에 이런경우에는 확률적 경사 하강법을 이용해 행렬분해를 수행함 확률적 경사 하강법을 이용한 행렬분해 :P와 Q 행렬로 계산된 예측 R 행렬 값이 실제 R 행렬값과 가장 최소의 오류를 가질 수 있또록 반복적인 비용 함수 최적화를 통해 P와Q를 유추해 내는 것 1. P와 Q 행렬을 임의의 값을 가진 행렬로 초기화 한다. 2. P와 Q 전치행렬을 곱해 예측 R 행렬을 계산하고, 실제 R 행렬과의 차이를 계산한다. 3. 차이를 최소화할 수 있도록 P와 Q 행렬의 값을 적절한 값으로 각각 업데이트한다. 4. 특정임계치 아래로 수렴할 때까지 2, 3번 작업을 반복하면서 P와 Q 행렬을 업데이트해 근사화한다. 과적합을 피하기 위해서 규제(L2규제)를 반영한 비용 ..

추천 시스템의 유형 콘텐츠 기반 필터링 (Content based filtering) 협업 필터링 (Collabrotice Filtering) 최근접 이웃 협업필터링 (= 메모리 협업 필터링) 아마존: 아이템 기반의 최근접 이웃 협업 필터링 방식을 추천 엔진으로 사용 사용자 기반(User-User): "당신과 비슷한 고객들이 다음 상품도 구매함" 아이템 기반(Item-Item): "이 상품을 선택한 다른 고객들은 다음 상품도 구매함" 잠재 요인 협업 필링 넷플릭스 추천시스템 경연대회: 행렬분해 기법을 이용한 잠재요인 협업 필터링 방식이 우승 -> 대부분의 온라인 스토어에서 이 시스템 적용 요즘에는 개인화 특성을 강화하기 위해 하이브리드 형식(콘텐츠+협업)을 사용하기도 함 1. 콘텐츠 기반 필터링 (Con..

그래디언트 부스팅 회귀 트리란? 여러개의 결정 트리를 묶어 강력한 모델을 만드는 앙상블 방법 - 회귀, 분류에 모두 사용 가능 - 이전의 트리의 오차를 보완하는 방식으로 순차적으로 트리 구성 - 무작위성이 없음 -> 사전 가지치기 사용 - 메모리를 적게 사용하고 예측도 빨라 간단한 모델 (약한 학습기) 중요한 매개변수 [하이퍼 파라미터] learning rate(학습률) : 이전 트리의 오차를 얼마나 강하게 보정할 것이지를 제어 학습률이 크면 트리는 강하게 보정 -> 복잡한 모델을 만듬 n_estimators: 앙상블에 트리 개수를 결정 값이 크면 모델의 복잡도가 커져 훈련세트에서의 실수를 바로 잡을 기회가 더 많아짐 from sklearn.ensemble import GradientBoostingCla..

가장 널리 알려진 두 개의 선형 분류 알고리즘은 linear_model.LogisticRegression에 구현된 로지스틱 회귀 & svm.LinearSVC에 구현된 선형 서포트 벡터 머신 두 모델 기본적으로 L2 규제(Ridge 모델) 사용 규제의 강도를 결정하는 매개변수 C C값이 높아지면 규제가 감소 높은 C 값을 지정하면 훈련세트에 간으한 최대로 맞추려 하고, 낮은 C 값을 지정하면 모델은 계수 벡터(w)에 가까워짐 C의 값이 낮아지면 데이터 포인트 중 다수에 맞추는 것 / 높아지면 개개의 데이터 포인트를 정확히 분류할 것 from sklearn.datasets import load_breast_cancer cancer = load_breast_cancer() X_train, y_train, X_..