1. 지도 학습과 비지도 학습
: 지도학습은 훈련하기 위한 데이터와 정답(타깃)이 필요함, 알고리즘이 정답을 맞히는 것을 학습
: 반면, 비지도 학습 알고리즘은 정답(타깃) 없이 특성(입력) 데이터만 사용
2. 훈련 세트와 테스트 세트
: 머신러닝 알고리즘의 성능을 제대로 평가하려면 훈련데이터와 평가에 사용할 데이터가 각각 달라야 함
: 가장 간단한 방법은 평가를 위해 또 다른 데이터를 준비하거나 이미 준비된 데이터 중에서 일부를 떼어 활용
: 훈련에 사용되는 데이터 → 훈련 세트
: 평가에 사용되는 데이터 → 테스트세트
▶ 생선의 리스트 (길이, 무게) 입력
fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0,
31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0,
35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8,
10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0,
500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0,
700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7,
7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]
▶ 2차원 리스트 생성
fish_data = [[l,w] for l, w in zip(fish_length, fish_weight)]
fish_target = [1]*35 + [0]*14: 생선 데이터를 샘플 이라고 부름(도미는 35마리, 빙어는 14마리가 있으므로 전체 49개의 샘플)
: 특성은 2개(길이, 무게)
: 이 데이터의 처음 35개는 훈련 세트, 나머지 14개는 테스트 세트로 사용
▶ 사이킷런의 KNeighborsClassifier 클래스 가져오기 / 객체 생성
from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
[참고] 인덱싱과 슬라이싱
▶ 인덱싱
: 전체 데이터에서 처음 35개를 선택해야 함
: 일반적인 리스트처럼 배열의 요소를 선택할 때는 배열의 위치, 인덱스를 지정
print(fish_data[4]): fish_data의 다섯 번째 샘플을 출력함
▶ 슬라이싱
: 리스트는 인덱싱 외에도 슬라이싱 이라는 특별한 연산자를 제공
: 슬라이싱은 콜론(:)을 가운데 두고 인덱스의 범위를 지정하여 여러 개의 원소를 선택할 수 있음
: 첫번째 부터 다섯번째 까자의 샘플을 선택(배열의 인덱스는 0부터 시작)
print(fish_data[:5])
* 슬라이싱_마지막 원소까지 포함할 경우 두번째 인덱스를 생략할 수 있음
print(fish_data[44:]): 5개의 샘플을 출력할 때 '44:49'와 같이 쓰지 않고 '44:' 만 써도 됨
▶ 훈련세트와 테스트세트
train_input = fish_data[:35] # 훈련 세트로 입력값 중 0부터 34번째 인덱스까지 사용
train_target = fish_target[:35] # 훈련 세트로 타깃값 중 0부터 34번째 인덱스까지 사용
test_input = fish_data[35:] # 테스트 세트로 입력값 중 35번째 부터 마지막 인덱스까지 사용
test_target = fish_target[35:] # 테스트 세트로 입력값 중 35번째 부터 마지막 인덱스까지 사용
▶ fit()으로 훈련
kn = kn.fit(train_input, train_target) # fit() 메소드에 훈련세트 데이터를 넣고 훈련
kn.score(test_input, test_target) # score() 메소드에 테스트세트 데이터를 넣고 평가
>> 정확도 0%가 나옴
: 훈련 세트에는 도미 데이터만 있기 때문에 테스트 세트가 무엇이든 무조건 도미로 분류
: 반면, 테스트 세트에는 빙어 데이터만 있기 때문에 정답을 하나도 맞히지 못한 것
▶ 샘플링 편향(sapling bias)
: 훈련 세트와 테스트 세트에 샘플이 골고루 섞여 있지 않고, 샘플링이 한쪽으로 치우쳤다는 의미
3. 넘파이로 훈련/테스트 데이터 골고루 분배하기
3-1) 넘파이 array() 함수로 생선 리스트 만들기
▶ 넘파이
: 넘파이(numpy)는 파이썬의 대표적인 배열(array) 라이브러리
import numpy as np
▶ array() 함수에 생선 리스트를 전달
input_arr = np.array(fish_data)
target_arr = np.array(fish_target)
▶ 넘파이 배열 출력
* input_arr 데이터 출력
print(input_arr)
* 이와 같이 target_arr도 출력해보기
▶ .shape() 함수로 배열 크기 알아보기
: 49개의 행, 2개의 열
print(input_arr.shape)
3-2) 넘파이 .random.shuffle 함수로 샘플 무작위로 고르기
: 배열에서 랜덤하게 샘플을 선택해 훈련 세트와 테스트 세트로 만들기
np.random.seed(42) # 동일한 결과를 얻을 수 있도록 랜덤시드를 42로 지정
index = np.arange(49) # 넘파이 arange() 함수를 사용하면 0에서 부터 48까지 1씩 증가하는 인덱스를 간단히 만듬
np.random.shuffle(index) # 인덱스를 랜덤하게 섞음: 배열을 섞은 후에 나누는 방식 대신에 무작위로 샘플을 고르는 방법을 사용
: input_arr와 taget_arr에서 같은 위치는 함께 선택
▶ 무작위로 섞인 인덱스 출력(49개)
print(index)
* 데이터가 정상적으로 불러와지는지 확인하기
print(input_arr[[1, 3]])
▶ 훈련 세트 만들기(35개)
: index 배열의 처음 35개를 input_arr와 target_arr에 전달하여 랜덤하게 35개의 샘플을 훈련세트로 만듦
train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]
* train_input의 첫 번째 원소[0]에는, input_arr의 열 네번째 원소[13]가 들어 있을 것
print(input_arr[13], train_input[0])
▶ 테스트 세트 만들기(14개)
test_input = input_arr[index[35:]]
test_target = target_arr[index[35:]]
▶ 산점도 그려보기
: 훈련 세트와 테스트 세트에 도미와 빙어가 잘 섞여 있는지 확인
import matplotlib.pyplot as plt
plt.scatter(train_input[:, 0], train_input[:, 1])
plt.scatter(test_input[:, 0], test_input[:, 1])
plt.xlabel('length')
plt.ylabel('weight')
plt.show()
4. 두 번째 머신러닝 프로그램
▶ fit() 함수로 k-최근접 이웃 모델 훈련
: 앞서 만든 훈련세트와 테스트 세트로 k-최근접 이웃 모델을 훈련
: fit() 메서드를 실행할 때마다 KNeighborsClassifier 클래스의 객체는 이전에 학습한 모든 것을 잊어 버림
kn = kn.fit(train_input, train_target)
▶ score()
kn.score(test_input, test_target)
>> 정확도 100%
▶ predict()
: predict() 메소드로 테스트 세트의 예측 결과와 실제 타깃을 확인
* test_input
kn.predict(test_input)
* test_target
>> test_input 데이터와 test_target 데이터가 일치
댓글