머신러닝 기초 | 지도 학습과 비지도 학습 | 훈련 세트와 테스트 세트 | 넘파이(Numpy) 배열로 샘플 섞는 방법

AI기본과정/AI, 머신러닝 기초

머신러닝 기초 | 지도 학습과 비지도 학습 | 훈련 세트와 테스트 세트 | 넘파이(Numpy) 배열로 샘플 섞는 방법 | fit() / score() / predict() 함수

ANNASENA 2023. 7. 5. 08:00

728x90

1. 지도 학습과 비지도 학습

: 지도학습은 훈련하기 위한 데이터와 정답(타깃)이 필요함, 알고리즘이 정답을 맞히는 것을 학습

: 반면, 비지도 학습 알고리즘은 정답(타깃) 없이 특성(입력) 데이터만 사용

2. 훈련 세트와 테스트 세트

: 머신러닝 알고리즘의 성능을 제대로 평가하려면 훈련데이터와 평가에 사용할 데이터가 각각 달라야 함
: 가장 간단한 방법은 평가를 위해 또 다른 데이터를 준비하거나 이미 준비된 데이터 중에서 일부를 떼어 활용

: 훈련에 사용되는 데이터 → 훈련 세트

: 평가에 사용되는 데이터 → 테스트세트

▶ 생선의 리스트 (길이, 무게) 입력

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

▶ 2차원 리스트 생성

fish_data = [[l,w] for l, w in zip(fish_length, fish_weight)]
fish_target = [1]*35 + [0]*14

: 생선 데이터를 샘플 이라고 부름(도미는 35마리, 빙어는 14마리가 있으므로 전체 49개의 샘플)
: 특성은 2개(길이, 무게)
: 이 데이터의 처음 35개는 훈련 세트, 나머지 14개는 테스트 세트로 사용

▶ 사이킷런의 KNeighborsClassifier 클래스 가져오기 / 객체 생성

from sklearn.neighbors import KNeighborsClassifier

kn = KNeighborsClassifier()

[참고] 인덱싱과 슬라이싱

▶ 인덱싱

: 전체 데이터에서 처음 35개를 선택해야 함
: 일반적인 리스트처럼 배열의 요소를 선택할 때는 배열의 위치, 인덱스를 지정

print(fish_data[4])

: fish_data의 다섯 번째 샘플을 출력함

▶ 슬라이싱

: 리스트는 인덱싱 외에도 슬라이싱 이라는 특별한 연산자를 제공
: 슬라이싱은 콜론(:)을 가운데 두고 인덱스의 범위를 지정하여 여러 개의 원소를 선택할 수 있음
: 첫번째 부터 다섯번째 까자의 샘플을 선택(배열의 인덱스는 0부터 시작)

print(fish_data[:5])

* 슬라이싱_마지막 원소까지 포함할 경우 두번째 인덱스를 생략할 수 있음

print(fish_data[44:])

: 5개의 샘플을 출력할 때 '44:49'와 같이 쓰지 않고 '44:' 만 써도 됨

▶ 훈련세트와 테스트세트

train_input = fish_data[:35]       # 훈련 세트로 입력값 중 0부터 34번째 인덱스까지 사용
train_target = fish_target[:35]    # 훈련 세트로 타깃값 중 0부터 34번째 인덱스까지 사용 
 
test_input = fish_data[35:]        # 테스트 세트로 입력값 중 35번째 부터 마지막 인덱스까지 사용
test_target = fish_target[35:]     # 테스트 세트로 입력값 중 35번째 부터 마지막 인덱스까지 사용

▶ fit()으로 훈련

kn = kn.fit(train_input, train_target)  # fit() 메소드에 훈련세트 데이터를 넣고 훈련
kn.score(test_input, test_target) # score() 메소드에 테스트세트 데이터를 넣고 평가

>> 정확도 0%가 나옴

: 훈련 세트에는 도미 데이터만 있기 때문에 테스트 세트가 무엇이든 무조건 도미로 분류
: 반면, 테스트 세트에는 빙어 데이터만 있기 때문에 정답을 하나도 맞히지 못한 것

▶ 샘플링 편향(sapling bias)

: 훈련 세트와 테스트 세트에 샘플이 골고루 섞여 있지 않고, 샘플링이 한쪽으로 치우쳤다는 의미

3. 넘파이로 훈련/테스트 데이터 골고루 분배하기

3-1) 넘파이 array() 함수로 생선 리스트 만들기

▶ 넘파이

: 넘파이(numpy)는 파이썬의 대표적인 배열(array) 라이브러리

import numpy as np

▶ array() 함수에 생선 리스트를 전달

input_arr = np.array(fish_data)
target_arr = np.array(fish_target)

▶ 넘파이 배열 출력

* input_arr 데이터 출력

print(input_arr)

* 이와 같이 target_arr도 출력해보기

▶ .shape() 함수로 배열 크기 알아보기

: 49개의 행, 2개의 열

print(input_arr.shape)

3-2) 넘파이 .random.shuffle 함수로 샘플 무작위로 고르기

: 배열에서 랜덤하게 샘플을 선택해 훈련 세트와 테스트 세트로 만들기

np.random.seed(42)  # 동일한 결과를 얻을 수 있도록 랜덤시드를 42로 지정
index = np.arange(49) # 넘파이 arange() 함수를 사용하면 0에서 부터 48까지 1씩 증가하는 인덱스를 간단히 만듬 
np.random.shuffle(index) # 인덱스를 랜덤하게 섞음

: 배열을 섞은 후에 나누는 방식 대신에 무작위로 샘플을 고르는 방법을 사용

: input_arr와 taget_arr에서 같은 위치는 함께 선택

▶ 무작위로 섞인 인덱스 출력(49개)

print(index)

* 데이터가 정상적으로 불러와지는지 확인하기

print(input_arr[[1, 3]])

▶ 훈련 세트 만들기(35개)

: index 배열의 처음 35개를 input_arr와 target_arr에 전달하여 랜덤하게 35개의 샘플을 훈련세트로 만듦

train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]

* train_input의 첫 번째 원소[0]에는, input_arr의 열 네번째 원소[13]가 들어 있을 것

print(input_arr[13], train_input[0])

▶ 테스트 세트 만들기(14개)

test_input = input_arr[index[35:]]
test_target = target_arr[index[35:]]

▶ 산점도 그려보기

: 훈련 세트와 테스트 세트에 도미와 빙어가 잘 섞여 있는지 확인

import matplotlib.pyplot as plt
plt.scatter(train_input[:, 0], train_input[:, 1])
plt.scatter(test_input[:, 0], test_input[:, 1])
plt.xlabel('length')
plt.ylabel('weight')
plt.show()