[혼공머신] 02-1 훈련세트와 테스트 세트

지도 학습과 비지도 학습

 

* Supervised learning(지도 학습) : target이 있다 -> 알고리즘은 정답을 맞히는 방향으로 학습

* Unsupervised learning(비지도 학습) : terget이 없다 -> 정답을 맞히는 것이 아니라 data를 잘 파악하거나 변형하는데 도움을 준다

* Input : data

* Target : 정답 (도미인지, 빙어인지)

* Feature : data의 attribute들이라 볼 수 있다(길이, 무게)

 

 

훈련 세트와 테스트 세트

* Test set : 평가에 사용

* Training set : 알고리즘 훈련에 사용

 

* sample : 생선 data

 

print(fish_data[4])

print(fish_data[0:5]) 

print(fish_data[:44]) 

print(fish_data[44:]) 

print(fish_data[[1,3,5]]) 

* slicing : '0:5'와 같이 ':'를 이용하여 범위 지정

* array indexing : 여러 개 선택

 

* sampling bias(샘플링 편향) : 샘플링이 한쪽으로 치우친 정보만 가지고 있음

 

Numpy : Python의 대표적인 Array library

 

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

fish_data = [[l,w] for l, w in zip(fish_length, fish_weight)]
fish_target = [1]*35 + [0]*14

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
#print(fish_data[4])
#print(fish_data[0:5])

# 0~34까지는 도미에 대한 data, 35부터는 빙어에 대한 data
# 도미로 training, 빙어로 test
train_input = fish_data[:35]
train_target = fish_target[:35]
test_input = fish_data[35:]
test_target = fish_target[35:]

kn = kn.fit(train_input, train_target)
kn.score(test_input, test_target)


import numpy as np

input_arr = np.array(fish_data)
target_arr = np.array(fish_target)
#print(input_arr)                   # array 출력
print(input_arr.shape)              # 샘플수, 특성수

np.random.seed()                   # seed 값이 동일하면 결과도 동일
index = np.arange(49)              # 0~48까지 배열 만듬
np.random.shuffle(index)
print(index)

print(input_arr[[1,3]])

test_input = input_arr[index[35:]]
test_target = target_arr[index[35:]]

import matplotlib.pyplot as plt
plt.scatter(input_arr[:,0], input_arr[:,1])
plt.scatter(test_input[:,0], test_input[:,1])
plt.xlabel('length')
plt.ylabel('weight')
plt.show()