이나기 놀이터

이번 글은 간단합니다. Numpy 배열에서 데이터를 로드합니다. 데이터를 로드하고 모델을 만들어 훈련하고 검증하는 절차입니다. 머신 러닝의 기본 과정이 이와 비슷하다고 생각하면 될 것 같습니다. 데이터로드 -> 모델 빌더 -> 훈련 -> 예측 https://www.tensorflow.org/tutorials/load_data/numpy?hl=ko> In [ ]: Numpy Data Load¶ 01. 설정¶ In [1]: import numpy as np import tensorflow as tf In [2]: # .npz 파일에서 로드하기 DATA_URL = 'https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz' pa..

CSV(comma-seperated values) 파일을 불러오는 방법에 관련된 내용입니다. 기존에 csv파일을 불러와 전처리하는 것과는 조금 다른 방법이라 좀더 익숙해질 수 있도록 봐야할 것 같습니다. 타이타닉 생존 문제와 관련해서 예측하는 코드입니다. https://www.tensorflow.org/tutorials/load_data/csv?hl=ko> 01. 설정¶ Titanic 승객 목록 In [1]: import functools import numpy as np import tensorflow as tf In [2]: TRAIN_DATA_URL = "https://storage.googleapis.com/tf-datasets/titanic/train.csv" TEST_DATA_URL = "ht..

데이터 로드와 사전 처리와 관련된 코드를 시작합니다. 튜토리얼에 학습자료가 9개 있습니다. 그 중 첫 번째로 이미지 로드하는 방법을 나타내는 코드입니다. https://www.tensorflow.org/tutorials/load_data/images> In [ ]: 이미지 로드¶ 01. 설정¶ In [1]: import numpy as np import os import PIL import PIL.Image import tensorflow as tf import tensorflow_datasets as tfds In [2]: print(tf.__version__) 2.5.0 In [ ]: 01. 01. 꽃 데이터세트 다운로드¶ flowers_photos daisy dandelion roses sunflo..

하이퍼 파라미터를 조정하는 내용의 글입니다. 챗봇 프로젝트를 수행하면서 최적의 파라미터를 찾기 위한 시도를 했습니다. 이 내용도 파라미터 검색에 많은 도움을 줄 수 있는 글입니다. https://www.tensorflow.org/tutorials/keras/keras_tuner> Keras Tuner¶ 최적의 하이퍼파라미터 세트를 선택하는데 도움을 주는 라이브러리 하이퍼파라미터(hyper-parameter) 조정 / 하이퍼튜닝 : 최적의 하이퍼파라미터 세트를 선택하는 과정 하이퍼파라미터 유형 모델 하이퍼파라미터 : 숨겨진 레이어의 수 및 너비와 같은 모델 선택에 영향을 미치는 파라미터 알고리즘 하이퍼파라미터 : SGD(Stochastic Gradient Descent)의 학습률 및 KNN(k Neares..

이번 글은 모델 학습에서 아주 중요하다고 저는 생각합니다. 모델을 훈련시킨 결과를 저장하고, 저장된 결과를 불러와 계속 훈련시키거나 예측하는 과정입니다. 저장되는 값은 훈련된 가중치와 모델 구조 등입니다. SSAC Aiffel에서 해커톤 진행시 챗봇을 구현하는 프로젝트를 수행했는데, 이 부분이 학습되지 않아 많은 시간이 필요했습니다. 미리 학습이 되었더라면 더 좋았을 것이라는 아쉬움이 남습니다. 튜토리얼을 학습하다보니 제가 놓치고 있었던 부분이 많이 있습니다. https://www.tensorflow.org/tutorials/keras/save_and_load> 모델 저장과 복원¶ 훈련하는 도중이나 훈련이 끝난 후에 모델을 저장 훈련이 중지된 지점부터 다시 훈련할 수 있습니다 다른 작업자와 공유할 수 있..

과대적합과 과소적합의 예와 이를 방지하기 위한 방법입니다. 이번 글부터는 자료 출처도 아래에 적겠습니다. 텐서플로우에 있는 튜토리얼 자료를 학습하면서 정리한 것입니다. Over / Under Fitting¶ 일정 에포크 동안 훈련하면 검증 세트에서 모델 성능이 최고점에 도달 그 이후 감소하기 시작 OverFitting(과대적합) 훈련세트가 아닌 테스트 세트에서 높은 성능을 보이는 모델 과대적합 : 훈련세트의 성능은 좋으나 검증, 테스트 세트에서 성능이 낮아지는 현상 방지 많은 훈련데이터를 사용 규제(regularization) 기법을 사용 : 모델이 저장할 수 있는 정보의 양과 종류에 제약을 부과하는 방법 UnderFitting(과소적합) 테스트 세트의 성능이 향상될 여지가 있을 때 발생 원인 모델이 너..

자동차 연비를 예측하는 회귀문제입니다. 이 코드도 주피터 노트북의 자료에 설명이 포함되어 있습니다. 그 내용을 참조하며 코드를 읽으시면 좋겠습니다. Regression : 회귀¶ 가격이나 확률같이 연속된 출력 값을 예측 평균제곱오차(MSE) : 회귀문제에서 자주 사용되는 손실함수 평균절댓값오차(MAE) : 회귀문제에서 자주 사용하는 평가 지표 데이터가 수치이므로 동일한 범위가 되도록 각 특성의 스케일을 조정 훈련데이터가 적으면 과대적합(OverFitting)을 발생 가능 은닉층의 개수가 적은 소규모 네트워크를 선택 Early Stopping : 과대적합을 방지하기 위한 방법 In [ ]: 01. library install / import¶ In [1]: !pip install -q seaborn In ..