이나기 놀이터

CSV(comma-seperated values) 파일을 불러오는 방법에 관련된 내용입니다. 기존에 csv파일을 불러와 전처리하는 것과는 조금 다른 방법이라 좀더 익숙해질 수 있도록 봐야할 것 같습니다. 타이타닉 생존 문제와 관련해서 예측하는 코드입니다. https://www.tensorflow.org/tutorials/load_data/csv?hl=ko> 01. 설정¶ Titanic 승객 목록 In [1]: import functools import numpy as np import tensorflow as tf In [2]: TRAIN_DATA_URL = "https://storage.googleapis.com/tf-datasets/titanic/train.csv" TEST_DATA_URL = "ht..

데이터 로드와 사전 처리와 관련된 코드를 시작합니다. 튜토리얼에 학습자료가 9개 있습니다. 그 중 첫 번째로 이미지 로드하는 방법을 나타내는 코드입니다. https://www.tensorflow.org/tutorials/load_data/images> In [ ]: 이미지 로드¶ 01. 설정¶ In [1]: import numpy as np import os import PIL import PIL.Image import tensorflow as tf import tensorflow_datasets as tfds In [2]: print(tf.__version__) 2.5.0 In [ ]: 01. 01. 꽃 데이터세트 다운로드¶ flowers_photos daisy dandelion roses sunflo..

하이퍼 파라미터를 조정하는 내용의 글입니다. 챗봇 프로젝트를 수행하면서 최적의 파라미터를 찾기 위한 시도를 했습니다. 이 내용도 파라미터 검색에 많은 도움을 줄 수 있는 글입니다. https://www.tensorflow.org/tutorials/keras/keras_tuner> Keras Tuner¶ 최적의 하이퍼파라미터 세트를 선택하는데 도움을 주는 라이브러리 하이퍼파라미터(hyper-parameter) 조정 / 하이퍼튜닝 : 최적의 하이퍼파라미터 세트를 선택하는 과정 하이퍼파라미터 유형 모델 하이퍼파라미터 : 숨겨진 레이어의 수 및 너비와 같은 모델 선택에 영향을 미치는 파라미터 알고리즘 하이퍼파라미터 : SGD(Stochastic Gradient Descent)의 학습률 및 KNN(k Neares..

이번 글은 모델 학습에서 아주 중요하다고 저는 생각합니다. 모델을 훈련시킨 결과를 저장하고, 저장된 결과를 불러와 계속 훈련시키거나 예측하는 과정입니다. 저장되는 값은 훈련된 가중치와 모델 구조 등입니다. SSAC Aiffel에서 해커톤 진행시 챗봇을 구현하는 프로젝트를 수행했는데, 이 부분이 학습되지 않아 많은 시간이 필요했습니다. 미리 학습이 되었더라면 더 좋았을 것이라는 아쉬움이 남습니다. 튜토리얼을 학습하다보니 제가 놓치고 있었던 부분이 많이 있습니다. https://www.tensorflow.org/tutorials/keras/save_and_load> 모델 저장과 복원¶ 훈련하는 도중이나 훈련이 끝난 후에 모델을 저장 훈련이 중지된 지점부터 다시 훈련할 수 있습니다 다른 작업자와 공유할 수 있..

과대적합과 과소적합의 예와 이를 방지하기 위한 방법입니다. 이번 글부터는 자료 출처도 아래에 적겠습니다. 텐서플로우에 있는 튜토리얼 자료를 학습하면서 정리한 것입니다. Over / Under Fitting¶ 일정 에포크 동안 훈련하면 검증 세트에서 모델 성능이 최고점에 도달 그 이후 감소하기 시작 OverFitting(과대적합) 훈련세트가 아닌 테스트 세트에서 높은 성능을 보이는 모델 과대적합 : 훈련세트의 성능은 좋으나 검증, 테스트 세트에서 성능이 낮아지는 현상 방지 많은 훈련데이터를 사용 규제(regularization) 기법을 사용 : 모델이 저장할 수 있는 정보의 양과 종류에 제약을 부과하는 방법 UnderFitting(과소적합) 테스트 세트의 성능이 향상될 여지가 있을 때 발생 원인 모델이 너..

자동차 연비를 예측하는 회귀문제입니다. 이 코드도 주피터 노트북의 자료에 설명이 포함되어 있습니다. 그 내용을 참조하며 코드를 읽으시면 좋겠습니다. Regression : 회귀¶ 가격이나 확률같이 연속된 출력 값을 예측 평균제곱오차(MSE) : 회귀문제에서 자주 사용되는 손실함수 평균절댓값오차(MAE) : 회귀문제에서 자주 사용하는 평가 지표 데이터가 수치이므로 동일한 범위가 되도록 각 특성의 스케일을 조정 훈련데이터가 적으면 과대적합(OverFitting)을 발생 가능 은닉층의 개수가 적은 소규모 네트워크를 선택 Early Stopping : 과대적합을 방지하기 위한 방법 In [ ]: 01. library install / import¶ In [1]: !pip install -q seaborn In ..

TextClassification : 텍스트 분류를 함에 있어 전이학습을 통한 분류입니다. (tf_basicTextClassification과 비교하며 보시면 좋겠습니다.) 구글에서 제공되는 전처리된 모델(pre-trained Model)을 이용한 분류입니다. 상세한 설명은 마크다운 셀에 기술했기에 참조해서 보시면 좋겠습니다. 전이 학습(Transfer Learning)¶ 특정 분야에서 학습된 신경망의 일부 능력을 유사하거나 전혀 새로운 분야에서 사용되는 신경망의 학습에 이용하는 것을 의미합니다. 전이 학습은 학습 데이터의 수가 적을때도 효과적이며, 학습 속도도 빠릅니다. 전이학습이란 이미지넷과 같이 아주 큰 데이터셋에 훈련된 모델의 가중치를 가지고 와서 우리가 해결하고자 하는 과제에 맞게 재보정해서 사..

tensorflow tutorial의 기본 텍스트 분류에 대한 학습입니다. 영화 리뷰를 통해 긍정(positive) / 부정(negative)을 분류하는 것에 대한 학습입니다. 코드에 대한 설명들은 셀에 입력하였기에 그 부분을 참조해서 보시면 될 것 같습니다. 내용¶ 영화 리뷰(review) 텍스트를 긍정(positive) / 부정(negative)로 분류 이진(binary) 분류 : 클래스(class)가 두 개인 분류 데이터¶ 인터넷 영화 데이터베이스(Internet Movie Database) : 50,000개 IMDB 데이터셋 사용 구성 : (train, test) = (25000, 25000) In [ ]: 01. import¶ In [1]: import tensorflow as tf from t..

fashion MNIST의 기본 이미지 분류하기입니다. fashion MNIST Dataset은 텐서플로우 케라스에서 기본으로 제공되는 Dataset입니다. 설명은 markdown형태로 주피터노트북 셀 위에 첨부하였기에 참조하시면 좋을 것 같습니다. 오류가 발생한 것도 지우지 않았습니다. 코딩은 오류를 수정하는 과정이 중요하기에 오류를 찾는 과정까지 그대로 넣었습니다. 01. import¶ tensorflow : tf 명칭으로 사용 keras numpy : np 명칭으로 사용 matplotlib : plt 명칭으로 사용 -> 시각화 In [49]: import tensorflow as tf from tensorflow import keras import numpy as np import matplotli..

tensorflow를 통해 다시 처음부터 인공지능 학습을 시작합니다. tensorflow tutorial의 내용을 새롭게 주석을 달면서 학습한 내용을 올립니다. jupyter notebook에서 작성한 코드를 올리는 것도 시도해봅니다. 첫번째 글이다 보니 아직 부족한 부분이 많은 것 같습니다. 앞으로 학습한 내용들을 티스토리를 통해 같이 공유하겠습니다. tensorflow 설치¶ In [1]: !pip install -q tensorflow tensorflow import : 라이브러리 불러들임¶tf 라는 명칭으로 tensorflow 사용¶ In [2]: import tensorflow as tf mnist dataset을 로드 : x_train, y_train, x_test, y_test¶ x_trai..