이나기 놀이터

탄성파 속도와 암석의 밀도를 예측하는 발표자료를 우연히 접했습니다. 데이터셋을 구할 수 있어서 그것으로 탄성파에서 P파, S파, 그리고 암석의 밀도를 예측하는 머신러닝 모델을 구현해봤습니다. 데이터는 유정(Well, 시추공)의 Well Log 자료입니다. 데이터 부분보다는 모델에 대한 내용입니다. 1. 데이터 불러오기 데이터 : 6개 유정의 로그 자료 총 데이터 : 12,019 개 훈련데이터(X_train) : 5개 유정의 로그 자료 - 9,243 개 시험데이터(X_test) : 1개 유정의 로그 자료 - 2,776 개 labels : 3 개 (vp : P 파 속도 / vs : S 파 속도 / rho : 암석의 밀도) 2. 데이터 전처리 5 개 유정의 로그자료를 합치고(concatenate) 섞음(shu..

image Segmentation : 이미지에서 사물이나 물건의 모습을 구분하여 나누는 것입니다. 이렇게 나누어진 부분을 다른 이미지로 대체할 수도 있고, 각각 나뉘어진 부분에 대한 다른 처리를 할 수도 있습니다. 이 segmentation에 대한 학습입니다. 다음에 학습할 부분인 Image Detection과 같이 활용하여 사용합니다. https://www.tensorflow.org/tutorials/images/segmentation> In [1]: Image Segmentation¶ In [2]: !pip install git+https://github.com/tensorflow/examples.git Collecting git+https://github.com/tensorflow/examples...

데이터 증강(augmentation) 관련해서 학습한 것입니다. tensorflow tutorial에 있는 내용입니다. 구글 코랩에서 학습하였습니다. 데이터 증강은 적은 수의 데이터로 훈련이 어려울 때 유사한 훈련 데이터를 인위적으로 만들어 학습시키기 위해서 사용합니다. 이미지를 회전시킨다거나 확대, contrast 조정 등을 하게 되면 여러 훈련 데이터를 확보할 수 있습니다. 이미지는 각 픽셀별 숫자값이므로 증강을 하면 숫자들도 변합니다. 하지만 분류에서 같은 이미지로 분류되어야 하기에 데이터가 부족한 경우 활용한다면 좋습니다. 이미지 증강과 관련된 여러 방법들을 학습할 수 있으니 참조하시면 좋을 것 같습니다. https://www.tensorflow.org/tutorials/images/data_au..

컴에 GPU가 없어 시간이 너무 걸려서 코랩에서 작업했습니다. 코랩에서 메뉴 "런타임 / 런타임 유형 변경"에서 GPU로 설정하였더니 CPU로만 처리하는 것보다 빨리 처리되었습니다. 이미지 전이 학습(Transfer Learning)과 미세조정(Fine Tuning)에 관한 내용입니다. https://www.tensorflow.org/tutorials/images/transfer_learning?hl=ko> In [39]: 사전학습된 ConvNet을 이용한 전이 학습¶ pretrained / transfer : 사전훈련 / 전이학습 고양이와 개의 이미지 분류 사전 훈련된 모델을 사용자 정의하는 방법 특징 추출 : 사전 훈련된 모델 위에 처음부터 교육할 새 분류기를 추가 이전 데이터셋으로 학습한 특징 맵의..

이미지 처리입니다. 합성곱에 대한 간단한 코드입니다. CNN에 관해 설명이 잘 되어 있는 블로그가 있어 링크 남깁니다. (http://taewan.kim/post/cnn/) https://www.tensorflow.org/tutorials/images/cnn> In [ ]: Convolution Neural Network(CNN)¶ cnn에 관한 설명은 아주 많습니다. 그중에 괜찮은 블로그가 있어 안내합니다. http://taewan.kim/post/cnn/ 01. Import¶ In [2]: import tensorflow as tf from tensorflow.keras import datasets, layers, models import matplotlib.pyplot as plt In [ ]: 0..

앞의 글인 tf_distributeKeras와 내용이 비슷합니다. 체크포인트 관련된 부분은 꼭 기억하면 좋을 것 같습니다. https://www.tensorflow.org/tutorials/distribute/custom_training?hl=ko> In [ ]: custon training loops¶ In [2]: import tensorflow as tf import numpy as np import os print(tf.__version__) 2.7.0-dev20210708 In [ ]: 01. Dataset Download¶ In [3]: fashion_mnist = tf.keras.datasets.fashion_mnist (train_images, train_labels), (test_imag..

케라스를 사용한 분산형 학습입니다. 이 글에서 학습한 부분은 상당히 중요하다고 생각합니다. 먼저 콜백에 관한 내용입니다. 에포크마다 체크포인트를 저장하고 이 저장된 체크포인트에서 가중치를 불러와 시험(test)할 수 있습니다. 그리고 학습률도 에포크가 끝난 후 조정하는 내용입니다. 단순 훈련, 검증하는 것을 넘어서, 모델을 저장하고 저장한 모델을 다시 불러와 다른 시험(test)을 하는 내용입니다. 이번에 학습한 내용은 해커톤을 할 때 많은 도움을 준 내용입니다. 해커톤 전에 미리 봤더라면 하는 아쉬움이 남습니다. 튜토리얼은 주피터 노트북 첫 번째 셀에 링크가 있으니 그곳에 가서 학습하셔도 됩니다. https://www.tensorflow.org/tutorials/distribute/keras?hl=ko..

붓꽃 분류 문제를 텐서플로로 훈련시키는 코드입니다. 머신러닝의 기본 구조를 볼 수 있는 것이라 여겨집니다. 모델(붓꽃 분류)이 목표를 설정하고, 훈련데이터를 가져오고, 모델을 선정하고 모델을 훈련하고 모델 유효성 평가하고 마지막으로 훈련된 모델로 예측을 하는 것입니다. 이 과정이 머신러닝의 기본 골격이라 여겨집니다. 머신러닝에 대한 학습을 이 코드처럼 학습하다가 SSAC Aiffel에서 텐서플로우를 접하면서 함축된 코드를 보면서 많이 힘들었습니다. 예를 들면 손실함수를 순환문을 통해 에포크마다 자료를 모으는 것은 history라는 메서드를 사용하면 쉽게 가능해집니다. 이렇게 근본적인 것을 먼저 익히고 간단한 것을 학습하면 더 좋은 효과가 있을 것 같습니다. https://www.tensorflow.org..

layer를 사용자가 정의하여 구성하는 것과 tensorflow에서 제공되는 표준형으로 작성하는 것에 대한 내용입니다. 아직도 layer를 통과했을 때, 값의 변화를 정확히 알지 못하였습니다. 뒷 부분을 학습하다보면 알 수 있지 않을까 하는 기대를 하면서 모르는 부분은 표시하고 넘어갑니다. (코드는 복사/붙여넣기 하지 않고 모두 입력하고 있습니다. 그래야 학습에 조금이라도 도움이 될 것 같아서입니다.) https://www.tensorflow.org/tutorials/customization/custom_layers?hl=ko> In [ ]: 사용자 정의 층¶ In [1]: import tensorflow as tf In [ ]: 01. Layer¶ 머신러닝 모델 : 비교적 단순한 층(layer)을 조합..

데이터 로드 부분에서 오류가 발생합니다. 튜토리얼 textload에서 uninstall은 실행하지 않길 바랍니다. 코드에 uninstall을 실행했다가 아나콘다를 두 번이나 다시 설치했습니다. 오류를 해결하려고 했으나 도저히 찾을 수 없어 파이썬, 아나콘다 재설치를 선택했습니다. 다음에는 코드를 좀더 신중히 보고 진행해야 되겠습니다. 이미지, csv, numpy 로드까지는 실행에 오류가 없었는데, 그 이후에 계속 오류가 발생하여 다음 단계를 진행합니다. 고급 첫 번째가 텐서(tensor)에 대한 설명입니다. https://www.tensorflow.org/tutorials/customization/basics?hl=ko> In [ ]: 텐서와 연산¶ 필요한 패키지 임포트 텐서(Tensor) 생성 및 사용..