일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- tensorflow
- object detection
- dropout
- DP
- 조합론
- 크루스칼
- 미래는_현재와_과거로
- 세그먼트 트리
- NEXT
- back propagation
- 우선 순위 큐
- Overfitting
- 문자열
- 2023
- 플로이드 와샬
- 이분 탐색
- BFS
- 가끔은_말로
- lazy propagation
- 알고리즘
- 가끔은 말로
- 자바스크립트
- 회고록
- dfs
- pytorch
- 다익스트라
- 너비 우선 탐색
- c++
- 분할 정복
- 백트래킹
Archives
- Today
- Total
Doby's Lab
steps_per_epoch, validation_steps (tensorflow model.fit의 Argument) 본문
Code about AI/tensorflow
steps_per_epoch, validation_steps (tensorflow model.fit의 Argument)
도비(Doby) 2023. 1. 10. 23:57steps_per_epoch
ImageDataGenerator를 통해 Iterator를 만들어서 모델을 학습시킬 때, Iterator는 Batch를 계속 발생시킵니다.
그래서 한 Epoch에 어떻게 몇 개의 Batch를 넣어야 할지는 문제로 다가올 수 있습니다.
이러한 문제를 해결할 수 있는 방안으로 fit의 argument에는 steps_per_epoch가 존재합니다.
steps_per_epoch는 '한 에포크에 몇 개의 배치를 넣을 건가'를 묻는 argument입니다.
만약에 하나의 데이터셋을 모두 학습시키고 싶다면 (전체 샘플의 개수 // 배치 사이즈)로 구하여 한 에포크에 들어가는 배치의 개수를 할당해줄 수 있습니다. 물론 배치 사이즈를 나누었을 때, 나머지가 있다면 + 1을 해주어 적절하게 할당해줄 수 있습니다.
validation_steps 또한 validation_generator에 대해 배치의 개수를 정해둘 수 있는 steps_per_epoch의 validation 버전이라 할 수 있습니다.
코드는 아래와 같이 작성할 수 있습니다.
history = model.fit(train_generator, epochs=200, validation_data=val_generator,
steps_per_epoch = TRAIN_SIZE//BATCH_SIZE+1, validation_steps = VAL_SIZE//BATCH_SIZE+1,
callbacks=[early_stopping_cb, learning_rate_reduction_cb])
Reference
https://foxtrotin.tistory.com/535
[헷갈리는 개념 정리1] steps_per_epoch 값 정하기
steps_per_epoch steps_per_epoch = 훈련 샘플 수 / 배치 사이즈 예시1: 총 45개의 훈련 샘플이 있고 배치사이즈가 3이면 최대 15 스텝으로 지정한다 (그 이하 가능) 예시2: 총 80개의 훈련 샘플이 있고 배치사
foxtrotin.tistory.com
728x90
'Code about AI > tensorflow' 카테고리의 다른 글
tf.data.Dataset & tf.data.Dataset의 유용한 Methods (0) | 2023.08.17 |
---|---|
tensorflow의 ImageDataGenerator (0) | 2023.01.11 |
Tensorflow의 Callback(EarlyStopping, ReduceLROnPlateau) (0) | 2023.01.03 |
Dataset Shuffle을 해야 하는 이유 (0) | 2022.12.25 |
Normalization, uint8 -> float64 RAM, 런타임 다운되는 현상 (0) | 2022.12.25 |