AI/Pytorch5 텐서 크기 확인 방법 .size() 또는 .shape 함수를 이용하여 확인한다. 2023. 5. 12. torch.nn.CrossEntropyLoss loss 값 출력하는 코드를 작성 중 batch 단위로 학습 및 평가를 진행할 때 왜 data_loader 갯 수 만큼 나눠주는지 궁금증에서 부터 출발하게 됐음. 1. nn.CrossEntropyLoss 내에서 log.softmax를 수행한 상태로 진행됌 2. 데이터 갯 수만큼 나눠서 scala 값으로 출력 즉, - 1개의 mini_batch가 끝나면 mini_batch_size 만큼 나눈 loss(평균) 이 나옴 - 1 eopch 동안 1 iteration 끝난 loss들의 합을 구하고 len(data_loader) 만큼 나눠주면 1eopch 의 평균 loss를 구할 수 있음. [참고 링크] [1] http://www.gisdeveloper.co.kr/?p=8668 다중분류를 위한 대표적인 손실함수, .. 2023. 3. 11. Learning rate scheduler [1] https://sanghyu.tistory.com/113 [PyTorch] PyTorch가 제공하는 Learning rate scheduler 정리 (여기 내용을 많이 참고하여 작성하였습니다.) (** learning rate와 lr이라는 용어를 혼용해서 작성하였습니다.) learning rate는 gradient의 보폭을 말한다. learning rate는 성능에 꽤나 영향을 주는 요소(learni sanghyu.tistory.com 2023. 3. 7. Optimizer https://tutorials.pytorch.kr/beginner/basics/optimization_tutorial.html 모델 매개변수 최적화하기 파이토치(PyTorch) 기본 익히기|| 빠른 시작|| 텐서(Tensor)|| Dataset과 Dataloader|| 변형(Transform)|| 신경망 모델 구성하기|| Autograd|| 최적화(Optimization)|| 모델 저장하고 불러오기 이제 모델과 데이터가 준비 tutorials.pytorch.kr 2023. 3. 6. 이전 1 2 다음
