목록버킷 (1)

무향향수

[AWS] S3 코랩 연동

더보기인턴 업무 중에서 2만개의 이미지 파일명을 바꾼 후 파일의 정보를 json에 저장하고 json과 jpg파일을 제출 사이트에 업로드해야했다. 파일을 압축, 다운, 압축 해제, 업로드 순으로 과정을 진행해야 했는데 시간이 약 5시간 정도 걸렸고 코드를 실행시키고 파일을 전처리 하는 시간까지 합치면 10시간 넘게 시간이 소요되었다.매번 코드를 최대한 효율적으로 수정하였지만, 큰 변화가 없었다.단순한 파일 업로드로 인해 퇴근시간이 늦어져 시간이 매우 아깝다는 생각이 들었고, 로컬 환경이 아닌 가상환경에서 코드를 실행하고 파일을 처리하고자 정보를 찾아본 결과 AWS S3에 대해 알게되었다. 이제 Spark와 AWS S3를 함께 사용하면 퇴근시간이 빨라질 것만 같다..! 행복하다AWS S3Amazon Simp..
인턴일기/공부내용 2024. 9. 19. 15:19
이전 Prev 1 Next 다음