본문 바로가기

분류 전체보기362

10.7 데이터 전송시 대역폭, 스루풋을 고려한 데이터 전송 방법 AWS, 메가존, 카페24, 가비아 등 외부 서버를 사용할 때 서로 다른 사용조건을 두고 지출이 발생한다. 따라서 그 조건을 잘 이해하려면 선제적으로 알아야할 네트워크 기본 정보를 쉽게 이해하자. (비유) 대역폭은 무엇인가. 스루풋(네트워크 출력)은 무엇인가. https://darkstart.tistory.com/141 [네트워크]latency, bandwidth와 throughput 개념 정리 latency(지연 속도) 네트워크에서 하나의 데이터 패킷이 한 지점에서 다른 지점으로 보내지는 데 소요되는 시간. latency는 가장 이해하기 쉬운 개념같습니다. 온라인 게임에서도 쉽게 접할 수 있는 darkstart.tistory.com 네트워크 사용량을 확인하는 방법 [netstat, nethogs,ifs.. 2022. 10. 7.
대용량 처리시, 코드와 데이터의 위치를 분리하라! 그렇지 않으면 no left space in memory 가 뜰 것이다. 파일시스템에 얼마나 많은 공간이 어디에 할당되어서 사용중인지 확인하라. df -h 전체 디스크 크기가 가장 큰 곳에 데이터 저장하고 그 다음으로 큰 곳에 코드를 넣어서 거기서 작업을 시작하라. 대부분 임시 파일 (준 쓰레기)는 tmp에 있다. 해당 폴더에 들어가서 쓸모없는 데이터를 찾아내라. https://codinghero.tistory.com/20 [Linux] 디스크 부족 / 용량 많은 파일 찾기 서버를 운영하다 보면 대게는 DB나 Log파일에 의해 디스크 부족 현상이 생기곤 합니다. 이럴 때 첫 번째로 쉽게 df명령을 통해 디스크가 어느 부분에서 많이 사용되는지를 체크해 볼 수 있습니다. codinghero.tistory.com 2022. 10. 6.
npz 파일 빠르게 훑어서 데이터 점검하고 싶을 때 https://jangjy.tistory.com/330 numpy의 array를 저장하고 읽어보자 numpy를 사용하다 보면 array의 값을 파일로 저장해야 할 경우가 생긴다. 이럴경우 따로 파일 IO를 사용하기보다 numpy의 기본 기능을 이용하면 간단하게 저장하고 읽을 수 있다. 저장 할 경우 array의 jangjy.tistory.com 2022. 10. 5.
리눅스 - 전처리 결과 모니터링에 유용한 find 모음집 데이터 처리 결과에 대한 모니터링시 매우 필요함 - 최근 변경 데이터 확인 https://ponyozzang.tistory.com/256 Linux 변경일이 가장 최근인 파일 또는 가장 오래된 파일 정렬 찾기 리눅스에서 파일을 보여주는 커맨드인 ls와 |(파이프)를 조합하면 여러 가지 기능을 사용할 수 있습니다. ●변경일이 가장 최신인 파일 정렬 찾기 ls -ltr | tail -1 설명 ls -l은 상세 표시. ls -t는 변 ponyozzang.tistory.com - 빈 디렉토리 찾아서 지우기 https://blog.asamaru.net/2016/11/15/linux-find-empty-directory-and-delete/ 리눅스에서 모든 빈 디렉토리 찾기 / 지우기 리눅스에서 지정한 디렉토리 하.. 2022. 10. 4.

티스토리툴바