kingsubin kingsubin

대용량 csv 파일 읽기 엑셀로 보기 어려운 1000만 row 가 넘는 csv 파일을 보고 싶었다. csv 도 json formatter 처럼 뭔가 있지 않을까 했는데 csview 라는 게 있어서 써봤다. 내가 보고 싶은 euc-kr 로 인코딩 된거여서 바꿔서 봐야한다. 문자인코딩을 변경해서 보자. iconv -f euc-kr -t utf-8 source.csv > target.csv | csview target.csv https://github.com/wfxr/csview GitHub - wfxr/csview: 📠 Pretty and fast csv viewer for cli with cjk/emoji support. 📠 Pretty and fast csv viewer for cli with cjk/e..

오래 걸리는 파이썬 스크립트에서 에러가 발생했다. `Lost connection to MySQL server during query` 아마 MySQL 커넥션 시간제한이 있지 않을까 해서 봤다. https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html#sysvar_wait_timeout default 값은 8시간이고, Aurora MySQL 에서도 동일하다. 로그를 보니까 쿼리를 실행하기까지 10시간 동안 객체를 만들고 있었다. 파라미터 그룹을 수정하는 것 보다는 코드를 수정하는 게 나을 것 같다. insert 작업을 수행하는데, 각 객체마다 수행 하던거를 한 번에 할 수 있게 모아놨고, 커넥션은 모은 객체를 한 번에 insert 하는 순간..

EC2 Linux 환경에 여러 Python 프로젝트가 있어요. 로컬에서 사용하는 Python 버전과 EC2 에 Python 버전이 달라서 패키지 설치에 문제가 생겼어요. macOS 에서 사용하던 pyenv를 EC2 에도 설치해서 써봐요. macOS 와 설치방법이 조금 다르네요. 0번 과정에서 apt install 해주지 않으면 pyenv install python(x.y.z) 할 때 문제가 생겨요. # 0. sudo apt-get install -y make build-essential libssl-dev zlib1g-dev libbz2-dev \ libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev xz-utils tk-dev \ libxml2-..

법정동코드를 DB로 만들면서 있던 과정을 적어봐요. 먼저 법정동코드 규칙은 10자리 숫자, 시도(2) + 시군구(3) + 읍면동(3) + 리(2) 로 이루어져 있어요. 시작은 오피스텔 매매 실거래 정보를 가져와서 데이터베이스에 저장하고 싶었어요. 저장할 때 법정동코드가 필요한데 오피스텔 매매 실거래 정보 API 응답값에 다른 정보는 존재하지만 법정동코드는 없어요. https://www.data.go.kr/data/15058452/openapi.do 국토교통부_오피스텔 매매 신고 조회 서비스 부동산 거래신고에 관한 법률에 따라 신고된 주택의 실거래 자료를 제공 www.data.go.kr # response { '거래금액': '14,000', '거래유형': '중개거래', '건축년도': '1989', '년':..