대용량 csv 파일 읽기 엑셀로 보기 어려운 1000만 row 가 넘는 csv 파일을 보고 싶었다. csv 도 json formatter 처럼 뭔가 있지 않을까 했는데 csview 라는 게 있어서 써봤다. 내가 보고 싶은 euc-kr 로 인코딩 된거여서 바꿔서 봐야한다. 문자인코딩을 변경해서 보자. iconv -f euc-kr -t utf-8 source.csv > target.csv | csview target.csv https://github.com/wfxr/csview GitHub - wfxr/csview: 📠 Pretty and fast csv viewer for cli with cjk/emoji support. 📠 Pretty and fast csv viewer for cli with cjk/e..
오래 걸리는 파이썬 스크립트에서 에러가 발생했다. `Lost connection to MySQL server during query` 아마 MySQL 커넥션 시간제한이 있지 않을까 해서 봤다. https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html#sysvar_wait_timeout default 값은 8시간이고, Aurora MySQL 에서도 동일하다. 로그를 보니까 쿼리를 실행하기까지 10시간 동안 객체를 만들고 있었다. 파라미터 그룹을 수정하는 것 보다는 코드를 수정하는 게 나을 것 같다. insert 작업을 수행하는데, 각 객체마다 수행 하던거를 한 번에 할 수 있게 모아놨고, 커넥션은 모은 객체를 한 번에 insert 하는 순간..
EC2 Linux 환경에 여러 Python 프로젝트가 있어요. 로컬에서 사용하는 Python 버전과 EC2 에 Python 버전이 달라서 패키지 설치에 문제가 생겼어요. macOS 에서 사용하던 pyenv를 EC2 에도 설치해서 써봐요. macOS 와 설치방법이 조금 다르네요. 0번 과정에서 apt install 해주지 않으면 pyenv install python(x.y.z) 할 때 문제가 생겨요. # 0. sudo apt-get install -y make build-essential libssl-dev zlib1g-dev libbz2-dev \ libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev xz-utils tk-dev \ libxml2-..
법정동코드를 DB로 만들면서 있던 과정을 적어봐요. 먼저 법정동코드 규칙은 10자리 숫자, 시도(2) + 시군구(3) + 읍면동(3) + 리(2) 로 이루어져 있어요. 시작은 오피스텔 매매 실거래 정보를 가져와서 데이터베이스에 저장하고 싶었어요. 저장할 때 법정동코드가 필요한데 오피스텔 매매 실거래 정보 API 응답값에 다른 정보는 존재하지만 법정동코드는 없어요. https://www.data.go.kr/data/15058452/openapi.do 국토교통부_오피스텔 매매 신고 조회 서비스 부동산 거래신고에 관한 법률에 따라 신고된 주택의 실거래 자료를 제공 www.data.go.kr # response { '거래금액': '14,000', '거래유형': '중개거래', '건축년도': '1989', '년':..
이전에 JS 처음 볼 때 필요한 부분만 그때그때 찾아서 보는 식으로 봤더니 나중에 모르는 부분이 많아서 그냥 처음부터 바이블 한 권 볼걸... 하고 후회했어요. 다음에 새로운 언어 볼 때는 두꺼운 책 한 권을 그냥 쭉 봐야지 하고 생각하고 있었어요. 그래서 이번에는 책을 봐야겠다 싶어 파이썬 키워드에서 두껍고 신상인데 표지도 귀여운 걸로 사 봤어요. 아 문법을 하나도 모르는 상태로 책을 본 건 아니에요. 예전에 조금 본 적 있어서 완전 새롭지는 않음. 1권은 기본편, 2권은 실습편 이렇게 나뉘어 있어요. 1권은 다 봤고 2권 실습편은 프로젝트 3개인데 1개만 했어요. 기본편 보는데 생각보다 너무 쉬운 내용이었어요. 얕음. JS랑은 느낌이 달라요. JS처음 보는 거면 바이블을 보는 게 좋을 것 같고 파이썬..
예전에 한 번 봤다가 덮었는데 다시 시도해 봤어요. 이번에는 전자책으로 읽어봤는데 저는 종이책 스타일인 듯해요. 전자책은 모니터 한쪽에 띄워놓고 pc로 다른 작업을 할 때만 좋아요. 누워서 아이패드로 보기엔 좋은데 읽는 맛이 없어요. 한 번 폈다가 재미없으면 다른 책 보고 이렇게 했는데 병렬로 읽으려고 하니까 중간중간 까먹어요. 저에겐 한 번에 쭉 보는 게 베스트 같아요. 며칠 딴 거 보다가 다시 보니까 흐름이 제대로 기억나지 않음. 사실 다 읽진 않았고 3/4 정도만 읽었어요. 되돌아보면 심리학이나 뇌과학을 재밌어하며 읽는 것 같은데 흐름이 끊기는 것도 있었지만 그럼에도 잘 안 읽혔어요. 한 번 보면 재미없어도 다 봐야 한다는 생각이 있어서 조금 답답했는데 그냥 내가 보고 싶은 내용만 볼래요. 편식하는..
인스타 구경하다가 길벗 IT 전문서 리뷰어 모집 글을 보고 신청했어요. 아래 11가지 책 중에 1가지 선택할 수 있는데, 이전에 교보문고에서 그림으로 이해하는 AWS 구조와 기술 이라는 책을 잠깐 봤는데 귀여운 게 기억에 남아서 신청해 봤어요. 테크 커리어 챗GPT 거부할 수 없는 미래 개발자가 되고 싶습니다 모두의 한국어 텍스트 분석 with 파이썬 유니티교과서 개정6판 모의 해킹으로 알아보는 리눅스 서버 해킹과 보안 쉽게 시작하는 타입 스크립트 코딩 자율학습 스프링 부트 3 자바 백엔드 개발 입문 해결 할 프로덕트 디자인 그림으로 이해하는 네트워크 구조와 기술 캐글 메달리스트가 알려주는 캐글 노하우 운이 좋게 걸려서 초판 발행이 2023년 7월 20일인 반짝반짝 새 책을 받았어요. 이번엔 리뷰어로 쓰..
사둔 책 중에서 제일 얇아서 읽기로 해요. 그림도 많고 내용도 어렵지 않아서 잘 읽혀요. 16,000원인데 너무 비싼 듯... 이제 얇은 거는 구매하지 않고 봐야겠어요. 법칙 10가지를 설명해 주는데 법칙 이름을 들어봤거나 이름은 모르더라도 적어도 내용은 다 어디서 주워들어봤을 만한 것들이에요. 평소에 설명은 못 해도 이게 더 낫지 않나? 라고 생각하는 것들의 이유를 설명해 줘요. 힘에는 책임이 따른다. 이런 주제가 있는데 저번에 본 도둑맞은 집중력에서 다룬 내용과 비슷해요. 심리학을 잘 이용해서 나쁘게 만들 수도 있으니까요. 근데 회사 입장에서는 활성 사용자 수나 체류 시간 같은 지표가 늘어야 하니 어려운 것 같아요. 다 알고 있는 일부 고수들은 윤리적 죄책감을 느낄지도. 서비스의 성공과 실패는 개발..
- Total
- Today
- Yesterday
- JPA 연관관계 매핑
- 이펙티브자바 아이템60
- 모던자바스크립트
- JS 딥다이브
- ㅇㄷㅇㅈ
- GCP
- js api
- 백준
- http
- 드림코딩
- 김영한 http
- 김영한 JPA
- 이펙티브자바 아이템59
- 가상 면접 사례로 배우는 대규모 시스템 설계 기초
- java
- 킹수빈닷컴
- js array
- 이펙티브자바 스터디
- js promise
- 백기선 스터디
- 프로그래머스
- 패스트캠퍼스 컴퓨터공학 완주반
- 프로그래머스 SQL
- Spring Security
- REST API
- BOJ
- HTTP 완벽가이드
- dreamcoding
- 이펙티브자바
- HTTP 완벽 가이드
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |