데이터 5

SQL 무료 강의 및 책, 연습 사이트 추천

[ 무료 강의 추천 ] 혼자 공부하는 SQL 우재남 저자, 『혼자 공부하는 SQL』의 책 내용으로 제작된 유튜브 강의 [ 무료 책 (위키독스) 추천 ] 평생 필요한 데이터 분석 - MySQL과 주식 데이터로 재밌게 **평생 필요한 데이터 분석 - MySQL과 주식 데이터로 재밌게** - 실제 주식 데이터로 재밌게 배우는 SQL - SQL을 가장 흥미롭게 배울 수 있는 책 - 비개발… wikidocs.net [ 연습 사이트 추천 ] 1. 프로그래머스 코딩테스트 준비하는 분들께 추천 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 2. 해커링크 프로그래머스와 ..

[Vision/cs231n] 3. Loss Functions and Optimization

3강에서는 손실함수란 무엇이고 어떤 종류가 있는지, 최적화는 무엇이고 왜 사용하는지 등에 대해서 학습한다. (2017년 강의 기준) [ Loss Functions (손실함수) ] 손실함수란 최적의 weight를 구하기 위해, 현재의 weight가 좋은지 나쁜지 정량화하는 방법에 사용되는 함수이다. 머신러닝과 딥러닝에서 모델 예측값과 실제 타깃 값의 차이를 측정하는 함수로, 모델이 얼마나 잘 예측하고 있는지를 평가하고 모델의 매개변수를 조정하는 데 사용된다. 만약 예측값과 실제값의 차이가 크다면 손실함수 값이 크고, 모델 예측 성능이 낮다고 할 수 있다. 따라서, 손실 함수의 값을 최소화하여 모델의 성능을 향상시키는 것이 목표이다. 고양이, 자동차, 개구리 3가지 클래스를 비교하는 경우를 예로 들어보며 이..

[지도 시각화] shp에서 geoJSON으로 변환하기

공모전을 준비하면서 파이썬으로 지도 시각화를 해야했는데, shp 파일을 처음 제대로 만져보다보니 생각보다 시행착오가 꽤 있었다.. 1) 파이썬 내에서 코드로 파일 변환 2) GIS에서 파일 변환 3) 이곳저곳 사이트에서 변환 직접 삽질한 끝에 아주 편리하고 올바른 방법이 있어서 공유한다. ㅠ 결론 : mapshaper 사이트 추천 서울특별시 경계 shp 파일은 아래에서 다운로드할 수 있다. Raw data : http://data.nsdi.go.kr/dataset/15144 행정구역시군구_경계 - 오픈마켓 법정동(시군구) 경계도면 data.nsdi.go.kr zip 파일을 다운로드 받으면 총 4개의 파일이 들어있다. cf) Python에서 shp파일은 위 파일들이 같이 있어야 열린다. 아니면 에러 발생함..

[Python] 대용량 csv 데이터 불러오기 : dask

공모전을 준비하면서 4GB가 넘는 건축물대장 파일을 전처리할 필요가 있었는데, 데이터베이스를 연결하지않고 파이썬 내에서 간단하게 불러올 수 있는 dask라는 라이브러리가 있어서 유용하게 사용했던 적이 있다. dask 라이브러리 병렬 처리를 지원하는 대규모 데이터프레임 라이브러리 큰 규모의 데이터를 효율적으로 처리하고 분석할 수 있도록 도와줌 Pandas와 비슷한 API를 제공하여 기존에 Pandas를 사용했던 사람들도 비교적 쉽게 적용 가능 코드별 설명 Raw data : https://open.eais.go.kr/opnsvc/opnSvcInqireView.do 에서 다운로드 가능 상황 : 2023년 5월 기준 전국 건축물대장 층별개요 데이터에서 서울특별시 & 필요 칼럼만 추출 1. 라이브러리 및 필요 ..

카테고리 없음 2023.07.27

[빅데이터 분석기사] 실기 6회 만점 후기 (합격 Tip, 기출 풀이 공유)

개인적으로 공부하며 정리한 내용과 팁들은 깃허브와 캐글링크에서 보실 수 있습니다. 기출 풀이 및 코드 정리 : https://github.com/Minju-nimm/BDA_Certificate GitHub - Minju-nimm/BDA_Certificate Contribute to Minju-nimm/BDA_Certificate development by creating an account on GitHub. github.com 🏆 6회차 합격 후기 - 5회차까지 출제됐던 단답형 유형에서 통계 검정으로 유형이 바뀐 첫 회차였습니다. - 원래 ADP를 공부하고 있어서 통계 검정은 큰 무리없었지만, 문제의 가독성 및 공지된 패키지 외 출제로 논란이 적지않은.. 회차였습니다. ㅠㅠ ​ - 우연히 시험 문제들을..

728x90