PROGRAMMING/Python18 멜론 차트 크롤링 코드(Crawling Melon Chart) ## 사용한 라이브러리 - Selenium, BeautifulSoup, Pandas, datetime - Webdriver for Chrome ## Melon Chart page www.melon.com/chart/index.htm - 멜론 차트 페이지의 경우 100곡에 대한 정보로 구성 ## Crawling 및 데이터 저장 - 노래 제목은 div.ellipsis.rank01에서 찾을 수 있음 - 노래 제목 앞뒤로 '\n'가 붙어 있으므로, text 정보 추출 시 해당 개행문자 삭제 필요(strip사용) - 가수 이름은 div.ellipsis.rank02에서 찾을 수 있는데 추가로 span.checkEllipsis에 반복해서 나오고 있음 - 가수 이름을 찾기 위해 최종적으로 div.ellipsis.ran.. 2020. 12. 13. 파이썬(Python) 및 파이토치(PyTorch) 버전 업그레이드 하기 오픈소스를 사용하다보면 흔히 겪게 되는 문제 중 하나가 버전 호환성이다. TensorFlow에서 PyTorch로 딥러닝 라이브러리를 변경한 이유 중 가장 큰 것이 마이너 버전 차이에도 코드 호환이 되이 않았기 때문이다. 여튼 파이썬의 경우 파이썬 자체 버전도 다양하게 배포되고 있고, 파이토치도 다양한 버전이 동시에 릴리즈되고 배포되고 있으므로 본인에게 필요한 버전을 잘 선택하여 설치하는 것이 필요하다. 1. 파이썬 버전 업그레이드 (Python version upgrade) 하기 현재 설치 가능한 파이썬 버전은 주요 버전은 2와 3이며, 마이너버전에 따라 2.7, 3.6, 3.7, 3.8, 3.9 가 있고, 각 마이너버전에서는 3.x.y (patch)와 같이 패치 버전이 존재한다. 이에 따라 파이썬 버전.. 2020. 11. 24. 파이썬 패키지 업데이트 원본자료: How to Update All Python Packages 설치된 파이썬 패키지 버전 확인 pip list 업데이트 된 파이썬 패키지 확인 pip list --outdated ※ 참고로 위 결과는 이미 업데이트를 완료한 상태라서 outdated 된 패키지가 많지 않은 상태임. 윈도우 환경에서 모든 파이썬 패키지 업데이트(확인) 1. 윈도우 PowerShell 실행 2. 명령어 입력 pip freeze | %{$_.split('==')[0]} | %{pip install --upgrade $_} 리눅스 환경에서 모든 파이썬 패키지 업데이트(미확인) 방법1. grep 이용한 업데이트 pip3 list --outdated --format=freeze | grep -v '^\-e' | cut -d .. 2020. 10. 3. 무거운 Anaconda 대신 miniconda 다양한 버전의 Python과 관련 패키지를 사용하기 가장 좋은 방법은 가상 환경 (virtualenv)을 사용하는 것이며 이를 지원하는 최선의 방법은 Anaconda를 사용하는 것이라 할 수 있다. Anaconda 소개는 아래 링크 참조 2016/08/22 - [PROGRAMMING/Python] - Anaconda (아나콘다) 이용한 Python 개발환경 구성 그런데 몇 년간 Anaconda를 사용하며 느낀 점을 돌아보면 한 가지 아쉬운 점이 떠오른다. 그건 바로 "너무 무거워졌다"는 것이다. 초기 Anaconda 버전을 설치할 때만 해도 약간 무겁네 라는 느낌이었지만, 최근 설치하면서 느낀 것은 너무하네...라는 느낌이다. 현재 Python 개발로 사용중인 PC의 Anaconda3 폴더를 보면 환경이.. 2018. 12. 26. Jupyter Notebook 시작 디렉토리 설정 Jupyter Notebook 실행 시 시작 디렉토리(폴더)를 설정하는 방법 1. Jupyter Notebook 환경 설정 파일 생성 ① 명령창 (Command 실행 또는 Anaconda 사용중인 경우 Anaconda Prompt 실행) ② 명령창에 아래 명령 jupyter notebook --generate-config 위 명령이 정상적으로 실행되면 해당 설정 파일( jupyter_notebook_config.py ) 이 생성된 경로가 표시된다. 2. 경로 설정 ① "jupyter_notebook_config.py" 파일을 텍스트 편집기로 열기 ② 찾기 기능으로 "notebook_dir"를 찾기 ③ 기본적으로 주석처리 되어 있으므로 주석을 해제( # 삭제 ) ④ c.NotebookApp.notebook.. 2018. 9. 14. PyCharm에서 OpenCV 자동완성 문제 해결 PyCharm에서 OpenCV import 한 후 명령어 입력 시 자동완성이 안되는 문제가 있음 해결방법 (기존) import cv2 (변경) try: from cv2 import cv2except ImportError: pass import 할 때 위와 같이 하면 자동완성을 위한 명령어들이 제대로 출력이 된다. 이유는 모르지만... 참고stackoverflow [link] 2017. 9. 25. 이전 1 2 3 다음
