본문 바로가기

프로그래밍/python

(3)
python scrapy 사용해보기 -1 (미완성) 안녕하세요. 오늘은 python의 웹 스크래핑 라이브러리인 scrapy를 사용해 보고자 합니다. 실습 환경은 window10, python 3.9.5, vscode 입니다. 오늘의 실습은 https://docs.scrapy.org/en/latest/intro/overview.html#scrapy-at-a-glance 스크래피의 공식 문서를 보고 진행 합니다. 1. 프로젝트 시작하기 터미널에 다음과 같은 명령어를 입력하면 scrapy project가 만들어 집니다. scrapy startproject tutorial 위와 같은 구조로 프로젝트가 생성 됩니다. 그 후에 tutorial/tutorial/에 scrapy 파일들을 작성하면 됩니다. 아래 코드는 공식 문서에 있는 예제 코드입니다. import sc..
fast api 파이썬의 고성능 프레임워크 퇴근 후에, 이것 저것 하나씩 건드려 보고 있던차에 아주 좋은 프레임워크를 발견했습니다. 바로 fast api라는 프레임 워크 입니다. 제가 생각하는 (저 아직 아는 것 많이 없습니다) 장점들을 공유하고자 합니다. 1. api 문서가 자동으로 생성됩니다. 저는 nest js + graphql으로 api 서버 개발을 시작했었는데, 지금의 회사에서는 django + rest api로 개발을 진행하고 있습니다. graphql로 개발을 진행할때에는 api 문서를 자동으로 생성 해 주어서 프론트 개발자와의 협업이 정말 편리했는데 django등의 대부분의 프레임워크는 api 문서를 생성해주지 않습니다. 따라서 프론트엔드 개발자와의 원활한 소통을 위해서 조금 더 많은 시간을 사용해야 했습니다. 그런데 fast api..
python celery 속도 향상 시키기 보호되어 있는 글입니다.