본문 바로가기
반응형

SWE/Learning Diary24

웹 크롤링 유료 프록시 순위 웹 스크래핑시 프록시가 필요한 이유 웹 스크래핑시 하나의 IP 주소에서 너무 많은 request 요청을 요구하기 때문에, 서버의 IP가 블럭될 수 있다. (웹 마스터가 막아버린다) 따라서 프록시를 이용해 IP주소를 바꿔가면서 계속해서 작업을 수행한다. 프록시 서버는 리소스를 구해오는 대리자 역할을 수행한다. 클라이언트 —-> 프록시 —-> 서버 (리소스) *참고) web crawling / web scraping 다른 용어다. 차이점은 ‘웹 크롤링'은 웹 페이지의 링크를 타고 계속해서 탐색을 이어가지만, ‘웹 스크래핑'은 데이터 추출을 원하는 대상이 명확하여 특정 웹사이트만 추적한다. 프록시 유료 구입을 위해서 사전에 알아야하는 것 프록시 타입들 3가지 종류의 프록시가 있다. 데이터센터 프록시: 클라우드.. 2023. 3. 19.
[Python] Regular Expression 정규 표현식 사용 예제 python 정규식 사용 예제 import re regular expression 모듈 import하기 숫자만 추출 match = re.findall('[0-9]+', 'rtsp://111.112.113.114:9000/rtspTest') print(match) # ['111', '112', '113', '114', '9000'] 지정한 길이의 숫자만 추출 match = re.findall('[0-9]{4}', 'rtsp://111.112.113.114:9000/rtspTest') print(match) # ['9000'] 특정 문자열 추출 # rtsp 텍스트 찾기 match = re.findall('rtsp', 'rtsp://111.112.113.114:9000/rtspTest') print(match.. 2022. 9. 27.
클라우드 컴퓨팅 기초 개념 정리 | Iaas Paas SaaS 클라우드 컴퓨팅(Cloud Computing) 클라우드 컴퓨팅이란? - 컴퓨터 자원을 구름(Cloud)과 같이 무형의 형태로 가상화하여 제공하는 것. - 인터넷상의 서버를 통하여 데이터 저장, 보안, 네트워킹, 소프트웨어 어플리케이션 등 IT 관련 서비스를 한 번에 사용할 수 있는 컴퓨팅 환경. 온프레미스(on-premise)란? - Premise: 전제, 건물, 토지 - 원격 환경이 아닌 전산실 서버에 직접 설치해 운영하는 방식 - 클라우드 컴퓨팅 기술이 나오기 전까지 기업 인프라 구축의 일반적인(전통적인) 방식 서비스형 (aas: as a service)이란? - 각종 디지털 자원이 네트워크를 통해 사용 가능한 형태로 제공되는 서비스 - Anything as a Servie(EaaS, XaaS)라고도.. 2022. 8. 25.
Docker 도커 기초 개념 | 실습 Docker란? 환경에 구애받지 않고 코드 실행, 애플리케이션 배포 & 확장할 수 있도록 도와주는 소프트웨어이다. 예를 들면, 동일한 코드여도 내 개발 환경에서는 잘 돌아가는데 다른 개발자의 개발 환경에서는 '빌드 에러 나요!' 이럴 수 있다. 따라서 개발 환경 자체를 패키지로 묶어서 사용하고 다른 사람과 공유할 수도 있는 것이 도커이다. Docker와 VM 비교 Docker는 Virtual Machine 과 자주 비교된다. 왜냐하면 둘 다 가상의 개발 환경을 제공해준다는 공통점이 있기 때문이다. 그러나 둘의 가장 큰 차이점은 OS의 유무이다. Virtual box는 가상의 개발 환경을 만들 때마다 os도 필요하다. 예를 들면, 우리는 윈도우 pc에서 우분투 서버를 경험하기 위해 vm에 ubuntu os.. 2022. 4. 21.
반응형

티스토리툴바