본문 바로가기
반응형

SWE324

웹 크롤링 유료 프록시 순위 웹 스크래핑시 프록시가 필요한 이유 웹 스크래핑시 하나의 IP 주소에서 너무 많은 request 요청을 요구하기 때문에, 서버의 IP가 블럭될 수 있다. (웹 마스터가 막아버린다) 따라서 프록시를 이용해 IP주소를 바꿔가면서 계속해서 작업을 수행한다. 프록시 서버는 리소스를 구해오는 대리자 역할을 수행한다. 클라이언트 —-> 프록시 —-> 서버 (리소스) *참고) web crawling / web scraping 다른 용어다. 차이점은 ‘웹 크롤링'은 웹 페이지의 링크를 타고 계속해서 탐색을 이어가지만, ‘웹 스크래핑'은 데이터 추출을 원하는 대상이 명확하여 특정 웹사이트만 추적한다. 프록시 유료 구입을 위해서 사전에 알아야하는 것 프록시 타입들 3가지 종류의 프록시가 있다. 데이터센터 프록시: 클라우드.. 2023. 3. 19.
[C++] 언제 복사생성자와 복사대입연산자를 오버로딩해야할까? | 얕은복사와 깊은복사 컴파일러는 디폴트로 복사 생성자와 복사대입연산자를 만들어준다. 그러나 개발자가 직접 재정의하는 경우가 있는데, 언제 그래야하는건지 왜 그래야하는건지 궁금했다. 복사 함수들(복사 생성자와 복사 대입 연산자)을 언제 따로 정의해야 하는가? 결론부터 말하자면 클래스에 멤버변수로 포인터를 가지고 있을 때, 복사함수들을 재정의해야 한다. 클래스가 포인터를 포함하고 있지 않으면, 복사함수들을 재정의할 필요가 없다. 컴파일러가 모든 클래스에 대한 기본 복사함수들을 만들어주기 때문이다. 그러나 우리가 런타임 자원할당(파일 핸들러, 네트워크 연결)이나 포인터를 사용한다면, 컴파일러가 생성해주는 디폴트 복사 함수들이 충분하지 않을 수 있다. - 예시 #include using namespace std; // 복사 함수들을.. 2023. 2. 24.
리눅스 man 숫자 의미는? | man 사용법 고급 수준 리눅스 터미널 창에서 'man [명령어]'를 사용하면 도움말을 볼 수 있다. $ man mkdir 도움말을 보면 명령어 옆 괄호 숫자가 있는 것을 볼 수 있다. 매뉴얼 명령어(숫자)의 의미는? 섹션을 의미한다 - 1섹션: 쉘 명령어 ex) mkdir, ls, dir, mv, ... - 2섹션: 시스템 호출 (커널을 직접 제어하는 함수) ex) socket, open, close, fcntl, ... - 3섹션: 라이브러리 함수 ex) queue, qsort, htonl, bzero, ... 특정 섹션의 매뉴얼을 보고 싶은 경우 명령어가 세션 두 개 이상에 중복으로 위치할 경우 작은 숫자의 매뉴얼을 우선적으로 보여준다. 예를 들면 uname은 세션 1에도 위치하고 섹션 2에도 위치하지만, $man unam.. 2023. 2. 14.
실행 에러 AddressSanitizer odr violation 해결 방법 문제 발생 상황은 프로그램을 실행하였더니 라이브러리 로딩하는 중에 아래 로그를 남기고 종료되었다. 에러 로그 29-Jan-2021 11:25:04.597 loading DynDB instance 'sample' driver '../driver/lib/sample.so' ================================================================= ==2511090==ERROR: AddressSanitizer: odr-violation (0x7f9e15d78d00): [1] size=8 'dns_lctx' log.c:69:33 [2] size=8 'dns_lctx' log.c:69:33 These globals were registered at these points.. 2023. 1. 20.
반응형