[네트워크] 네트워크 IP와 크롤링 방법

 

IP란

각각의 장비에게 부여되는 고유 주소

 

ex) IPv4(43억개 주소), IPv6(2^128개인 약 3.4x1038개)

 

 

 

고정, 유동 IP

 

• 고정 IP

컴퓨터에 고정적으로 부여된 IP

 

 

• 유동 IP

변하는 IP

대부분의 사용자는 유동 IP를 사용함

 

ex) 공유기 IP (껐다가 키면 IP가 변화함)

 

 

 

사설, 공인 IP

 

• 사설 IP (로컬 IP)

IP 하나를 여러명이서 사용하기 위해서 만들어짐.

 

ex) 공유기

 

 

 

- IP 접속 차이

IP 접속 차이

 

 

• 공인 IP

전 세계에서 유일한 IP

외부, 내부 상관없이 해당 IP에 접속할 수 있으나 사설 IP는 내부에서만 접근이 가능함.

 

 

 

포트란

 

: 논리적인 접속 장소

포트를 통해 원하는 서비스에 접근 할 수 있다.

 

 

포트의 종류

 

잘 알려진 포트 목록

 

 

 

 

 

 

명령어

 

netstat -an 

네트워크 명령상태를 보는 명령어

 

 

 

 

방화벽

 

방화벽 내용

 

 

 

웹서버 이중화

 

서버가 꺼지지 않고 신규 반영한 것을 적용할 수 있음

DB서버의 경우 원격으로 접속이 되지 않음 -> 반영 시 실제로 가서 반영 하거나 상주하여서 개발 후 반영하는 경우가 있음

 

웹서버 이중화

 

L4 스위치가 있는 이유 : 각자 들어온 인원들을 #1 또는 #2로 나눠서 보내줌. -> 동등하게 부여하여 부화를 막아줌

 

 

 

물리 서버와 aws 서버 차이점

 

 

 

물리 서버의 경우 스케일 업(서버를 늘리는 일 등)하는 것이 힘듬

=> 사람들이 확 늘어나는 경우의 플랫폼은 주로 AWS 서버를 사용함

 

 

 

크롤링

 

: 인터넷에 있는 데이터를 수집하는 것

 

 

1. java 방식

2. jsoup 방식

3. selenium 방식

속도가 느리지만 가장 쉬운 방식

 

• 테스트 전

 

crawler.zip

0.00MB

 

 

 

• 테스트 후 코드

https://drive.google.com/file/d/1N30sEmUDIZJFzPYlc9rBt7bWaJPthho7/view?usp=sharing

crawler_finish.zip

 

 

크롤링 테스트 화면 : 크롤링 시 밴 당할 수 있기에 주의해야함!

 

 

 

url 뒤에 /robots.txt
 : 크롤링을 해도 되는 사이트를 확인할 수 있음

 

 

/robots.txt 페이지

Disallow : 가져가면 안 됨
Allow : 가져가도 됨