Python Tor crawling (파이썬 토르 크롤링)

728x90

<환경>

 

우분투 : 20.04.1

Python : 3.8.5

 

 

Tor 설치를 먼저 진행을 해야지 코드가 잘 동작 한다.

apt-get install tor 

그리고 그 이후에 service tor start 를 해준다음 아래에 있는 코드를 실행해보자.

import requests
import socks

session = requests.session()
session.proxies = {}
session.proxies['http'] = 'socks5h://localhost:9050'
session.proxies['https'] = 'socks5h://localhost:9050'


url = 'Tor site'
r = session.get(url)
html = (r.text)
print(html)

 

결과는 성공적으로 나왔을 것이다. 만일 

 

이런식으로 오류가 나온다면 다양한 이유가 있겠지만,

1. tor 프로세스를 실행 시키지 않았다.

2. ~~~.onion 사이트의 주소를 제대로 입력하지 않았다.

3. 그 사이트가 닫혀있다.

 

대충 이런 이유로 인해 저 오류가 발생하는 것이므로 차근차근 확인해보자.

 

+ 모듈이 없다고 하면 pip install 로 모듈 설치해주자.(python3 는 pip3 install 로 시작한다.)