Python urlopen()メッソッド　サンプル

2014年6月13日

1.ページのすべて内容を取得
from urllib import urlopen
doc = urlopen(“http://www.yahoo.co.jp").read()
print doc

2.Httpヘッダを取得
from urllib import urlopen
doc = urlopen(“http://www.yahoo.co.jp"")
print doc.info()
print doc.info().getheader('Content-Type’)

3.プロキシを使用
1.環境変数を確認
print “"n".join([“%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv(“http_proxy")

2.環境変数を設定
import os
os.putenv(“http_proxy", “http://proxyaddr:<port>")

3.プロキシを使用
# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http’: 'http://www.someproxy.com:3128’}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don’t use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment – both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)