?? 福彩3d精选列表

心情碎語:等雨停的時候往往雨不會停,等人來的時候往往人不會來。

您的位置:慕軻博客 >特效代碼> 網絡爬蟲與信息提取

網絡爬蟲與信息提取

網絡爬蟲與信息提取

如果想要爬取的網站不允許通過python等工具提取信息,可以通過如下方法提取

 import requests

url = "網站鏈接"

try:

    kv = {'user-agent':'Mozilla/5.0'}   // Mozilla/5.0 是標準的瀏覽器,此處是將 user-agent 里的替換成 Mozilla/5.0.

    r = requests.get(url,headers=kv) //

    r.raise_for_status()

    r.encoding = r.apparent_encoding

    print("r.text[:1000]")

except:

    print (''爬取失敗")

注意 向服務器發出請求的報文頭部。

 r.request.headers

{'User-Agent': 'python-requests/2.18.1', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

   經過  kv = {'user-agent':'Mozilla/5.0'}  替換為

r.request.headers

{'user-agent': 'Mozilla/5.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

---

轉載請注明本文標題和鏈接:《網絡爬蟲與信息提取

發表評論

48 + 52 =
路人甲 表情
Ctrl+Enter快速提交
福彩3d图谜总汇