一般爬蟲(chóng)訪問(wèn)一個(gè)網(wǎng)站的時(shí)候,首先會(huì)根據(jù)該站點(diǎn)下的Robots.txt文件來(lái)確定可爬取的網(wǎng)頁(yè)范圍,Robots協(xié)議是需要網(wǎng)絡(luò)爬蟲(chóng)共同遵守的協(xié)議,這個(gè)老師也說(shuō)說(shuō)吧
jpgo
展開(kāi)
|
|
學(xué)習(xí)達(dá)人
|
wyykapo
展開(kāi)
|
MR蔣蔣
展開(kāi)
現(xiàn)在手機(jī)顯示的也是:百度一下,你就知道?我用了好幾個(gè)不同的use-agent,運(yùn)行結(jié)果都是:百度一下,你就知道 bluer99
展開(kāi)
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0_4 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) CriOS/31.0.1650.18 Mobile/11B554a Safari/8536.25
百度一下
[Finished in 0.3s]
網(wǎng)上找個(gè)老款手機(jī)的資料。 aa765685928
展開(kāi)
url=r"http://m.baidu.com/" 百度上的網(wǎng)址和電腦和手機(jī)是有區(qū)別的,你登入的是電腦的網(wǎng)址。你用手機(jī)的網(wǎng)址就好了 |
|
學(xué)習(xí)達(dá)人
|
sbynidxv
展開(kāi)
|
陳肖杰
展開(kāi)
|
|
打卡Lv1
|
江小墩墩
展開(kāi)
|
承擔(dān)因您的行為而導(dǎo)致的法律責(zé)任,
本站有權(quán)保留或刪除有爭(zhēng)議評(píng)論。
參與本評(píng)論即表明您已經(jīng)閱讀并接受
上述條款。