# 發(fā)布任務(wù)完成后，異步調(diào)用spiderKeeper的API，來更新狀態(tài)

r = requests.post(url="",

data={'project': 'data-platform', 'task': _id, 'type': type_}, timeout=2)

else: # 非中國境內(nèi)服務(wù)器抓取不超時(shí)

cmd += " --pid %d" % os.getpid()

subprocess.Popen(cmd, shell=True)

return 0

1、檢查網(wǎng)站或服務(wù)器是否存在狀態(tài)異常，如可用性、鏈路斷開現(xiàn)象；

2、嘗試使用不同的代理IP連接，查看能否減少抓取時(shí)間；

3、采集任務(wù)分散成多個(gè)子任務(wù)實(shí)例，并行執(zhí)行幾個(gè)子任務(wù)；

4、根據(jù)部分特征來對URL進(jìn)行優(yōu)先級判斷和安排；

5、將url資源列表保存在云服務(wù)中并通過API上傳和回傳。

1、更換聯(lián)網(wǎng)方式：嘗試使用不同的聯(lián)網(wǎng)方式（如3G/4G或WiFi）來連接香港服務(wù)器。

2、重新安裝VPN：如果當(dāng)前使用的 VPN 出現(xiàn)問題而導(dǎo)致出現(xiàn)超時(shí)問題，可以重新安裝該 VPN 軟件并檢測下是否可以正常通信。

3、優(yōu)化 DNS 服務(wù)器地址 ：找到“DNS 服務(wù)器地址”并把其中的 DNS 理想IP 內(nèi)容修改成 8.8.8.8 或者 8.8.4.4 之一即可。