在采集一些網站時,網站會偶爾出現服務器問題,導致某些頁面無法正常采集,返回狀態碼500,或者404錯誤。
這里我們可以使用請求重試功能,在第三步、設置中可以找到。
可以設置6種條件,來觸發請求重新功能:
- 網址中包含
- 內容中包含
- 狀態碼等于
- 網址中不包含
- 內容中不包含
- 狀態碼不等于
這里主要基于3種格式:網址、返回內容、狀態,來判斷內容條件。
- 網址,請求網址,包含響應的跳轉地址。
- 內容,即請求返回內容
- 狀態碼,用于在HTTP、JSON引擎中,判斷狀態碼(Status Code)
同時可以設置最大重試次數和重試的間隔時間,具體設置可以針對具體網站狀態進行調整。