介紹

POST 請求是使用HTTP協議的POST方法進行請求的方式,區別于GET請求,POST請求一般是將參數數據放在POST Body(POST 數據體)中。而GET請求的參數都是放在URL中。

前提

要使用POST方式進行采集,首先需要學習抓包技術,通過Chrome F12(開發者工具->Network) 或者Fiddler 工具來進行抓包。

第一步 設置POST請求

新建任務,在第一步,選中POST 請求,出現POST請求數據的設置。 0

通過之前的抓包工作,定位到我們需要的POST請求,把POST請求的URL和POST數據復制過來。 一般來說,我們直接復制整個請求(包含URL、Header、POST Body),然后點擊按鈕從剪切板粘貼Header,一鍵復制請求數據。

復制完成之后,需要對POST數據進行分析,找到其中參數,比如分頁、查詢關鍵詞 之類,用批量網址參數進行處理。 0

第二步 配置抓取數據

大部分情況下,POST請求的返回數據都是JSON格式,在第二步中,我們直接把引擎切換為JSON引擎就可以了。 剩余部分可以參考JSON數據采集

0

在使用POST方式采集時,很多時候需要跟Header打交道,因為有些網站或APP會將一些驗證放在Header中,比如常見的Auth。

第三步->指定Header設置 ,可以對這些進行修改。 包括UA、Cookie等等Header。 0