介紹
POST 請求是使用HTTP協議的POST方法進行請求的方式,區別于GET請求,POST請求一般是將參數數據放在POST Body(POST 數據體)中。而GET請求的參數都是放在URL中。
前提
要使用POST方式進行采集,首先需要學習抓包技術,通過Chrome F12
(開發者工具->Network) 或者Fiddler
工具來進行抓包。
第一步 設置POST請求
新建任務,在第一步,選中POST 請求
,出現POST請求數據的設置。
通過之前的抓包工作,定位到我們需要的POST請求,把POST請求的URL和POST數據復制過來。 一般來說,我們直接復制整個請求(包含URL、Header、POST Body),然后點擊按鈕從剪切板粘貼Header
,一鍵復制請求數據。
復制完成之后,需要對POST數據進行分析,找到其中參數,比如分頁
、查詢關鍵詞
之類,用批量網址參數進行處理。
第二步 配置抓取數據
大部分情況下,POST請求的返回數據都是JSON格式,在第二步中,我們直接把引擎切換為JSON引擎就可以了。 剩余部分可以參考JSON數據采集
Header設置
在使用POST方式采集時,很多時候需要跟Header打交道,因為有些網站或APP會將一些驗證放在Header中,比如常見的Auth。
在第三步
->指定Header設置
,可以對這些進行修改。 包括UA、Cookie等等Header。