首先打開瀏覽器,這里以谷歌瀏覽器(chrome)為例,火狐瀏覽器也是類似的操作、
打開你需要抓取的網址,如果需要登錄,則需要先完成登錄操作。
登錄以后,在瀏覽器中,按下 F12
,會出現開發者工具,選擇 Network
。
然后 F5
刷新一下,這時會出現很多請求,可以通過篩選類型來過濾下。
選擇一個請求,然后右擊 -> Copy(復制) -> Copy request headers(復制請求頭)。
切換到爬山虎采集器,任務編輯,第三步,指定 HTTP Header,點擊按鈕“從剪切板粘貼Header”。
最后完成,把所有的header信息都復制到了爬山虎采集器,包括Cookie信息。