在采集一些網站時,需要批量輸入關鍵詞,然后點擊查詢,但是這個網站的查詢關鍵詞不體現在網址中(單頁應用)。 這時可以通過構造請求參數,然后在腳本命令中調用。
這里以百度為例(當然百度的搜索參數包含在網址中),https://www.baidu.com/?se=xxx ,這里的se=xxx
,并不是一個有效的參數,是我們自定義的參數,se 是參數名稱,xxx 是值。
- 使用批量生成網址參數功能,生成多個查詢關鍵詞。
- 點擊下一步,點擊腳本命令按鈕,然后在網頁中任意輸入一個關鍵詞,點擊查詢按鈕,這里會自動生成2個命令,一個輸入命令,一個點擊命令。然后我們選擇輸入命令,把輸入內容 修改為
{se}
,也就是我們在第一步自定義的參數名稱。 完成之后,可以點擊測試下。
- 返回數據界面,選擇好需要采集的數據,我們這里只是測試,選擇不采集分頁,點擊 下一步,保存。
- 采集測試,在運行日志,我們可以看到執行3次查詢操作。