香港外匯開戶網

首頁

>

創業資訊

實現網絡圖片爬蟲,只需5秒快速把整個網頁上的圖片全下載打包zip

作者:香港外匯開戶網

更新時間:2021/3/7 9:50:01

點擊次數:76次

image
  短視頻,自媒體,達人種草一站服務 我們經常需要用到互聯網上的一些共享資源,圖片就是資源的一種,怎么把網頁上的圖片批量下載下來有時候我們需要把網頁上的圖片下載下來,但網頁上圖片那么多,怎么下載我們想要的東西呢,如果這個網頁都是我們想要的圖片,難道我們要一點一點一張一張右鍵下載嗎 當然不好,這里提供一段Java實現的網絡爬蟲抓圖片代碼,程序員同志有喜歡的記得收藏哦。
材料:必須會java開發,用到的核心jar Jsoup自己去網上下載很多。
以下是我已經實現的界面化的抓取圖片的在線工具,有興趣的朋友可以按照圖片地址打開看看 下圖是抓取效果網絡上隨便找第一個美女圖片網站 下面是實現代碼: /** *模擬用戶請求 */ public final static String UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6821.400 QQBrowse10.3.3040.400"; /* * *抓取全部圖片地址 備注:zfilepath是zip文件路徑 url是網頁地址 pp是img的其中屬性一般是src即可 */ public static boolean getImgSrc(String zfilepath,String url,String pp){ boolean isb =false; 利用Jsoup獲得連接 Connection connect = Jsoup.connect(url).timeout(5000); connect.header("Connection", "Keep-Alive"); connect.header("Content-Type", "applicatiox-www-form-urlencoded"); connect.header("Accept-Encoding", "gzip, deflate, sdch"); connect.header("Accept", "*/*"); connect.header("User-Agent",Cot.UserAgent); ZipOutputStream out = null; try { 得到Document對象 查找所有img標簽 File zipfile = new File(zfilepath); out=new ZipOutputStream(new FileOutputStream(zipfile)); int i=1; Listlistimg = new ArrayList(); for (Element element : imgs) { 獲取每個img標簽URL "abs:"表示絕對路徑 String imgSrc = element.attr("abs:"+pp); listimg.add(imgSrc); } listimg = removeCf(listimg); if(listimg!=null && listimg.size()>0){ for(int x=0;x long stime = System.currentTimeMillis(); String imgSrc =listimg.get(x); 打印URL System.out.println(imgSrc); 下載圖片到本地 boolean is = downImages(imgSrc,out); long etime = System.currentTimeMillis(); float alltime = (float)(etime - stime)/1000; Map rest = new HashMap (); rest.put("img",imgSrc); rest.put("time",(alltime)+""); rest.put("num",i+""); rest.put("status","true"); if(is){ 共3頁: 上一頁123下一頁