Puppeteer

Puppeteer是一款專業(yè)的 Node.js 庫(kù)，相當(dāng)于一個(gè)可以用來(lái)操控Chrome的API，它可以用到的場(chǎng)景很多，如它具有強(qiáng)大的爬蟲(chóng)功能，有點(diǎn)類似于PhantomJS，用來(lái)在網(wǎng)站抓取內(nèi)容非常不錯(cuò)，有需要的朋友歡迎使用。

Puppeteer核心功能：

利用網(wǎng)頁(yè)生成PDF、圖片

爬取SPA應(yīng)用，并生成預(yù)渲染內(nèi)容（即“SSR” 服務(wù)端渲染）

可以從網(wǎng)站抓取內(nèi)容

自動(dòng)化表單提交、UI測(cè)試、鍵盤輸入等

幫你創(chuàng)建一個(gè)最新的自動(dòng)化測(cè)試環(huán)境（chrome），可以直接在此運(yùn)行測(cè)試用例

捕獲站點(diǎn)的時(shí)間線，以便追蹤你的網(wǎng)站，幫助分析網(wǎng)站性能問(wèn)題

Puppeteer 0.13改變?nèi)缦拢?/h3>

Chroium 64.0.3264.0 (r515411)

browser.pages 可用于訪問(wèn) Chromium 中的所有頁(yè)面，包括由 window.open 創(chuàng)建的頁(yè)面。 (32398d1)

browser.close 可用于關(guān)閉 Chromium (2b79514)

Puppeteer爬蟲(chóng)教學(xué)：

使用puppeteer.launch()運(yùn)行puppeteer，他會(huì)return一個(gè)promise，使用then方法獲取browser實(shí)例，Browser API猛擊這里

拿到browser實(shí)例后，通過(guò)browser.newPage()方法，可以得到一個(gè)page實(shí)例， 猛戳 Page API

使用page.goto()方法，跳轉(zhuǎn)至ES6標(biāo)準(zhǔn)入門

在page.evaluate()方法中注冊(cè)回調(diào)函數(shù)，并分析dom結(jié)構(gòu)，從下圖可以進(jìn)行詳細(xì)分析，并通過(guò)

document.querySelectorAll('ol li a')拿到文章的所有鏈接

拿到所有鏈接之后，依次爬取各個(gè)頁(yè)面（也可以promise all同時(shí)抓取多個(gè)頁(yè)面），使用page.pdf()方法打印當(dāng)前頁(yè)面

核心代碼如下：

puppeteer.launch().then(async browser => {

let page = await browser.newPage();

await page.goto('http://es6.ruanyifeng.com/#README');

await timeout(2000);

let aTags = await page.evaluate(() => {

  let as = [...document.querySelectorAll('ol li a')];

  return as.map((a) =>{

  return {

    href: a.href.trim(),

    name: a.text

  }

  });

});

await page.pdf({path: `./es6-pdf/${aTags[0].name}.pdf`});

page.close()

// 這里也可以使用promise all，但cpu可能吃緊，謹(jǐn)慎操作

for (var i = 1; i < aTags.length; i++) {

  page = await browser.newPage()

  var a = aTags[i];

  await page.goto(a.href);

  await timeout(2000);

  await page.pdf({path: `./es6-pdf/${a.name}.pdf`});

  page.close();

}

browser.close();

});