水淼萬(wàn)能文章采集器

水淼萬(wàn)能文章采集器是一款基于高精度正文識(shí)別算法的互聯(lián)網(wǎng)文章采集器。支持按關(guān)鍵詞采集百度等搜索引擎的新聞源（news.baidu.com）和泛網(wǎng)頁(yè)（www.baidu.com），支持采集指定網(wǎng)站欄目下的全部文章。 

軟件介紹：

水淼軟件獨(dú)家首創(chuàng)智能的萬(wàn)能算法，可以精確提取網(wǎng)頁(yè)里的正文部分保存為文章。

支持去標(biāo)簽、鏈接、郵箱等格式化處理。還有插入關(guān)鍵詞功能，可以識(shí)別標(biāo)簽或標(biāo)點(diǎn)旁邊插入，并且能識(shí)別英文空格間距插入。

更有文章轉(zhuǎn)譯功能，也就是可以將文章從一種語(yǔ)言如中文轉(zhuǎn)到另一種語(yǔ)言如英文或日文，再?gòu)挠⑽幕蛉瘴霓D(zhuǎn)回中文，這樣就是一個(gè)轉(zhuǎn)譯周期，可以設(shè)定轉(zhuǎn)譯周期循環(huán)多次（轉(zhuǎn)譯次數(shù)）。

采集文章+翻譯偽原創(chuàng)可以滿足廣大站長(zhǎng)朋友們?cè)诟黝I(lǐng)域主題的文章需求。

而一些公關(guān)處理、信息調(diào)查公司所需的由專(zhuān)業(yè)公司開(kāi)發(fā)的信息采集系統(tǒng)，售價(jià)往往達(dá)到上萬(wàn)甚至更多，而水淼的這款軟件也是一款信息采集系統(tǒng)，功能跟市面上昂貴售價(jià)的軟件有相通之處，但價(jià)格只有區(qū)區(qū)幾百元，性?xún)r(jià)比如何試試就知。

功能說(shuō)明：

什么是高精度正文識(shí)別算法
此算法由水淼自主研發(fā)，可以在一個(gè)網(wǎng)頁(yè)里提取出正文部分，通常精度可以達(dá)到95%，如果再進(jìn)一步設(shè)置最少字?jǐn)?shù)，采集的文章的精度（正確性）可以達(dá)到99%。同時(shí)文章標(biāo)題也實(shí)現(xiàn)99%的提取精度。當(dāng)然，一些網(wǎng)頁(yè)排版格式比較混亂、不規(guī)則時(shí)，該精度可能有所下降。

正文提取模式
正文提取算法有3種模式，標(biāo)準(zhǔn)、嚴(yán)格、精確標(biāo)簽。大多數(shù)情況，標(biāo)準(zhǔn)和嚴(yán)格模式是相同的提取結(jié)果。下面說(shuō)的是特殊情況：

標(biāo)準(zhǔn)模式：即一般性提取，大多數(shù)時(shí)候能夠精確提取正文，但一些特殊頁(yè)面會(huì)導(dǎo)致提取到一些不需要內(nèi)容（但本模式能夠較好識(shí)別類(lèi)似百度經(jīng)驗(yàn)的文章頁(yè)面）

嚴(yán)格模式：顧名思義，比標(biāo)準(zhǔn)模式嚴(yán)格一點(diǎn)，可以很大程度避免不相關(guān)內(nèi)容提取為正文，但對(duì)于特殊分段頁(yè)面如百度經(jīng)驗(yàn)的頁(yè)面（不是一般<p></p><br>段落，而是有格式的多個(gè)獨(dú)立div段），一般只能提取到某一段，而標(biāo)準(zhǔn)模式則可以提取全部段。

精確標(biāo)簽：當(dāng)標(biāo)準(zhǔn)和嚴(yán)格模式不管用時(shí)，可以精確指定目標(biāo)正文的標(biāo)簽頭。本模式只適合網(wǎng)絡(luò)批處理。

所以可以根據(jù)實(shí)際情況來(lái)切換模式�？梢允褂帽镜嘏�處理的讀網(wǎng)頁(yè)正文功能來(lái)測(cè)試指定網(wǎng)頁(yè)適合哪種模式提取。

采集時(shí)的處理選項(xiàng)
采集時(shí)可以同時(shí)進(jìn)行轉(zhuǎn)譯、過(guò)濾、查詞等處理。對(duì)于已采集好的文章可以使用《本地批處理》處理。
其中的轉(zhuǎn)譯功能，就是將中文翻譯成英文再翻譯回中文，也就產(chǎn)生了偽原創(chuàng)效果。支持原格式轉(zhuǎn)譯，也就是不改變文章原有標(biāo)簽結(jié)構(gòu)、排版格式。

采集目標(biāo)為網(wǎng)址
可以在網(wǎng)址模板里插入 #網(wǎng)址#、#標(biāo)題#來(lái)組合引用

分頁(yè)采集和相對(duì)路徑轉(zhuǎn)為絕對(duì)路徑
打勾“自動(dòng)采集分頁(yè)”就能將分頁(yè)文章采集合并，編輯框設(shè)置值為采集分頁(yè)的最大數(shù)量。建議設(shè)置一個(gè)有限值如10頁(yè)，避免一些分頁(yè)過(guò)多的采集耗費(fèi)時(shí)間長(zhǎng)，合并后的文章體積大。如果需要采集全部分頁(yè)，可以設(shè)置為0。
而文章里的所有相對(duì)路徑都將自動(dòng)轉(zhuǎn)為絕對(duì)路徑，如此可確保圖片等正常顯示。

多線程
支持多線程高速采集網(wǎng)頁(yè)。可以根據(jù)網(wǎng)速而定，電信2m可以5個(gè)線程，電信4m可以10個(gè)線程，更多以此類(lèi)推，但需適當(dāng)設(shè)置，設(shè)置太多將可能?chē)?yán)重影響采集效率甚至影響系統(tǒng)效率。如果采集時(shí)有其他占用流量的軟件在運(yùn)行比如在線視頻播放，可以適當(dāng)降低線程數(shù)。

文章標(biāo)題和文章內(nèi)容重復(fù)的處理

程序可以智能判斷并過(guò)濾重復(fù)文章
當(dāng)采集到的文章標(biāo)題（文件名）與本地已經(jīng)保存的文章標(biāo)題相同時(shí)，水淼將首先判斷兩篇文章的相似度，當(dāng)相似度大于 60% 時(shí)，水淼判斷為相同文章，這時(shí)再比較兩篇文章的文字多寡，自動(dòng)使用文字多的文章覆蓋寫(xiě)出到相同文件名處。這樣的生成情況是不累加到生成數(shù)量的。
而當(dāng)相似度低于 60% 時(shí)，水淼判斷為不同文章，將自動(dòng)重命名標(biāo)題（取3到5個(gè)隨機(jī)字母接在標(biāo)題尾）保存到文件。

文章快速篩選器
雖然水淼研究了一個(gè)準(zhǔn)確率極高的正文提取算法，但難免還是有極少數(shù)提取錯(cuò)誤，這些錯(cuò)誤主要是：目標(biāo)網(wǎng)頁(yè)的主體是在線視頻，或主體內(nèi)容過(guò)于簡(jiǎn)短而無(wú)法形成正文的特征。因此可以通過(guò)設(shè)置提取最終結(jié)果的字?jǐn)?shù)多少來(lái)提高準(zhǔn)確率（在“正文最少字?jǐn)?shù)”參數(shù)，這個(gè)字?jǐn)?shù)是程序?qū)⒄�文去�?biāo)簽、去行、去空格之后的純文字字?jǐn)?shù)）。
而文章快速篩選器就是為了快速查看采集好的文章，方便判斷刪除提取正文錯(cuò)誤的文章。同時(shí)也方便基于網(wǎng)絡(luò)信息采集目的而需要進(jìn)行的煉選過(guò)程。

生成篇數(shù)不固定的問(wèn)題
百度、搜搜默認(rèn)每頁(yè)100條結(jié)果，谷歌默認(rèn)每頁(yè)10條結(jié)果。
一些網(wǎng)站訪問(wèn)速度超時(shí)（尤其是谷歌收錄的不少都是一些被墻的網(wǎng)站），或設(shè)置了正文最少字?jǐn)?shù)，或程序忽略已在本地有同名的相似內(nèi)容文章，或黑名單白名單的過(guò)濾等，都會(huì)造成實(shí)際生成篇數(shù)低于一頁(yè)搜索最大結(jié)果數(shù)。
總體來(lái)說(shuō)，百度采集的質(zhì)量最好，生成篇數(shù)貼近搜索結(jié)果數(shù)。

更新日志：

1.12：持續(xù)增強(qiáng)網(wǎng)絡(luò)批處理的欄目URL采集器對(duì)于文章URL的識(shí)別能力，并支持多種地址格式同時(shí)匹配

1.11：增強(qiáng)網(wǎng)絡(luò)批處理的欄目URL采集器對(duì)于文章URL的識(shí)別能力

1.10：修復(fù)轉(zhuǎn)譯功能轉(zhuǎn)譯失敗的問(wèn)題