火車采集器V7正式版

火車采集器V7正式版新版本對程序進(jìn)行了完全的重構(gòu)，是一個(gè)全新的采集平臺(tái)�；疖囶^采集器v7.6企業(yè)版包含了數(shù)據(jù)采集最常用的計(jì)劃任務(wù)，數(shù)據(jù)發(fā)布，正文識別、OCR圖形圖像識別，采集入庫等模塊，可以支持其它采集軟件快速穩(wěn)定在平臺(tái)上使用。

火車采集器的產(chǎn)品特點(diǎn)：

軟件特性

1、無限級多頁采集，可以實(shí)現(xiàn)無限深度的采集

2、任務(wù)隊(duì)列運(yùn)行管理，支持Cron表達(dá)式

3、無限級分組任務(wù)管理，任務(wù)回收站功能

4、RSS地址采集功能

5、列表頁分頁采集獲取功能

6、列表頁附加參數(shù)獲取功能

7、列表頁及標(biāo)簽XPath可視化提取功能

8、標(biāo)簽純正則替換功能

9、Http接口查看運(yùn)行情況

10、導(dǎo)出記錄為單個(gè)或多個(gè)Txt、html 文件

11、標(biāo)簽間自由組合功能

12、針對標(biāo)簽內(nèi)容繼續(xù)發(fā)送Http請求功能

13、無限級列表網(wǎng)址采集

14、從Http頭信息中獲取數(shù)據(jù)

15、標(biāo)題內(nèi)容正文提取功能

16、Aspx列表分頁自識別

17、多網(wǎng)站站群式web發(fā)布

18、導(dǎo)出記錄為Word格式

19、導(dǎo)出所有記錄為Excel格式

20、使用隨機(jī)二級代理服務(wù)器(支持Socket代理)

21、多擴(kuò)展間數(shù)據(jù)交換功能

22、下載的圖片自動(dòng)加增強(qiáng)型水印功能

23、Ocr識別(圖片轉(zhuǎn)化為文字)

24、Http接口管理采集器運(yùn)行

25、Mongodb數(shù)據(jù)庫保存數(shù)據(jù)

26、主從服務(wù)器分布式采集

更新日志

火車采集器v7.6綠色正式版更新列表：
1、gif的圖片不再加水印，修復(fù)加水印文字時(shí)沒有判斷加水印條件的問題；
2、增加了迅雷快傳,YunFile,千腦,金山網(wǎng)盤文件上傳功能；
3、增加了用戶可以選擇刪除記錄時(shí)是否刪除下載文件的選項(xiàng)；
4、增加了日志記錄，通過上傳文件功能；
5、增加了批量導(dǎo)入數(shù)據(jù)導(dǎo)入網(wǎng)址功能；
6、添加了發(fā)布時(shí)使用代理功能；
7、修復(fù)當(dāng)使用一般采一邊發(fā)方式時(shí)保存為本地excel不起作用的bug；
8、文件保存格式中支持[標(biāo)簽:ID],可以將記錄的id做為目錄的一部分了；
9、處理了一個(gè)將$編碼錯(cuò)誤的問題；
10、增加若干個(gè)錯(cuò)誤檢查，防止采集器退出；
11、更換漢字轉(zhuǎn)拼音詞庫，漢字增加到1萬8；
12、更新自動(dòng)補(bǔ)全鏈接中迅雷地址補(bǔ)全不對的問題。

軟件安裝使用說明：

火車頭采集平臺(tái)定義了統(tǒng)一的接口規(guī)范并提供了大量的api,用戶可以很方便的開發(fā)自己的應(yīng)用并在該平臺(tái)上運(yùn)行，可以減少開發(fā)上時(shí)間和成本。目前平臺(tái)上有官方自帶火車采集器。

此軟件版本為火車采集器v7.7綠色正式版，軟件下載后直接解壓即可。注意：軟件運(yùn)行時(shí)，要有.net2.0框架，vista及win7系統(tǒng)用戶可能會(huì)提示請求管理員權(quán)限，請放行。如果沒有請下載！

安裝說明★★

火車頭數(shù)據(jù)采集平臺(tái)要求：您的電腦必須安裝.net framework2.0或2.0以上框架.如果您的采集器打不開，請下載并安裝該框架

附windows .net framework 2.0

    32位下載地址：http://download.microsoft.com/download/5/6/7/567758a3-759e-473e-bf8f-52154438565a/dotnetfx.exe

    64位下載地址：http://download.microsoft.com/download/a/3/f/a3f1bf98-18f3-4036-9b68-8e6de530ce0a/NetFx64.exe

升級說明

若要從3.2sp5,2008,2009或2010版直接升級到火車頭數(shù)據(jù)采集平臺(tái)最新版，請運(yùn)行程序目錄下的 UpdateToV7.exe,按提示進(jìn)行升級。升級程序不會(huì)對原來的數(shù)據(jù)進(jìn)行任何的修改，但為了防止用戶誤操作，請?jiān)谏�級前備份舊版本數(shù)據(jù)和配置。備份方法是將原采集器完整復(fù)制一份。

采集相關(guān)術(shù)語

1.采集規(guī)則

簡稱規(guī)則，V7以前版本采集規(guī)則分為站點(diǎn)規(guī)則和任務(wù)規(guī)則，通常是指任務(wù)規(guī)則。V7版及以后采用無限級分組管理任務(wù)規(guī)則，所以不再有站點(diǎn)規(guī)則的概念。所謂采集規(guī)則就是要采集一個(gè)網(wǎng)站或某一網(wǎng)站欄目網(wǎng)頁需要在軟件里進(jìn)行的設(shè)置。這個(gè)設(shè)置可以從軟件里導(dǎo)出保存成一個(gè)文件并可以再導(dǎo)入到軟件里。V7版的任務(wù)規(guī)則文件后綴名為.ljobx,以前的站點(diǎn)規(guī)則文件的后綴名為：.lsite；任務(wù)規(guī)則文件的后綴名為：.ljob。

2.采集任務(wù)

采集任務(wù)又簡稱為任務(wù)。它是采集規(guī)則和發(fā)布規(guī)則的總和。也是采集規(guī)則和發(fā)布規(guī)則的載體。采集規(guī)則和發(fā)布規(guī)則的設(shè)置通過在任務(wù)編輯框里進(jìn)行設(shè)置。從采集器里導(dǎo)出的采集規(guī)則文件（.ljobx后綴的）也可稱為任務(wù)規(guī)則。導(dǎo)入導(dǎo)出任務(wù)規(guī)則就是指導(dǎo)入導(dǎo)出.ljobx文件。

3.發(fā)布模塊

發(fā)布模塊又稱模塊、發(fā)布規(guī)則，分為WEB發(fā)布模塊和數(shù)據(jù)庫發(fā)布模塊。所謂發(fā)布模塊就是在需要將已經(jīng)采集的數(shù)據(jù)發(fā)布到目的地(比如：網(wǎng)站/后臺(tái)中或指定數(shù)據(jù)庫中）時(shí)在軟件里進(jìn)行的設(shè)置。這個(gè)設(shè)置可以保存成一個(gè)文件并可以導(dǎo)入到采集器里使用。數(shù)據(jù)庫發(fā)布模塊文件的后綴名為：.dpm；WEB在線發(fā)布模塊文件的后綴名為：.wpm。（采集規(guī)則和發(fā)布模塊都可以從采集器里導(dǎo)出，也都可以導(dǎo)入到采集器中使用。采集規(guī)則負(fù)責(zé)將網(wǎng)頁上的數(shù)據(jù)采集下來，發(fā)布模塊負(fù)責(zé)將采集的數(shù)據(jù)發(fā)布到網(wǎng)站中。可見，采集規(guī)則的編寫和修改和被采集的網(wǎng)站有關(guān)系，而發(fā)布模塊的編寫和修改和要發(fā)布數(shù)據(jù)的網(wǎng)站有關(guān)系。如從不同的網(wǎng)站欄目采集數(shù)據(jù)往同一個(gè)網(wǎng)站的某個(gè)板塊（頻道）里發(fā)布，需要多個(gè)采集規(guī)則和一個(gè)發(fā)布模塊。從一個(gè)網(wǎng)站欄目采集數(shù)據(jù)往不同的網(wǎng)站系統(tǒng)里發(fā)布，需要一個(gè)采集規(guī)則和多個(gè)發(fā)布模塊。注意這里的說的采集規(guī)則是指采集網(wǎng)站和抓取內(nèi)容的設(shè)置。）