智能網(wǎng)絡(luò)資源系統(tǒng)

融合網(wǎng)絡(luò)資源采集、轉(zhuǎn)換、導(dǎo)出、發(fā)布、請(qǐng)求、監(jiān)控。通過強(qiáng)大、靈活的采集工程，把數(shù)據(jù)挖掘到本地后，可以導(dǎo)出到各種數(shù)據(jù)庫(MSSQL、Oracle、MySQL、Firebird、PostgreSQL、SQLite、ACCESS、XML、CSV)中，也可發(fā)布到各大網(wǎng)站、CMS、論壇，還可批量轉(zhuǎn)換數(shù)十種文件格式、修改屬性與修復(fù)媒體文件、制作電子書，亦可監(jiān)控指定網(wǎng)站并在數(shù)據(jù)改變的時(shí)候夠自動(dòng)通過多種方式(MSN/ICQ/QQ/Jabber/電子郵件/網(wǎng)絡(luò)接口請(qǐng)求/信使服務(wù)/Web服務(wù)/各種數(shù)據(jù)庫/文件/系統(tǒng)日志/第三方接口等)通知，更可自定義發(fā)送網(wǎng)絡(luò)請(qǐng)求(如自動(dòng)投票等)。
特點(diǎn)：
1.功能強(qiáng)大：集網(wǎng)絡(luò)資源采集、轉(zhuǎn)換、導(dǎo)出、發(fā)布、請(qǐng)求、監(jiān)控于一身；
2.高度彈性：所有功能模塊都可使用插件系統(tǒng)擴(kuò)展，更可使用內(nèi)置的腳本系統(tǒng)進(jìn)行自定義擴(kuò)展；
3.完全綠色：不寫注冊表，絕不捆綁任何軟件/插件，不用安裝；
4.語言支持：內(nèi)置對(duì)英文的支持，可以根據(jù)語言包格式進(jìn)行對(duì)各種語言的本地化。

智能網(wǎng)絡(luò)資源系統(tǒng)不是什么？
1).不是離線瀏覽器。當(dāng)然，您可以利用它來把指定網(wǎng)站的資源都下載到本地，但這不是它的主要功能；
2).不是搜索引擎。當(dāng)然，您可以利用內(nèi)置的蜘蛛功能把一些網(wǎng)站的頁面采集到本地；

智能網(wǎng)絡(luò)資源系統(tǒng)到底是什么？能幫我做什么事情？
1).采集網(wǎng)站數(shù)據(jù)：通過多年來多互聯(lián)網(wǎng)海量數(shù)據(jù)的分析、提煉，我們總結(jié)出一套通用的互聯(lián)網(wǎng)資源模型，根據(jù)該模型，我們設(shè)計(jì)了本系統(tǒng)，通過本系統(tǒng)，您可以對(duì)指定網(wǎng)站的資源進(jìn)行精準(zhǔn)的采集；
2).轉(zhuǎn)換數(shù)據(jù)：采集回來的資源，格式多樣，您可以利用內(nèi)置對(duì)過百種文件的支持，轉(zhuǎn)換為指定文件格式；
3).導(dǎo)出到各種數(shù)據(jù)庫：MSSQL、Oracle、MySQL、Firebird、PostgreSQL、SQLite、ACCESS、XML、CSV等；
4).發(fā)布到各大網(wǎng)站、論壇、CMS；
5).消息通知：在各種任務(wù)完成之后，或監(jiān)控指定網(wǎng)站并在數(shù)據(jù)改變時(shí)，能夠自動(dòng)通過多種方式(MSN、ICQ、QQ、Jabber、電子郵件、網(wǎng)絡(luò)接口請(qǐng)求、信使服務(wù)、Web服務(wù)、各種數(shù)據(jù)庫、文件、系統(tǒng)日志、第三方接口等)通知；
6).網(wǎng)絡(luò)請(qǐng)求：自定義發(fā)送網(wǎng)絡(luò)請(qǐng)求(如自動(dòng)投票等)；

□采集：您可以使用采集，對(duì)網(wǎng)絡(luò)上的各種資源進(jìn)行挖掘。
a).采集工程：采集工作的詳細(xì)設(shè)置文件，包含了要采集的資源鏈接；
1).采集模式：
i.精確：根據(jù)指定資源格式(字段)的定義，進(jìn)行數(shù)據(jù)庫字段級(jí)別的采集；
ii.蜘蛛/爬蟲：根據(jù)指定的文件匹配表達(dá)式，自動(dòng)對(duì)指定網(wǎng)站的資源進(jìn)行全面分析和采集；
b).字段：各種資源的最小單位，譬如您要采集某個(gè)網(wǎng)站的多個(gè)帖子，那么每個(gè)帖子可能包含以下字段：作者、標(biāo)題、日期、內(nèi)容等；
c).鏈頁：一些帖子在多頁面里的，這種情況下您可以為帖子的內(nèi)容字段設(shè)置鏈頁屬性，自動(dòng)把多個(gè)分頁的內(nèi)容合并到內(nèi)容字段；
d).追蹤：一些資源是要從列表頁面中，通過點(diǎn)擊多個(gè)頁面才顯示的，這種情況下，您可以為內(nèi)容自動(dòng)設(shè)置跟蹤屬性，自動(dòng)獲取最終的內(nèi)容；
e).登錄驗(yàn)證：一些資源網(wǎng)站需要您登錄后才可以訪問內(nèi)容，這種情況下下，您可以為整個(gè)網(wǎng)站、每個(gè)鏈接甚至每個(gè)資源單獨(dú)定義登錄驗(yàn)證以滿足具體需求；
1).參數(shù)：這是模擬登錄需要的參數(shù)，譬如用戶名、密碼等；
2).登錄采集工程：一些網(wǎng)站的登錄認(rèn)證相當(dāng)復(fù)雜，往往會(huì)采用一些動(dòng)態(tài)參數(shù)/值，如果用固定的參數(shù)是無法滿足登錄需求的，這個(gè)時(shí)候，您可以使用采集工程來自動(dòng)獲取登錄參數(shù)的值！
3).登錄腳本：如果即便使用采集工程仍然無法滿足一些特別網(wǎng)站的登錄需求，您可以使用自定義的登錄腳本來實(shí)現(xiàn)相應(yīng)的登錄認(rèn)證；
f).數(shù)據(jù)處理：
1).臟字過濾：內(nèi)置對(duì)超過11000個(gè)符合國家規(guī)定的敏感字符的過濾，您還可以自定義要過濾的字符，以確保您采集到的內(nèi)容符合相關(guān)法律法規(guī)；
2).垃圾內(nèi)容過濾：使用貝葉斯概率模型對(duì)已采集的內(nèi)容自動(dòng)分析判定是否為垃圾內(nèi)容，您可以自行對(duì)各種垃圾內(nèi)容進(jìn)行訓(xùn)練；
3).內(nèi)容嗅探：對(duì)于Flash/Silverlight播放器，會(huì)在頁面加載之后才從后臺(tái)獲取實(shí)際的文件(.FLV/MP3/.XAP等)，您可以使用內(nèi)容嗅探實(shí)現(xiàn)對(duì)這些實(shí)際內(nèi)容的采集；
4).關(guān)鍵字/標(biāo)簽(Tag)自動(dòng)分析：利用全文分詞對(duì)采集的內(nèi)容進(jìn)行分析，自動(dòng)獲取內(nèi)容的關(guān)鍵字/標(biāo)簽列表；
5).文件格式批量轉(zhuǎn)換：對(duì)大量文件的快速轉(zhuǎn)換，改變圖片或視頻的大小/添加水印/改變格式，抽取壓縮文件，Office系列文檔轉(zhuǎn)換為HTML，以多種方式修改文件名，修改多媒體文件屬性，媒體文件修復(fù)與剪切，修改圖片文件屬性，文本排版，文本混淆，簡繁大小寫互轉(zhuǎn)，文本切分合并，網(wǎng)頁文本互轉(zhuǎn)，電子書抽取制作，可執(zhí)行文件抽取生成，不良圖片過濾，數(shù)據(jù)轉(zhuǎn)換等
a).圖片：改變圖片大小和格式，添加水印，支持jpg,bmp,png,gif,tif,tga,pcx,wmf,emf,psd,mng,ico,icl,cur,ani,ppm,pbm,pgm,svg,jpeg2000,eip,hif,raw,dicom等；
b).多媒體文件：支持wav,wmv,avi,asf,rm,rmvb,mpg,qt,mov,mp3,flv等；
c).壓縮文檔：抽取/轉(zhuǎn)換/生成壓縮文檔，支持zip,rar,7z,cab,msi,iso,cbz,cbr,jar,tar,gzip,bzip2,arj,cpio,deb,dmg,hfs,lzh,lzma,nsis,rpm,udf,wim,xar,xz,z,pak,nsa等；
d).Office文檔：與UOF/網(wǎng)頁互轉(zhuǎn)，支持doc,docx,xls,xlsx,ppt,pptx,uof,msg,eml,mht,chm,hxs,wps,db,xml,box,dps,et,xlb,pdf,rtf等；
e).多媒體文件屬性：修改屬性，支持wav,wmv,avi,asf,rm,rmvb,mpg,qt,mov,mp3,flc,wma,mpc,ogg,ape；
f).圖片文件屬性：修改屬性，支持jpg,png；
g).修改文件名：支持所有文件；
h).媒體文件修復(fù)與剪切：支持rmvb,avi,asf；
i).文本排版：段落智能修正、去掉干擾符、修正段落首尾空格、修正標(biāo)點(diǎn)符號(hào)，支持txt,htm,eml；
j).文本切分合并：按大小、行數(shù)或段落數(shù)剪切文本內(nèi)容和并內(nèi)容，支持txt,htm,eml；
k).文本混淆：給文本內(nèi)容插入干擾字符，支持txt,htm,eml；
l).簡繁大小寫互轉(zhuǎn)：簡體和繁體、全角半角互相轉(zhuǎn)換，支持txt,htm,eml；
m).網(wǎng)頁文本互轉(zhuǎn)：網(wǎng)頁轉(zhuǎn)為文本或文本轉(zhuǎn)為網(wǎng)頁，支持txt,htm,eml；
n).電子書抽取制作：支持UMD,JAR,CHM；
o).可執(zhí)行文件抽取生成：抽取各種可執(zhí)行文件，生成可執(zhí)行文件，支持各種文件；
p).不良圖片過濾：識(shí)別并過濾不良圖片，支持所有圖片；
q).數(shù)據(jù)轉(zhuǎn)為網(wǎng)頁：根據(jù)數(shù)據(jù)生成網(wǎng)頁，支持采集工程和各種數(shù)據(jù)庫；
r).數(shù)據(jù)轉(zhuǎn)換：使用自定義腳本轉(zhuǎn)換數(shù)據(jù)和文件，支持采集工程、各種數(shù)據(jù)庫和各種文件；
6).貼霸：快速把其它論壇的帖子內(nèi)容轉(zhuǎn)換到使用UBB內(nèi)容格式的論壇作為新帖子的工具，特別針對(duì)圖片而進(jìn)行了處理，非常適合進(jìn)行灌水貼圖；
7).媒體文件修復(fù)與剪切：修復(fù)rmvb文件的錯(cuò)誤，剪切內(nèi)容；
8).快速下載：
i.鏈接：復(fù)制要下載各種資源(如圖片等)的鏈接或網(wǎng)頁內(nèi)容，全自動(dòng)分析并下載到本地磁盤；
ii.嗅探：復(fù)制視頻地址或內(nèi)容，全自動(dòng)分析并下載視頻，特有嗅探功能，支持所有視頻網(wǎng)站；

□導(dǎo)出：
a).數(shù)據(jù)庫：把采集后的數(shù)據(jù)導(dǎo)出到各大數(shù)據(jù)庫/數(shù)據(jù)文件中；
b).HTML/可執(zhí)行文件

□發(fā)布：
a).采集后的數(shù)據(jù)：您可以把采集后的數(shù)據(jù)，發(fā)布到各大網(wǎng)絡(luò)CMS系統(tǒng)或者論壇；
b).網(wǎng)絡(luò)請(qǐng)求：您可以自定義請(qǐng)求，譬如網(wǎng)絡(luò)投票等；

□任務(wù)計(jì)劃：您可以指定采集、轉(zhuǎn)換、導(dǎo)出、發(fā)布、請(qǐng)求等各種任務(wù)定時(shí)執(zhí)行。

□消息通知：能夠自動(dòng)通過多種方式(MSN、ICQ、QQ、Jabber、電子郵件、網(wǎng)絡(luò)接口請(qǐng)求、信使服務(wù)、Web服務(wù)、各種數(shù)據(jù)庫、文件、系統(tǒng)日志、第三方接口等)通知
a).在各種任務(wù)完成之后，如采集，發(fā)布，計(jì)劃任務(wù)等；
b).監(jiān)控指定網(wǎng)站并在數(shù)據(jù)改變時(shí)；

□監(jiān)控：您可以定義當(dāng)網(wǎng)絡(luò)資源更新時(shí)，通過各種通知方式，隨時(shí)提醒您。

□腳本：腳本是對(duì)各種功能的自定義擴(kuò)展，您可以使用C#/VB.NET/JScript.NET/PHP/VBScript/JavaScript/IronPython/IronRuby等等語言編寫；
a).采集腳本：在采集工程中，如果遇到一些特殊的資源，正常的采集方式無法勝任的時(shí)候，可以通過腳本來進(jìn)行自定義的采集；
b).發(fā)布腳本：可以針對(duì)特殊的網(wǎng)站進(jìn)行發(fā)送請(qǐng)求；
c).消息通知：
d).計(jì)劃任務(wù)：
e).常用：本系統(tǒng)內(nèi)置了超過100個(gè)常用的腳本，如對(duì)專用鏈的解釋/編碼、條形碼的生成、敏感字符的過濾、中文分詞/Tag識(shí)別、計(jì)算數(shù)學(xué)表達(dá)式、RSS解釋與生成、消息通知等等；

□擴(kuò)展與外部工具：
a).本系統(tǒng)提供以下豐富的程序接口，以便您對(duì)本系統(tǒng)進(jìn)行二次開發(fā)：
1).消息通知：編寫各種特定的消息通知方式以滿足你的需求；
2).中文分詞/Tag識(shí)別
3).數(shù)據(jù)轉(zhuǎn)換：轉(zhuǎn)換各種采集后的數(shù)據(jù)到您的業(yè)務(wù)系統(tǒng)中；
4).工程擴(kuò)展：對(duì)各種工程(采集、發(fā)布、腳本、消息通知、計(jì)劃任務(wù)等)進(jìn)行自定義設(shè)置并應(yīng)用到實(shí)際的工程運(yùn)行中；
5).界面：個(gè)性化本系統(tǒng)；
b).外部工具：本系統(tǒng)內(nèi)置對(duì)9大類100多種常用軟件的識(shí)別，您還可以添加各種軟件，以便快速運(yùn)行；

□任務(wù)管理：您可以對(duì)采集、發(fā)布、請(qǐng)求、計(jì)劃任務(wù)、腳本、消息通知等各種任務(wù)進(jìn)行全面管理：添加、停止、跟蹤進(jìn)度、趨勢圖、性能報(bào)告等。

□應(yīng)用服務(wù)器：應(yīng)用服務(wù)器以Windows服務(wù)的形式在系統(tǒng)后臺(tái)運(yùn)行，它包括以下模塊：
a).分布式計(jì)劃任務(wù)管理器：
b).分布式數(shù)據(jù)采集與同步：
c).Web服務(wù)管理器：允許您在遠(yuǎn)程用Web瀏覽器(如IE/FireFox/Opera/Chrome/Safari等)對(duì)本系統(tǒng)進(jìn)行全面管理；