文本處理(TextPro6)

TextPro是綜合批處理中文文本文件和超文本文件的程序，適用于簡體中文和英文 Win9x/Me/NT/2K/XP/Vista。最初是為更準確快速地處理佛經而開發(fā)的。TextPro6增加了對Unicode的支持。
TextPro的獨到之處有簡繁體轉換、Big5編碼預處理、自定義替換、增強了中文支持的正則表達式、可以忽略異體字的文件比較、以及支持文件的批處理功能等。

正則式：

TextPro正則表達式的搜索引掣是在Henry Spencer的源代碼的基礎上，經過大量的增改，尤其是增強了對中文的支持。

從4.5版起，TextPro在查找/替換中支持正則表達式。正則表達式是一種非常強大的搜索功能，通過與TextPro的其它功能相結合，可以方便地實現許多復雜的文本處理工作。

正則表達式原本是形式語言理論中的概念，與編譯器的構造有密切的聯(lián)系。但是作為一個應用軟件的用戶，我們沒有必要去細究正則表達式的嚴格定義和處理方法。本文將從實用的角度出發(fā)，闡述在TextPro中引入正則表達式的目的、正則表達式的命令格式，以及如何利用正則表達式完成一些實際的文本處理工作。

我們在處理文本時，經常會遇到一些具有某種特定格式，或者說滿足某種規(guī)則的文本。比如，一個無符號的整數由一連串的數字構成，而一個Email地址的格式則是“用戶名@主機名”，其中用戶名是一串字母或數字，主機名則是由若干個由“.”分隔的字母數字串。正則表達式就是用來指定這種規(guī)則的。如果某個字符串滿足正則表達式指定的規(guī)則，則稱該字符串為正則表達式的一個“匹配串”。

正則表達式的構成：

為了方便理解，讓我們先來看看大家比較熟悉的數學表達式，“(x+3)*2+y”是一個典型的數學表達式。一個數學表達式由若干個“項”組成，“項”與“項”之間用加號或減號相連；這里“(x+3)*2”和“y”分別是兩個項。每個項又由若干個“因子”組成，因子之間用乘號或除號相連；這里第一個項有兩個因子“(x+3)”和“2”，而第二個項只有一個因子“y”。每個因子可以是一個簡單的數，一個代數變量，也可以是放在括號里面的另一個表達式。對于最后一種情況，括號中的表達式稱為“子表達式”；這里“x+3”就是一個子表達式。

正則表達式的結構與數學表達式很相似。與數學表達式的“項”相對應，正則表達式由若干個“分支”構成，“分支”之間用符號“|”相連。從邏輯上講，分支之間是一種“或”的關系，一個字符串只要與正則表達式中的任何一個分支相匹配，這個字符串就與整個正則表達式相匹配。比如，“第三人稱代詞”可以用正則表達式表示為“他|她|它|他們|她們|它們”。

與數學表達式的“因子”相對應，構成正則表達式“分支”的部件稱為“原子”�！霸�子”與“原子”之間沒有任何符號相連。從邏輯上講，原子之間是串接的關系，一個字符串必須與各個原子依次相匹配，才算與這個分支相匹配。比如在上面的例子中，分支“他們”由兩個原子“他”和“們”組成。

正則表達式的本質是它的“原子”可以有多種不同的形式。前面的例子是最簡單的情形，即每個原子由一個普通字符組成。除此以外，“原子”還可以是特殊符號、通配符、字符集以及子表達式。

簡繁體轉換：

TextPro內部采用Unicode編碼。通過讀入和保存不同編碼的文件可以實現不同編碼之間的轉換。TextPro可以實現繁體漢字與簡化漢字之間的互相轉換。
簡繁漢字轉換牽涉到許多問題，尤以多義字和古今用法中的異體字為難，無法兼顧。TextPro的漢字轉換以處理佛經（古代文體）為主，未顧及現代漢字特點。
TextPro對漢字處理的原則是：一是遵循我國現有的漢字標準；二是兼容全部BIG5碼漢字；三是采用多層次的轉換功能（如果文本行末有硬回車，宜使用TextPro的“刪除換行”功能進行預處理）。后者是指除了一對一的漢字轉換外，在內部轉換時還采取了以詞組選擇多義字的方法以盡量減少轉換錯誤；不過，要想在轉換后得到完全正確的文章，仍須逐字校對。
在將文件保存到Big5編碼時，可以用異體字和組字式替代Big5編碼不支持的漢字。在設置->選項中可以設置是否“轉成組字式”。
TextPro在漢字轉換之外還提供了一個補充功能：可以用自定義替換表進行漢字的替換。用法在“正則表達式和自定義替換說明”的幫助文件(RegExp.chm)中有介紹。
TextPro開發(fā)過程中，糾正了NJStar把BIG5碼漢字轉成GB碼時出現的約200處錯誤。原則是出現一對多的對應時，保留原字(GBK碼)。
簡體轉繁體中解決了部分一對多的難題，但對復雜情形和古文還不夠用，只能起到輔助作用。