國(guó)家檔案行業(yè)標(biāo)準(zhǔn):紙質(zhì)檔案數(shù)字化技術(shù)規(guī)范
發(fā)布時(shí)間:2013-11-13
DA/T 31-2005 國(guó)家檔案局2005-04-30 發(fā)布2005-09-01 實(shí)施
1 范圍
本標(biāo)準(zhǔn)規(guī)定了紙質(zhì)檔案數(shù)字化的主要技術(shù)要求,。本標(biāo)準(zhǔn)適用于采用各種設(shè)備對(duì)紙質(zhì)檔案的數(shù)字化加工處理及數(shù)字化成果的管理,。
2 規(guī)范性引用文件
下列文件中的條款通過本標(biāo)準(zhǔn)的引用而成為本標(biāo)準(zhǔn)的條款,。凡是注日期的引用文件,其隨后所有的修改單(不包括勘誤的內(nèi)容)或修訂版均不適用于本標(biāo)準(zhǔn),,然而,鼓勵(lì)根據(jù)本標(biāo)準(zhǔn)達(dá)成協(xié)議的各方研究是否可使用這些文件的最新版本,。凡是不注日期的引用文件,,其最新版本適用于本標(biāo)準(zhǔn)。
GB/T 17235.1-1998信息技術(shù)連續(xù)色調(diào)靜態(tài)圖像的數(shù)字壓縮及編碼第1部分:要求和指南
GB/T 17235.2-1998信息技術(shù)連續(xù)色調(diào)靜態(tài)圖像的數(shù)字壓縮及編碼第2部分:一致性測(cè)試
GB/T 18894-2002電子文件歸檔與管理規(guī)范
3 術(shù)語和定義
下列術(shù)語和定義適用于本標(biāo)準(zhǔn),。
3.1 數(shù)字化 digitization
用計(jì)算機(jī)技術(shù)將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)的處理過程,。
3.2 紙質(zhì)檔案數(shù)字化 digitization of paper-based records
采用掃描儀或數(shù)碼相機(jī)等數(shù)碼設(shè)備對(duì)紙質(zhì)檔案進(jìn)行數(shù)字化加工,將其轉(zhuǎn)化為存儲(chǔ)在磁帶,、磁盤,、光盤等載體上并能被計(jì)算機(jī)識(shí)別的數(shù)字圖像或數(shù)字文本的處理過程。
3.3 數(shù)字圖像 digital image
表示實(shí)物圖像的整數(shù)陣列,。一個(gè)二維或更高維的采樣并量化的函數(shù),,由相同維數(shù)的連續(xù)圖像產(chǎn)生。在矩陣(或其他)網(wǎng)絡(luò)上采樣——連續(xù)函數(shù),,并在采樣點(diǎn)上將值最小化后的陣列,。
3.4 黑白二值圖像 binary image
只有黑白兩級(jí)灰度的數(shù)字圖像。它對(duì)應(yīng)于黑白兩種狀態(tài)的文字稿,、線條圖等,。
3.5 連續(xù)色調(diào)靜態(tài)圖像 continuous-tone still image
以多于兩級(jí)灰度的不同濃淡層次或以不同顏色通道組合成的靜態(tài)數(shù)字圖像,。在紙質(zhì)檔案數(shù)字化過程中,,通常表現(xiàn)為灰度掃描和彩色掃描兩種模式。
3.6 分辨率 resolution
單位長(zhǎng)度內(nèi)圖像包含的點(diǎn)數(shù)或像素?cái)?shù),,一般用每英寸點(diǎn)數(shù)(dpi)表示,。
3.7 失真度 distortion measure
對(duì)檔案進(jìn)行數(shù)字化轉(zhuǎn)換后,數(shù)字圖像與檔案原件 在色彩,、幾何等方面的偏離程度,。
3.8 可懂度 intelligibility
數(shù)字圖像向人或機(jī)器提供信息的能力。
3.9 圖像壓縮 image compression
清除圖像冗余或?qū)D像近似的任一種過程,,其目的是對(duì)圖像以更緊湊的形式表示,。紙質(zhì)檔案數(shù)字化過程中,較常見的有TIFF(G4),、JPEG等壓縮格式,。
4 紙質(zhì)檔案數(shù)字化基本要求
4.1 基本原則
紙質(zhì)檔案數(shù)字化的基本原則是使檔案信息資源準(zhǔn)確、方便,、快捷地提供利用,,使可以公開的檔案信息資源得到共享,以滿足社會(huì)對(duì)檔案利用的需求,。
4.2 數(shù)字化對(duì)象的確定原則
應(yīng)當(dāng)對(duì)所要進(jìn)行數(shù)字化的對(duì)象按照一定的原則和方法進(jìn)行確認(rèn),,只有符合一定要求的紙質(zhì)檔案文獻(xiàn)才能進(jìn)行數(shù)字化,。
4.2.1 符合國(guó)家法律法規(guī)的原則
紙質(zhì)檔案的數(shù)字化,必須符合國(guó)家檔案開放規(guī)定以及有關(guān)規(guī)定,。
4.2.2 價(jià)值性原則
屬于歸檔范圍且應(yīng)永久或長(zhǎng)期保存的,、社會(huì)利用價(jià)值高的檔案可列入數(shù)字化加工的范圍。
4.3 基本環(huán)節(jié)
紙質(zhì)檔案數(shù)字化的基本環(huán)節(jié)主要包括:檔案整理,、檔案掃描,、圖像處理、圖像存儲(chǔ),、目錄建庫(kù),、數(shù)據(jù)掛接、數(shù)據(jù)驗(yàn)收,、數(shù)據(jù)備份,、成果管理等。
4.4 過程管理
4.4.1 應(yīng)加強(qiáng)紙質(zhì)檔案數(shù)字化各環(huán)節(jié)的安全保密管理機(jī)制,,確保檔案原件和數(shù)字化檔案信息的安全,。
4.4.2 紙質(zhì)檔案數(shù)字化的各個(gè)環(huán)節(jié)均應(yīng)進(jìn)行詳細(xì)的登記,并及時(shí)整理,、匯總,,裝訂成冊(cè),在數(shù)字化工作完成的同時(shí)建立起完整,、規(guī)范的記錄,。
5 檔案整理
在掃描之前,根據(jù)檔案管理情況,,按下述步驟對(duì)檔案進(jìn)行適當(dāng)整理,,并視需要作出標(biāo)識(shí),確保檔案數(shù)字化質(zhì)量,。
5.1 目錄數(shù)據(jù)準(zhǔn)備
按照《檔案著錄規(guī)則》(DA/T18)等的要求,,規(guī)范檔案中的目錄內(nèi)容。包括確定檔案目錄的著錄項(xiàng),、字段長(zhǎng)度和內(nèi)容要求,。如有錯(cuò)誤或不規(guī)范的案卷題名、文件名,、責(zé)任者,、起止頁(yè)號(hào)和頁(yè)數(shù)等,應(yīng)進(jìn)行修改,。
5.2 拆除裝訂
在不去除裝訂物情況下,,影響掃描工作進(jìn)行的檔案,應(yīng)拆除裝訂物。拆除裝訂物時(shí)應(yīng)注意保護(hù)檔案不受損害,。
5.3 區(qū)分掃描件和非掃描件
按要求把同一案卷中的掃描件和非掃描件區(qū)分開,。普發(fā)性文件區(qū)分的原則是:無關(guān)和重份的文件要剔除,有正式件的文件可以不掃描原稿,。
5.4 頁(yè)面修整
破損嚴(yán)重,、無法直接進(jìn)行掃描的檔案,應(yīng)先進(jìn)行技術(shù)修復(fù),,折皺不平影響掃描質(zhì)量的原件應(yīng)先進(jìn)行相應(yīng)處理(壓平或熨平等)后再進(jìn)行掃描,。
5.5 檔案整理登記
制作并填寫紙質(zhì)檔案數(shù)字化加工過程交接登記表單,詳細(xì)記錄檔案整理后每份文件的起始頁(yè)號(hào)和頁(yè)數(shù),。
5.6 裝訂
掃描工作完成后,,拆除過裝訂物的檔案應(yīng)按檔案保管的要求重新裝訂?;謴?fù)裝訂時(shí),,應(yīng)注意保持檔案的排列順序不變,做到安全,、準(zhǔn)確,、無遺漏。
6 檔案掃描
6.1 掃描方式
6.1.1 根據(jù)檔案幅面的大小(A4,、A3,、A0等)選擇相應(yīng)規(guī)格的掃描儀或?qū)I(yè)掃描儀(如工程圖紙可采用O號(hào)圖紙掃描儀)進(jìn)行掃描。大幅面檔案可采用大幅面數(shù)碼平臺(tái),,或者縮微拍攝后的膠片數(shù)字化轉(zhuǎn)換設(shè)備等進(jìn)行掃描,,也可以采用小幅面掃描后的圖像拼接方式處理。
6.1.2 紙張狀況較差,,以及過薄,、過軟或超厚的檔案,,應(yīng)采用平板掃描方式,;紙張狀況好的檔案可采用高速掃描方式以提高工作效率。
6.2 掃描色彩模式
6.2.1 掃描色彩模式一般有黑白二值,、灰度,、彩色等。通常采用黑白二值,。
6.2.2 頁(yè)面為黑白兩色,,并且字跡清晰、不帶插圖的檔案,,可采用黑白二值模式進(jìn)行掃描,。
6.2.3 頁(yè)面為黑白兩色,但字跡清晰度差或帶有插圖的檔案,以及頁(yè)面為多色文字的檔案,,可采用灰度模式掃描,。
6.2.4 頁(yè)面中有紅頭、印章或插有黑白照片,、彩色照片,,彩色插圖的檔案,可視需要采用彩色模式進(jìn)行掃描,。
6.3 掃描分辨率
6.3.1 掃描分辨率參數(shù)大小的選擇,,原則上以掃描后的圖像清晰、完整,、不影響圖像的利用效果為準(zhǔn),。
6.3.2 采用黑白二值、灰度,、彩色幾種模式對(duì)檔案進(jìn)行掃描時(shí),,其分辨率一般均建議選擇大于或等于100dpi。特殊情況下,,如文字偏小,、密集、清晰度較差等,,可適當(dāng)提高分辨率,。
6.3.3 需要進(jìn)行OCR漢字識(shí)別的檔案,掃描分辨率建議選擇大于或等于200dpi,。
6.4 掃描登記
認(rèn)真填寫紙質(zhì)檔案數(shù)字化轉(zhuǎn)換過程交接登記表單,,登記掃描的頁(yè)數(shù),核對(duì)每份文件的實(shí)際掃描頁(yè)數(shù)與檔案整理時(shí)填寫的文件頁(yè)數(shù)是否一致,,不一致時(shí)應(yīng)注明具體原因和處理方法,。
7 圖像處理
7.1 圖像數(shù)據(jù)質(zhì)量檢查
7.1.1 對(duì)圖像偏斜度、清晰度,、失真度等進(jìn)行檢查,。發(fā)現(xiàn)不符合圖像質(zhì)量要求時(shí),應(yīng)重新進(jìn)行圖像的處理,。
7.1.2 由于操作不當(dāng),,造成掃描的圖像文件不完整或無法清晰識(shí)別時(shí),應(yīng)重新掃描,。
7.1.3 發(fā)現(xiàn)文件漏掃時(shí),,應(yīng)及時(shí)補(bǔ)掃并正確插入圖像。
7.1.4 發(fā)現(xiàn)掃描圖像的排列順序與檔案原件不一致時(shí),,應(yīng)及時(shí)進(jìn)行調(diào)整,。
7.1.5 認(rèn)真填寫相關(guān)表單,記錄質(zhì)檢結(jié)果和處理意見。
7.2 糾偏
對(duì)出現(xiàn)偏斜的圖像應(yīng)進(jìn)行糾偏處理,,以達(dá)到視覺上基本不感覺偏斜為準(zhǔn),。對(duì)方向不正確的圖像應(yīng)進(jìn)行旋轉(zhuǎn)還原,以符合閱讀習(xí)慣,。
7.3 去污
對(duì)圖像頁(yè)面中出現(xiàn)的影響圖像質(zhì)量的雜質(zhì),,如黑點(diǎn)、黑線,、黑框,、黑邊等應(yīng)進(jìn)行去污處理。處理過程中應(yīng)遵循在不影響可懂度的前提下展現(xiàn)檔案原貌的原則,。
7.4 圖像拼接
對(duì)大幅面檔案進(jìn)行分區(qū)掃描形成的多幅圖像,,應(yīng)進(jìn)行拼接處理,合并為一個(gè)完整的圖像,,以保證檔案數(shù)字化圖像的整體性,。
7.5 裁邊處理
采用彩色模式掃描的圖像應(yīng)進(jìn)行裁邊處理,去除多余的白邊,,以有效縮小圖像文件的容量,,節(jié)省存儲(chǔ)空間。
8 圖像存儲(chǔ)
8.1 存儲(chǔ)格式
8.1.1 采用黑白二值模式掃描的圖像文件,,一般采用TIFF(G4)格式存儲(chǔ),。采用灰度模式和彩色模式掃描的文件,一般采用JPEG格式存儲(chǔ),。存儲(chǔ)時(shí)的壓縮率的選擇,,應(yīng)以保證掃描的圖像清晰可讀的前提下,盡量減小存儲(chǔ)容量為準(zhǔn)則,。
8.1.2 提供網(wǎng)絡(luò)查詢的掃描圖像,,也可存儲(chǔ)為CEB、PDF或其他格式,。
8.2 圖像文件的命各
8.2.1 紙質(zhì)檔案目錄數(shù)據(jù)庫(kù)中的每一份文件,,都有一個(gè)與之相對(duì)應(yīng)的唯一檔號(hào),以該檔號(hào)為這份文件掃描后的圖像文件命名,。
8.2.2 多頁(yè)文件可采用該檔號(hào)建立相應(yīng)文件夾,,按頁(yè)碼順序?qū)D像文件命名,。
9 目錄建庫(kù)
9.1 數(shù)據(jù)格式選擇
目錄建庫(kù)應(yīng)選擇通用的數(shù)據(jù)格式,。所選定的數(shù)據(jù)格式應(yīng)能直接或間接通過XML文檔進(jìn)行數(shù)據(jù)交換。
9.2 欄案著錄
按照《檔案著錄規(guī)則》(DA/T18)的要求進(jìn)行著錄,,建立檔案目錄數(shù)據(jù)庫(kù),。
9.3 目錄數(shù)據(jù)質(zhì)量檢查
采用人工校對(duì)或軟件自動(dòng)校對(duì)的方式,對(duì)目錄數(shù)據(jù)庫(kù)的建庫(kù)質(zhì)量進(jìn)行檢查。核對(duì)著錄項(xiàng)目是否完整,、著錄內(nèi)容是否規(guī)范,、準(zhǔn)確,發(fā)現(xiàn)不合格的數(shù)據(jù)應(yīng)要求進(jìn)行修改或重錄,。
10 數(shù)據(jù)掛接
10.1 匯總掛接
檔案數(shù)字化轉(zhuǎn)換過程中形成的目錄數(shù)據(jù)庫(kù)與圖像數(shù)據(jù)庫(kù),,通過質(zhì)檢環(huán)節(jié)確認(rèn)為“合格”后,通過網(wǎng)絡(luò)及時(shí)加載到數(shù)據(jù)服務(wù)器端匯總,。通過編制程序或借助相應(yīng)軟件,,可實(shí)現(xiàn)目錄數(shù)據(jù)對(duì)相關(guān)聯(lián)的數(shù)字圖像的自動(dòng)搜索、加入對(duì)應(yīng)的電子地址信息等,,實(shí)現(xiàn)批量,、快速掛接。
10.2 數(shù)據(jù)關(guān)聯(lián)
以紙質(zhì)檔案目錄數(shù)據(jù)庫(kù)為依據(jù),,將每一份紙質(zhì)檔案文件掃描所得的一個(gè)或多個(gè)圖像存儲(chǔ)為一份圖像文件,。將圖像文件存儲(chǔ)到相應(yīng)文件夾時(shí),要認(rèn)真核查每一份圖像文件的名稱與檔案目錄數(shù)據(jù)庫(kù)中該份文件的檔號(hào)是否相同,,圖像文件的頁(yè)數(shù)與檔案目錄數(shù)據(jù)庫(kù)中該份文件的頁(yè)數(shù)是否一致,,圖像文件的總數(shù)與目錄數(shù)據(jù)庫(kù)中文件的總數(shù)是否相同等。通過每一份圖像文件的文件名與檔案目錄數(shù)據(jù)庫(kù)中該份文件的檔號(hào)的一致性和唯一性,,建立起一一對(duì)應(yīng)的關(guān)聯(lián)關(guān)系,,為實(shí)現(xiàn)檔案目錄數(shù)據(jù)庫(kù)與圖像文件的批量掛接提供條件。
10.3 交接登記
認(rèn)真填寫紙質(zhì)檔案數(shù)字化轉(zhuǎn)換過程交接登記表單,,記錄數(shù)據(jù)關(guān)聯(lián)后的頁(yè)數(shù),,核對(duì)每一份文件關(guān)聯(lián)后的頁(yè)數(shù)與檔案整理、掃描時(shí)填寫的頁(yè)數(shù)是否一致,,不一致時(shí)應(yīng)注明具體原因和處理辦法,。
11 數(shù)據(jù)驗(yàn)收
11.1 數(shù)據(jù)抽檢
11.1.1 以抽檢的方式檢查已完成數(shù)字化轉(zhuǎn)換的所有數(shù)據(jù)、包括目錄數(shù)據(jù)庫(kù),、圖像文件及數(shù)據(jù)掛接的總體質(zhì)量,。
11.1.2 一個(gè)全宗的檔案,數(shù)據(jù)驗(yàn)收時(shí)抽檢的比率不得低于5%,。
11.2 驗(yàn)收指標(biāo)
11.2.1 目錄數(shù)據(jù)庫(kù)與圖像文件掛接錯(cuò)誤,,或目錄數(shù)據(jù)庫(kù)、圖像文件之一出現(xiàn)不完整,、不清晰,、有錯(cuò)誤等質(zhì)量問題時(shí),抽檢標(biāo)記為“不合格”,。
11.2.2 一個(gè)全宗的檔案,,數(shù)字化轉(zhuǎn)換質(zhì)量抽檢的合格率達(dá)到95%以上(含95%)時(shí),,予以驗(yàn)收“通過”。
合格率=抽檢合格的文件數(shù)/抽檢文件總數(shù)×100%
11.3 驗(yàn)收審核
驗(yàn)收“通過”的結(jié)論,,必須經(jīng)分管領(lǐng)導(dǎo)審核,、簽字后方有效。
11.4 驗(yàn)收登記
認(rèn)真填寫紙質(zhì)檔案數(shù)字化驗(yàn)收登記表單,。
12 數(shù)據(jù)備份
12.1 備份范圍
經(jīng)驗(yàn)收合格的完整數(shù)據(jù)應(yīng)及時(shí)進(jìn)行備份,。
12.2 備份方式
為保證數(shù)據(jù)安全,備份載體的選擇應(yīng)多樣化,,可采用在線,、離線相結(jié)合的方式實(shí)現(xiàn)多套備份,并注意異地保存,。
12.3 數(shù)據(jù)檢驗(yàn)
備份數(shù)據(jù)也應(yīng)進(jìn)行檢驗(yàn),。備份數(shù)據(jù)的檢驗(yàn)內(nèi)容主要包括備份數(shù)據(jù)能否打開、數(shù)據(jù)信息是否完整,、文件數(shù)量是否準(zhǔn)確等,。
12.4 備份標(biāo)簽
數(shù)據(jù)備份后應(yīng)在相應(yīng)的備份介質(zhì)上做好標(biāo)簽,以便查找和管理,。
12.5 備份登記
填寫紙質(zhì)檔案數(shù)字化備份管理登記表單,。
13 數(shù)字化成果管理
13.1 應(yīng)加強(qiáng)對(duì)紙質(zhì)檔案數(shù)字化成果的管理,確保其安全,、完整和長(zhǎng)期可用,。
13.2 紙質(zhì)檔案數(shù)字化成果提供網(wǎng)上檢索利用時(shí),應(yīng)有制作單位的電子標(biāo)識(shí),,并根據(jù)具體情況分別采用可下載或不可下載的數(shù)據(jù)格式,。