使用計算機開展知網查重識別的研究首先要對數字文檔進行分析處理,而數字文檔又可分為兩種類別,即:自然語言文本和形式語言文本。形式語言文本比較典型的是計算機程序源代碼,雖然抄襲的案例較多,但因其具有規範的語法和語句結構特點,相對比較容易分析處理,針對此類抄襲識別的研究也較早。而自然語言文本(如:論文等)復制檢測原理的出現比程序復制檢測晚了20年。
②1993年,美國亞利桑那大學的Manber提出了“近似指紋”概念,基於此提出了sif工具,用基於字符串匹配的方法來度量文件之間的相似性。美國斯坦福大學的Brin等人首次提出了COPS系統與相應算法,其後提出的SCAM原型對此進行了改進了。SCAM借鑒了信息檢索技術中的向量空間模型,使用基於詞頻統計的方法來度量文本相似性。香港理工大學的Si和Leong等人采用統計關鍵詞的方法來度量文本相似性,建立了CHECK原型,並首次在相似性度量中引入文檔的結構信息。到了2000年,Monostori等人用後綴樹來搜尋字符串之間的最大子串,建立了MDR原型。在此之前,全美國的教育工作者們現已懂得綜合運用課堂書寫段落樣本、互聯網搜索工具和反剽竊技術三結合手段遏制欺騙的源頭。
③ 對於中文論文的抄襲識別,存在更大的困難。漢語與英文不同,它以字為基本的書寫單位,詞與詞之間沒有明顯的區分標記,因此,中文分詞是漢語文檔處理的基礎。漢語文本抄襲識別系統首先需要分詞作為其最基本的模塊,因此,中文文本自動分詞的好壞在壹定程度上影響抄襲識別的準確性。同時計算機在自然語言理解方面有欠缺,而抄襲又不僅僅局限於照抄照搬式的,很難達到準確的抄襲識別。所以解決中文論文抄襲識別問題還不能全盤照搬國外技術。北京郵電大學張煥炯等用編碼理論中漢明距離的計算公式計算文本相似度。中科院計算所以屬性論為理論依據,計算向量之間的匹配距離,從而得到文本相似度。程玉柱等以漢字數學表達式理論為基礎,將文本相似度計算轉換為空間坐標系中向量夾角余弦的計算問題。西安交通大學的宋擒豹等人開發了CDSDG系統,采用基於詞頻統計的重疊度度量算法在不同粒度計算總體語義重疊度和結構重疊度。此算法不但能檢測數字正文整體非法復制行為,而且還能檢測諸如子集復制和移位局部復制等部分非法復制行為。晉耀紅基於語境框架的相似度計算算法,考慮了對象之間的語義關系,從語義的角度給出文本之間的相似關系。大連理工大學的金博、史彥軍、滕弘飛針對學術論文的特有結構,對學術論文進行篇章結構分析,再通過數字指紋和詞頻統計等方法計算出學術論文之間的相似度。張明輝針對重復網頁問題提出了基於段落的分段簽名近似鏡像新算法。鮑軍鵬等基於網格的文本復制檢測系統提出了語義序列核方法的復制檢測原理。金博、史彥軍、滕弘飛少給出了壹個基於語義理解的復制檢測系統架構,其核心是以知網詞語相似度計算為基礎,並將應用範圍擴大到段落。聶規劃等基於本體的論文復制檢測系統利用語義網本體技術構建論文本體和計算論文相似度。
請繼續關註上學吧論文查重（），更多有關論文檢測信息盡在其中。