近日，有網友反映，朱自清經典散文【荷塘月色】在某主流論文檢測系統中，被判定AI生成內容疑似度高達62.88%。這並非個例，劉慈欣的科幻小說【三體】中的段落同樣被標註高AI生成機率，更荒誕的是，【滕王閣序】在檢測中竟顯示100% AI生成。這些檢測結果一經曝光，便在網路引發熱烈討論，不少網友開始質疑AI檢測是否「靠譜」。
針對上述網友反映的情況，揚子晚報記者進行了實測，記者挑選了朱自清的【背影】和劉慈欣的科幻小說【球狀閃電】的片段，使用網友常用的某論文檢測工具進行檢測。
檢測結果顯示，朱自清的【背影】的AIGC總體疑似度為18.21%、而【球狀閃電】片段的AIGC總體疑似度高達32.05%。隨後，記者又在網上搜尋AI檢測，隨機挑選了兩家AI檢測網站進行測試，結果顯示兩家網站【背影】的AI生成率均小於1%，有一家網站檢測【球狀閃電】片段的AI率為23%，另一家檢測結果為0.23%。
記者調查發現，AI檢測實際上就是一種預測文件是否由大型語言模型編寫的分類模型，一般來說這類模型都是基於大量人工和AI生成文本語料庫進行訓練。一位從事AI領域研究的技術人員告訴記者，與人類的不可預測性相比，AI更傾向於以可預測的模式寫作。檢測模型使用這些特征和自然語言處理演算法來辨識AI生成的內容。「但是AI檢測中會存在誤判情況，因為AI生成內容的性質在不斷變化。」技術人員告訴記者，透過技術改進可以降低AI檢測的誤判率，但不可能完全消除。他表示，AI檢測模型和AI大模型猶如矛和盾的關系，隨著AI大模型的叠代升級，AI檢測模型也必須同步進行最佳化，否則誤判會更嚴重。
此外，針對社交平台上關於「論文AI率高到離譜」的討論，記者咨詢了某AI檢測公司，公司技術人員表示，盡管當下AI檢測模型最佳化更新的速度不斷加快，但教育工作者不應將AI檢測的結果視為評判學生成果的唯一標準，而應將其作為綜合評估體系中的一個參考指標。
校對 潘政
