Thursday, April 4, 2019

人工智能對付假論文

科學研究出版的重要性已經毋庸贅述,但一些新的變化正在給這項人類文明的重大事業帶來“污點”:過去,科學期刊出版需要同行評議、印刷和發行等一系列“基礎設施”,而通常由研究人員來支付其中一部分費用。而如今,研究人員可以輕易將 PDF 格式的出版物放到互聯網上。

隨著原本出版流程中一系列環節的消失,那些決定取消同行評議的掠奪性出版商(predatory scientific publisher,又叫欺詐型期刊,即一般認知中的“野雞期刊”)將成為科學研究出版,尤其是開放獲取運動中的一大“毒瘤”:這樣的刊物假借開放獲取名義,為收取論文處理費而採用多種欺詐手段、故意放棄質量控制。只要有人支付出版費用,他們就會出版相關作品。

結果,有些論文讀起來言之無物,不知所云。在對抗劣質和欺詐性期刊和學會的各種做法中,有三位MIT的學生不能不提。

大概在十幾年前,麻省理工學院計算機科學與人工智能實驗室(CSAIL)的 Jeremy Stribling、Dan Aguayo、Max Krohn 三人注意到了愈發嚴重的學術灌水現象。於是三人在課程間隙花了一兩個星期開發了一款名為“SCIgen”的軟件,可以全自動、全隨機地生成各種完全胡說八道的計算機論文--包含各種以假亂真的圖表和引用。

AI軟件自動生成的假論文
2005年4月,作為非同行評議的論文,這篇軟件自動生成的文章“Rooter: A Methodology for the Typical Unification of Access Points and Redundancy”,投給了世界系統學、控制論和信息論多方會議(WMSCI)。不出所料,這篇假論文被接收了。

此事被媒體大量報導。WMSCI 最終取消了發給這三位作者的邀請函,不過,三人還繼續發揮了這次“表演藝術”--自己募集2500美元親臨會議現場,在大會舉辦地租下一間房間,開了一個“分會場”。當然,這個分會場報告的內容也是軟件隨機生成的。

沒想到的是,大會之後SCIgen的影響力還在繼續蔓延。不少研究者用它來測試審查標準過低的學術會議,三人的表演也讓全球最大技術人員組織——IEEE(電氣與電子工程師學會)撤回了對WMSCI的贊助。2013年,一位法國研究人員在 IEEE 和 Springer出版公司旗下的期刊中發現了超過120篇 SCIgen 生成的論文,迫使IEEE和Springer下架了這些文章。

之後,這三位表演大師走向不同的人生方向:Aguayo 成為 Meraki 公司的技術主管,Krohn是SparkNotes和交友網站OKCupid的共同創始人,Stribling則先後在IBM、Google和Nicira工作。

但哪怕已經過去了十幾年,SCIgen 仍然生命力旺盛。Stribling 曾透露,SCIgen 每年瀏覽量仍高達60萬次,導致這個CSAIL網頁每幾個月都要崩潰一回。軟件的開發團隊至今還能不斷收到郵件:有計算機系學生們自豪地表示他們又用 SCIgen 生成的論文揭穿某某大會之水;有別的專業的研究人員催促研發其他學科的版本。

“最開始,我們只想報復一下天天發垃圾郵件的野雞論文出版商,同時讓更多人關注到這種事情的存在,”Stribling 說,“從這個角度上說,我們已經超額完成任務了”。

(本文轉自《深科技》微信公眾號。)

No comments:

Post a Comment