OpenAI已訓練CriticGPT模型:基于GPT-4 用于發(fā)現ChatGPT生成內容錯誤

近日消息,據外媒報道,隨著(zhù)GPT系列大模型的不斷升級,OpenAI所訓練的ChatGPT也在擁有更強的能力,但這也帶來(lái)了一些挑戰,它所生成的內容中存在的錯誤也越來(lái)越隱蔽,逐漸到了AI訓練師難以發(fā)現的程度。

近日消息,據外媒報道,隨著(zhù)GPT系列大模型的不斷升級,OpenAI所訓練的ChatGPT也在擁有更強的能力,但這也帶來(lái)了一些挑戰,它所生成的內容中存在的錯誤也越來(lái)越隱蔽,逐漸到了AI訓練師難以發(fā)現的程度。

OpenAI已訓練CriticGPT模型:基于GPT-4 用于發(fā)現ChatGPT生成內容錯誤

而為了應對這一挑戰,OpenAI也想出了新招,他們基于GPT-4模型,訓練了一個(gè)用于發(fā)現ChatGPT輸出代碼錯誤的模型。

OpenAI當地時(shí)間周四,已在官網(wǎng)宣布了這一消息,他們訓練的模型名為CriticGPT,從名稱(chēng)來(lái)看就是用于發(fā)現不足,以便讓相關(guān)的應用變得更好。

從OpenAI在官網(wǎng)公布的消息來(lái)看,CriticGPT在他們的應用中有不錯的效果,他們發(fā)現在新模型的輔助下,使用者在檢查ChatGPT的輸出代碼時(shí),比沒(méi)有CriticGPT的協(xié)助要好60%。

在官網(wǎng)上,OpenAI提到,他們也是通過(guò)RLHF (從人類(lèi)反饋中強化學(xué)習,Reinforcement Learning from Human Feedback)來(lái)訓練CriticGPT,與訓練ChatGPT類(lèi)似。但與訓練ChatGPT不同的是,他們在訓練CriticGPT時(shí),看了大量包含錯誤的輸入。

雖然CriticGPT能幫助發(fā)現更多的問(wèn)題,但也存在不足,還有改進(jìn)的空間。OpenAI在官網(wǎng)上就提到,并不是所有的發(fā)現都是準確的,用于訓練的ChatGPT生成內容也普遍很短,還需要開(kāi)發(fā)新的方式,以協(xié)助訓練師理解更長(cháng)和更復雜的任務(wù)。

此外,OpenAI在官網(wǎng)上也提到,在研發(fā)CriticGPT的過(guò)程中,他們發(fā)現將RLHF應用于GPT-4時(shí),能幫助生成更好的RLHF數據,他們計劃擴大這一項工作的規模,并付諸實(shí)踐。

原創(chuàng )文章,作者:科技探索者,如若轉載,請注明出處:http://www.leeannwhittemore.com/article/664246.html

科技探索者的頭像科技探索者管理團隊

相關(guān)推薦

發(fā)表回復

登錄后才能評論