復(fù)旦MOSS團(tuán)隊(duì)：參數(shù)規(guī)模約是ChatGPT的1/10

每經(jīng)AI快訊，據(jù)復(fù)旦大學(xué)官微，MOSS與ChatGPT相比，有哪些主要差異？復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院邱錫鵬團(tuán)隊(duì)表示，最大差異還是參數(shù)規(guī)模。ChatGPT的參數(shù)量多達(dá)1750億個(gè)，而MOSS的參數(shù)量比其小一個(gè)數(shù)量級(jí)，大約是前者的1/10左右。我們選擇百億規(guī)模這樣級(jí)別的參數(shù)，是因?yàn)閷W(xué)術(shù)界主要是做一些探索性的技術(shù)，這個(gè)規(guī)模也在財(cái)力物力承受范圍之內(nèi)。我們認(rèn)為在這個(gè)參數(shù)級(jí)別上，這些模型也能涌現(xiàn)出一定的智能能力，我們也能賦予它們對(duì)話的能力。實(shí)驗(yàn)結(jié)果證實(shí)了我們的猜想，MOSS模型可以非常順利地與人類進(jìn)行聊天互動(dòng)。