Moonshot AI首個大模型產(chǎn)品支持20萬字上下文

2023年10月9日，成立僅半年的大模型初創(chuàng)公司——Moonshot AI宣布在“長文本”領域實現(xiàn)了突破，推出了首個支持輸入20萬漢字的智能助手產(chǎn)品Kimi Chat。20萬漢字是目前全球市場上能夠產(chǎn)品化使用的大模型服務中所能支持的最長上下文輸入長度，目前，全球大多數(shù)大語言模型的輸入長度都在2K以內，以輸入長度是2048為例，其含義是模型一次性接受輸入的tokens數(shù)量為2048個，而一般tokens換算到單詞的比例是75%左右，也就是2K模型的輸入一般只能支持2048*0.75=1500個英文單詞的輸入。

換算成漢字方面，一個實際使用效果能夠支持約20萬漢字的上下文，是2.5倍于Anthropic公司的Claude-100k（實測約8萬字），8倍于OpenAI公司的GPT-4-32k（實測約2.5萬字），如果Moonshot AI的能力屬實，這標志著Moonshot AI在這一重要技術上取得了世界領先水平。

目前，Moonshot AI的智能助手產(chǎn)品Kimi Chat已開放了內測。（界面）