本周,人工智能初創(chuàng)公司月之暗面(Moonshot AI)的核心高管在“美版貼吧”Reddit上舉行了一場(chǎng)AMA(可以問(wèn)我任何問(wèn)題)活動(dòng),回應(yīng)了多項(xiàng)業(yè)界熱點(diǎn)議題。
參與這項(xiàng)活動(dòng)的三位高管分別為楊植麟(論壇用戶名:ComfortableAsk4494)、周昕宇(zxytim)和吳育昕(ppwwyyxx),三人在24小時(shí)內(nèi)持續(xù)回答了論壇上網(wǎng)友提出的問(wèn)題。
上周,月之暗面發(fā)布了Kimi K2 Thinking,公司稱其為“迄今能力最強(qiáng)的開(kāi)源思考模型”。因此,AMA活動(dòng)上的大多數(shù)問(wèn)題與K2 Thinking有關(guān),有點(diǎn)像是該模型線上發(fā)布會(huì)的問(wèn)答環(huán)節(jié)。

有人詢問(wèn),為什么K2 Thinking能在單次推理中實(shí)現(xiàn)如此長(zhǎng)的推理時(shí)間和推理鏈,而GPT5卻做不到?GPT5 Pro通過(guò)智能體來(lái)延長(zhǎng)推理時(shí)間,但推理效果仍然不如K2 Thinking單次長(zhǎng)時(shí)間推理。未來(lái)是否會(huì)考慮進(jìn)一步提升基礎(chǔ)模型的推理速度?
楊植麟回答道:“我認(rèn)為推理時(shí)間取決于API的吞吐量,而推理令牌的數(shù)量則取決于模型的訓(xùn)練方式。我們訓(xùn)練K2 Thinking的方式傾向于使用相對(duì)更多的推理令牌以獲得最佳結(jié)果。我們的Turbo API應(yīng)該會(huì)快得多。此外,K2原生支持INT4類型,這進(jìn)一步加快了推理過(guò)程。”
當(dāng)被問(wèn)及“FP4相對(duì)于INT4的改進(jìn)是否真的意義重大?”時(shí),周昕宇稱,選擇INT4是為了更好地兼容“非Blackwell GPU”,同時(shí)利用現(xiàn)有的INT4推理marlin內(nèi)核。
吳育昕在另一個(gè)問(wèn)題下稱,“我們使用配備Infiniband的H800 GPU;它不如美國(guó)的高端GPU那么好,而且我們的顯卡數(shù)量也處于劣勢(shì),但我們充分利用了每一張顯卡!”
有網(wǎng)友稱,K2 Thinking似乎使用了過(guò)多的代幣。楊植麟承認(rèn)了這一現(xiàn)象,并解釋道“當(dāng)前版本中,我們優(yōu)先考慮的是絕對(duì)性能而非代幣效率。我們會(huì)嘗試將效率納入獎(jiǎng)勵(lì)機(jī)制,以便它能學(xué)習(xí)如何簡(jiǎn)化思考過(guò)程。”
有人質(zhì)疑,K2 Thinking通過(guò)專門訓(xùn)練,以達(dá)到在高水平邏輯推理(HLE)測(cè)試中取得好成績(jī),但“它的高分似乎與實(shí)際使用中的智能水平不太相符。”
楊植麟回應(yīng)稱,“我們?cè)谔嵘悄荏w推理能力方面取得了一些進(jìn)展,使其在HLE測(cè)試中得分較高。我們正在努力進(jìn)一步提升其通用能力,以便在更多實(shí)際應(yīng)用場(chǎng)景中充分發(fā)揮智能的作用。”
當(dāng)網(wǎng)友詢問(wèn)“K2 Thinking培訓(xùn)費(fèi)用只有460萬(wàn)美元是真的嗎?”楊植麟回答道:“這并非官方數(shù)據(jù),因?yàn)榕嘤?xùn)成本很難量化,其中很大一部分用于研究和實(shí)驗(yàn)。”
在點(diǎn)贊最多的回答中,周昕宇透露,公司的新架構(gòu)KDA(Kernel Attention Dual Architecture)能讓模型獲得更高的基準(zhǔn)測(cè)試分?jǐn)?shù),而且速度更快、效率更高,從而使我們能夠更快地進(jìn)行預(yù)訓(xùn)練、更快地部署到強(qiáng)化學(xué)習(xí)中,并服務(wù)更多用戶。
周昕宇表示,“我們正在開(kāi)發(fā)更多改進(jìn)方案,完成后會(huì)與大家分享。”楊植麟也補(bǔ)充道:“KDA是我們最新的實(shí)驗(yàn)性架構(gòu),與KDA相關(guān)的想法很可能會(huì)在K3中得到應(yīng)用。”
在被追問(wèn)何時(shí)推出K3模型的問(wèn)題中,楊植麟還調(diào)侃了OpenAI的首席執(zhí)行官薩姆·奧爾特曼,他回應(yīng)稱,肯定能在“薩姆價(jià)值萬(wàn)億美元的數(shù)據(jù)中心建成之前”推出K3模型。
有網(wǎng)友詢問(wèn)對(duì)“OpenAI為什么會(huì)燒掉這么多錢”的看法,周昕宇稱“不知道。只有薩姆自己知道。我們有自己的方式和節(jié)奏。”周昕宇還提到,月之暗面沒(méi)有人工智能瀏覽器的計(jì)劃,因?yàn)?ldquo;不需要去套一層新的Chromium殼”。
當(dāng)被問(wèn)及公司有沒(méi)有“視覺(jué)-語(yǔ)言模型(VL)的計(jì)劃時(shí)”,楊植麟寫(xiě)道:“是的,我們正在努力。敬請(qǐng)期待!”