glm4官网,glm-4,chatglm4智谱清言的新一代基座大模型
简介
2024年6月5日智谱AI開源了GLM-4-9B系列模型，模型性能全面超越Llama3-8B模型。GLM-4-9B使用了10T 高质量多语言資料进行訓练，資料量是 ChatGLM3-6B 模型的 3 倍以上。同时，采用了 FP8 技術进行高效的预訓练，相較于第三代模型，訓练效率提高了 3.5 倍，预訓练计算量增加了 5 倍。
GLM-4是新一代基座大模型GLM-4，整体性能相比GLM3全面提升60%，逼近GPT-4；支持更长上下文；更强的多模態；支持更快推理速度，更多并發，大大降低推理成本；同时GLM-4增强了智能体能力。
GLM-4-9B 是智谱AI 推出的最新一代预訓练模型 GLM-4 系列中的開源版本。 在语義、數学、推理、代碼和知識等多方面的資料集测評中， GLM-4-9B 及其人类偏好對齊的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。除了能进行多輪對话，GLM-4-9B-Chat 还具備网页浏览、代碼执行、客製化工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高級功能。
本代模型增加了多语言支持，支持包括日语，韓语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（約 200 万中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模態模型 GLM-4V-9B。GLM-4V-9B 具備 1120 * 1120 高分辨率下的中英双语多輪對话能力，在中英文綜合能力、感知推理、文字辨識、圖表理解等多方面多模態評测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。
主要功能和特色
基礎能力（英文）：GLM-4 在 MMLU、GSM8K、MATH、BBH、HellaSwag、HumanEval等資料集上，分别达到GPT-4 94%、95%、91%、99%、90%、100%的水平。
指令跟随能力：GLM-4在IFEval的prompt級别上中、英分别达到GPT-4的88%、85%的水平，在Instruction級别上中、英分别达到GPT-4的90%、89%的水平。
對齊能力：GLM-4在中文對齊能力上整体超过GPT-4。
长文本能力：我们在LongBench（128K）测試集上對多个模型进行評测，GLM-4性能超过 Claude 2.1；在「大海捞针」（128K）實验中，GLM-4的测試結果為 128K以内全绿，做到100%精准召回。
多模態-文生圖：CogView3在文生圖多个評测指标上，相比DALLE3 約在 91.4% ~99.3%的水平之间。
GLM-4 實现自主根据用户意圖，自动理解、規劃复雜指令，自由调用网页浏览器、Code Interpreter代碼解釋器和多模態文生圖大模型，以完成复雜任務。
简單来講，即只需一个指令，GLM-4会自动分析指令，結合上下文選择决定调用合适的工具。
All Tools -文生圖。GLM-4 能够結合上下文进行AI繪画創作（CogView3），如下圖所示，大模型能够遵循人的指令来不斷修改生成圖片的結果：
All Tools – 代碼解釋器。GLM-4能够透過自动调用python解釋器，进行复雜计算（例如复雜方程、微积分等），在GSM8K、MATH、Math23K等多个評测集上都取得了接近或同等GPT-4 All Tools的水平。
同样GLM-4 也可以完成文件處理、資料分析、圖表繪制等复雜任務，支持處理Excel、PDF、PPT等格式文件。
All Tools – 网页浏览。GLM-4 能够自行規劃检索任務、自行選择信息源、自行与信息源交互，在准确率上能够达到 78.08，是GPT-4 All Tools 的116%。
All Tools – Function Call。GLM-4 能够根据用户提供的Function描述，自动選择所需 Function并生成参數，以及根据 Function 的返回值生成回复；同时也支持一次输入进行多次 Function 调用，支持包含中文及特殊符号的 Function 名字。这一方面GLM-4 All Tools 与 GPT-4 Turbo 相当。
All Tools – 多工具自动调用。除了以上單项工具自动调用外，GLM-4 同样能够實现多工具自动调用，例如結合 网页浏览、CogView3、代碼解釋器等的调用方式。
GLM-4的全线能力提升使得我们有机会探索真正意義上的GLMs。用户可以下载（更新）智谱清言 APP，进行体验，快速創建和分享自己的「智能体」。智谱清言
同样，MaaS 平台也將全网開放 GLM-4、GLM-4V、CogView3 等模型 API，并邀请内测 GLM-4 Assistant API。
We are more open。我们一直在路上， 我们期待与所有研究者和開發者共同探索大模型的未来，為社会創造价值。
从ChatGLM一代二代三代以来，我们几乎開源了所有内核模型，包括千亿級基座GLM-130B、搜索增强模型WebGLM、圖形理解模型VisualGLM、代碼模型CodeGeeX1、2，文生圖模型CogView1、2，圖形增强理解模型CogVLM还有可視化认知Agent模型CogAgent。我们希望这些模型能够帮助大家深入认知大模型技術，而不是简單调用，帮助大家一起探索大模型技術的未来。
智谱源自清華科技成果轉化，重視科研突破、重視源頭創新，是智谱一直以来的作風。我们也希望無私的回馈科研界。
我们联合 CCF 中国计算机学会發起了CCF-智谱大模型基金，围繞预訓练大模型理論、算法、模型、应用等相關研究提供資助；透過降低大模型研究的門槛，立足每一个计算机领域科研工作者均有机会参与大模型的研究，推进大模型技術和应用的創新落地。
我们联合中国中文信息学会社会媒体處理專委会联合發起SMP-智谱大模型交叉学科基金。支持探索大模型与各领域交叉創新，促进大模型与各类学科的有机融合。所有的科研基金参与者擁有自己研發的知識產權。
2023年已經有来自全国三十余所高校参与了41 个研究專案，累计提供了超 1000 万元现金和算力資源（合作伙伴）的科研支持。
2024年，智谱對学術研究的支持，还將繼續。我们也始終相信，学術創新，是中国大模型事業持續發展創新的源动力之一！
我们认為，一个健康的大模型生態系統絕不仅依賴少數公司的研發，而是需要眾多研究者和開發者的想象力和創造力共同参与。
為了促进大模型生態的健康發展，智谱AI將發起開源開放的「大模型開源基金」，这包括三个「一千」：
- 第一个「一千」，是1000張卡。我们將為大模型開源社区提供一千張卡，助力開源開發；
- 第二个「一千」，是1000万人民幣。我们將提供 1000 万元的现金用来支持与大模型相關的開源專案。
- 第三个「一千」是1000亿tokens。我们將為優秀的開源開發者提供1000亿免費 API tokens。
「大模型開源基金」的目的在于推动大模型研發的大进展，促进大模型整个開源生態的大繁榮。一枝独秀不是春，中国的人工智能事業要繁榮、要發展，需要所有的参与者、產業链上下遊合作伙伴、開發者社区、学術界一同努力。
面向全球， 我们發布Z 计劃，支持大模型早期創業者的創新探索。大模型創業是长征路。Z计劃是智谱联合生態伙伴發起的大模型創業基金，总计10 亿元人民幣！專門支持大模型原始創新，覆蓋大模型算法、底層算子、芯片優化、行業大模型和超級应用等方向！
我们行胜于言，在过去，我们已經向相關企業投出了數亿元人民幣，支持了數十家等企業，比如面壁智能，是国内最早从事也是最懂 Agent 的一家大模型公司；基流科技，有过上万張英伟达gpu卡集群建設的專案，在智算集群和算力網路方面經验非常丰富。
在 2024 年，乃至更长遠的未来里，我们都將堅持更開放的心態，團結更广泛的生態伙伴，共創人工智能美好未来！
GLM-4-9B 模型具備了更强大的推理性能、更长的上下文處理能力、多语言、多模態和 All Tools 等突出能力。本次開源的GLM-4-9B 系列模型包括：基礎版本 GLM-4-9B（8K）、對话版本 GLM-4-9B-Chat（128K）、超长上下文版本 GLM-4-9B-Chat-1M（1M）和多模態版本 GLM-4V-9B-Chat（8K）。人人都可以到始智社区部署在线体验。
基于强大的预訓练基座，GLM-4-9B 的模型中英文綜合性能相比 ChatGLM3-6B 提升了 40%，尤其是在中文對齊能力 AlignBench，指令遵从 IFeval，工程代碼 Natural Code Bench 方面都取得了非常顯著的提升。對比訓练量更多的 Llama-3-8B 模型也没有遜色，英文方面有小幅领先，中文学科方面更是有着高达 50% 的提升，主要評测結果上全面超越Llama3-8B。
GLM-4-9B 模型的上下文从 128K 擴展到了 1M tokens，这意味着模型能同时處理 200 万字的输入，大概相当于 2 本红樓夢或者 125 篇論文的长度。
GLM-4-9B-Chat-1M 模型在 1M 的上下文长度下进行了“大海捞针”實验，展现出了出色的無損處理能力。
GLM-4-9B 支持包括汉语、英语、俄语、西班牙语、德语、法语、意大利语、葡萄牙语、波兰语、日语、荷兰语、阿拉伯语、土耳其语、捷克语、越南语、波斯语、匈牙利语、希腊语、罗馬尼亞语、瑞典语、乌克兰语、芬兰语、韓语、丹麥语、保加利亞语和挪威语在内的 26 种语言。
為了提升性能，tokenizer 的词表大小从 65k 擴充到了 150k，这一改进使得编碼效率提高了 30%。在多语言能力方面，在六个不同的多语言理解和生成資料集上进行了测試，結果顯示 GLM-4-9B-Chat 顯著超越 Llama-3-8B-Instruct。具体評测結果如下：
GLM-4-9B 模型的函數调用能力更是迎来了巨大的升級，相比ChatGLM3-6B 模型提升了 40%，在 Berkeley Function-Calling Leaderboard 上，GLM-4-9B 模型的 Function Call 能力与 GPT-4 不相上下。
“All Tools”即模型能够理解和使用一系列外部工具（比如代碼执行、联网浏览、画圖、文件操作、資料库查詢、API 调用等）来辅助回答問题或完成任務。
此次推出了基于GLM基座的開源多模態模型GLM-4V-9B，与CogVLM2相似的架构設计，能够處理高达1120 x 1120分辨率的输入，并透過降采样技術有效減少了token的開销。為了減小部署与计算開销，GLM-4V-9B没有引入额外的視觉專家模块，采用了直接混合文本和圖片資料的方式进行訓练，在保持文本性能的同时提升多模態能力。
在性能方面，GLM-4V-9B模型展现了顯著的優势。尽管其参數量仅為13B，但它成功地超越了許多参數量更大的開源模型。在眾多任務中，GLM-4V-9B的性能与GPT-4V不相上下。
Github：
https://github.com/THUDM/GLM-4
wisemodel：
https://wisemodel.cn/organization/ZhipuAI
