千亿对话模型. 旨在推动大模型的科学研究,面向高校学术交流与行业合作的试用申请。
ChatGLM是清华技术成果转化的公司智谱AI研发的支持中英双语的对话机器人。
ChatGLM参考了ChatGPT的设计思路,在千亿基座模型GLM-130B中注入了代码预训练,通过有监督微调(Supervised Fine-Tuning)等技术实现人类意图对齐。ChatGLM当前版本模型的能力提升主要来源于独特的千亿基座模型GLM-130B。它是不同于BERT、GPT-3以及T5的架构,是一个包含多目标函数的自回归预训练模型。