panda梯子软件

繁中专家模型 Project TAME 开源释出,懂台湾文化、在地化对答

世界各国都希望在国内建立和运行 AI 基础设施,NVIDIA 执行长黄仁勳高声疾呼「主权 AI 」重要性。台湾使用繁体中文,长久以来养成我们自己的用语和文化,如今产学合作下,新开发出繁体中文专家模型 Project TAME,专为台湾使用者设计。

Project TAME(TAiwanese Mixture of Experts)由台大资工系副教授陈縕侬带领实验室同仁与企业夥伴开发团队合作,在 NVIDIA 开发者计画技术支持下,多家垂直产业的企业专家贡献专业领域资料,预训练近 5,000 亿字符(token),开发出一款繁体中文大型语言模型,1 日正式对外发表。

Project TAME 了解台湾用语,举例「东西买得很盘」若喂给 ChatGPT、Gemini 恐怕无法理解,但新模型看得懂,在律果科技协助下可解释艰涩法律名词。更重要的是,Project TAME 适合不同产业加以应用。

Project TAME 核心开发者、台大资工系博士班候选人林彦廷分享技术细节,这款模型以 Meta Llama 3 8B、70B 模型做基础,训练架构采用 NVIDIA NeMo / NeMo Megatron 进行高效率运算,推论架构则采 NVIDIA TensorRT-LLM,至於训练硬体是在使用 NVIDIA DGX H100 的 Taipei-1 超级电脑进行。

预训练过程如同让 Project TAME 看大量的书,林彦廷分享团队利用生成式 AI 进一步产出教科书等级、各种学科的知识资料,这种资料量相当於整体训练资料的三分之一。不只如此,聚集各领域专家以收集合适本土资料进行训练。

Project TAME 将采开源形式,让产业、让各家企业有一个 Hub 中心可以进行合作。台大资工系副教授陈縕侬指出,不同资料间可能有共同交集可以使用,这对语言模型发展是更好的,也能让不同产业专家贡献自己领域的资料。

包括长春集团、和硕、欣兴电子、长庚医院、科技报橘、律果科技分别代表石化工业、电子制造、医疗服务、内容服务、法律等产业,成为首批投入 Project TAME 的业界专家角色。

谈到为何需要台湾在地化模型?林彦廷指出三点:一是这款模型针对繁体中文最佳化;二是不让文化、观点及意识形态集中在美国科技公司所开发的主流模型产品上,应把台湾文化放入自己的模型;三则是进一步加强在地文化,精准推荐台湾事物及细节。

目前 Project TAME 开放企业、开发者可从 Github 免费下载使用,还提供模型聊天页面;亚太智能机器(APMIC)也率先整合 Project TAME,提出聊天机器人测试页面供外界体验。

(首图为 Project TAME 核心开发者林彦廷,首图来源:科技新报)

pandavnp合法吗

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x