浦语灵笔-上海AI实验室开源图文混合创作大模型

4周前更新 53 0 0

浦语灵笔是上海人工智能实验室推出的首个图文混合创作大模型,该模型能够根据用户提供的主题或图片,自动创作出图文并茂的文章,为大模型落地应用提供更多可能。,浦语灵笔是上海人工智能实验室推出的首个图文混合创作大模型,该模型能够根据用户提供的主题或图片,自动创作出图文并茂的文章,为大模型落地应用提供更多可能。

收录时间:
2024-09-11
浦语灵笔-上海AI实验室开源图文混合创作大模型浦语灵笔-上海AI实验室开源图文混合创作大模型

浦语灵笔是什么?

上海人工智能实验室(上海AI实验室)近日推出了首个图文混合创作大模型书生·浦语灵笔(InternLM-XComposer),该模型能够根据用户提供的主题或图片,自动创作出图文并茂的文章,为大模型落地应用提供更多可能。

浦语灵笔是基于书生·浦语大语言模型(InternLM)的多模态扩展,书生·浦语是上海AI实验室今年7月以来陆续开源的7B(InterLM-7B)及20B(InternLM-20B)版本的大语言模型,为业界提供了完整的大模型研发与应用基座,以及全链条工具体系。

浦语灵笔-上海AI实验室开源图文混合创作大模型

项目地址:https://github.com/InternLM/InternLM-XComposer

浦语灵笔能做什么?

浦语灵笔不仅能够进行流利的中英文图文对话,准确理解图像内容,还具备了图文并茂文章创作的全新能力。

用户仅需提供主题或图片,便可一键生成涵盖历史沿革、主要景点文物介绍等方面的长篇文章,并在适当位置自动插入与文字信息对应的图片。除自动配图能力外,浦语灵笔还提供了配图推荐和更换功能,根据用户实际需求定制图文内容。

目前,浦语灵笔已支持科普文稿、营销广告、新闻稿件、影视评论、生活指南等类型文章的图文并茂生成,并将逐渐开放更多能力,适应更多样化任务需求。

浦语灵笔为图文文章创作设计了“三步走”的算法流程:

  • 首先,根据用户输入的主题或图片,浦语灵笔利用其强大的写作能力,创作出文采斐然的文章。
  • 其次,浦语灵笔自动分析文章内容和段落布局,规划需要插图图片的位置,并生成对图片内容需求的描述。
  • 最后,采用从粗筛到精选的配图策略,利用多模态大模型强大的图像理解能力,从海量图库中选择出最符合文章上下文内容和整体图像风格的图片,完成文章的自动配图。

浦语灵笔出色的图文创作效果,得益于其多任务预训练模型(InternLM-XComposer-VL-7B)强大的多模态理解能力。

研究人员采用5个主流的多模态大模型评测对InternLM-XComposer-VL-7B进行了详细测试,包括MME Benchmark、MMBench、MMBench-CN、Seed-Bench和CCBench等中英文评测。

评测结果显示,在上述5项评测中,浦语灵笔均体现出卓越性能,尤其是在中国文化理解方面,表现出深厚的知识积淀。

如何使用浦语灵笔?

浦语灵笔现已开源,同时上线GitHub、Hugging Face及魔搭社区(ModelScope),欢迎开发者下载试用。

项目地址:https://github.com/InternLM/InternLM-XComposer

数据统计

相关导航

云从从容大模型

云从从容大模型

云从从容大模型是由中国领先的人工智能公司云从科技推出的一种先进的人机协同操作系统(CWOS)。这个系统采用了多模态的人工智能技术,包括但不限于视觉识别、自然语言处理、语音识别等。它的目标是实现数字世界与物理世界之间的无缝连接,为各种应用和服务提供智能化的解决方案。,云从从容大模型是由中国领先的人工智能公司云从科技推出的一种先进的人机协同操作系统(CWOS)。这个系统采用了多模态的人工智能技术,包括但不限于视觉识别、自然语言处理、语音识别等。它的目标是实现数字世界…
悬河- AI机器人和AI虚拟人聊天平台

悬河- AI机器人和AI虚拟人聊天平台

悬河是一款AI虚拟人聊天平台,你可以在平台免费创建自己喜欢的AI虚拟角色,并与其进行社交聊天。 同时,您也可以浏览平台上海量的UGC虚拟角色,找到自己喜欢的角色进行互动。 悬河AI拥有丰富的功能特点,包括情感聊天、IP互动、文字游戏以及个人工具学习工作等。 无论您是想和AI角色互动聊天,还是玩文字游戏、热门网络梗或者创建自己的聊天机器人,悬河AI都能满足您的需求。 与ChatGPT相比,悬河AI通过人工智能技术为虚拟角色赋予更有趣的灵魂和真实的情感,旨在为您带来更多乐趣。 欢迎访问我们的网址https://xuanheai.com/?channel=aihub,悬河是一款AI虚拟人聊天平台,你可以在平台免费创建自己喜欢的AI虚拟角色,并与其进行社交聊天。 同时,您也可以浏览平台上海量的UGC虚拟角色,找到自己喜欢的角色进行互动。 悬河AI拥有丰富的功能特点,…
PowerLawGLM-法律垂直AI大模型

PowerLawGLM-法律垂直AI大模型

PowerLawGLM是由幂律智能联合智谱AI发布的千亿参数级法律垂直大模型。这个模型专注于法律细分领域,针对中文法律场景的应用效果具有独特优势,具备丰富的法律知识和法律语言理解能力。,"PowerLawGLM"是由幂律智能联合智谱AI发布的千亿参数级法律垂直大模型。这个模型专注于法律细分领域,针对中文法律场景的应用效果具有独特优势,具备丰富的法律知识和法律语言理…
Yi大模型-零一万物发布的开源大模型

Yi大模型-零一万物发布的开源大模型

Yi系列模型是由来自“零一万物”的开发者研发的大型语言模型。第一个公开版本包含两个双语版(英语/中文)基础模型,参数规模分别为6B和34B。两者都使用4K序列长度进行训练,并在推理时可以扩展到32K。,Yi系列模型是由来自“零一万物”的开发者研发的大型语言模型。第一个公开版本包含两个双语版(英语/中文)基础模型,参数规模分别为6B和34B。两者都使用4K序列长度进行训练,并在推理时可以扩展到32K。