CodeShell-北京大学开源的代码大模型

4个月前更新 1,153 0 0

CodeShell是北京大学知识计算实验室联合四川天府银行AI团队研发的多语言代码大模型基座。CodeShell具有70亿参数,在五千亿Tokens进行了训练,上下文窗口长度为8192。在权威的代码评估Benchmark(HumanEval与MBPP)上,CodeShell取得同等规模最好的性能。

收录时间:
2024-09-11
CodeShell-北京大学开源的代码大模型CodeShell-北京大学开源的代码大模型
CodeShell-北京大学开源的代码大模型

CodeShell是什么?

CodeShell是北京大学知识计算实验室联合四川天府银行AI团队研发的多语言代码大模型基座。CodeShell具有70亿参数,在五千亿Tokens进行了训练,上下文窗口长度为8192。在权威的代码评估Benchmark(HumanEval与MBPP)上,CodeShell取得同等规模最好的性能。 CodeShell代码:https://github.com/WisdomShell/codeshell CodeShell基座模型:https://huggingface.co/WisdomShell/CodeShell-7B 代码助手VSCode插件:https://github.com/WisdomShell/codeshell-vscode 本次开源的模型如下:
    • CodeShell Base:CodelShell底座模型,具有强大的代码基础能力。
    • CodeShell Chat:CodelShell对话模型,在代码问答、代码补全等下游任务重性能优异。
    • CodeShell Chat 4bit:CodelShell对话模型4bit量化版本,在保证模型性能的前提下内存消耗更小,速度更快。
    • CodeShell CPP:CodelShell对话模型CPP版本,支持开发者在没有GPU的个人电脑中使用。注意,CPP版本同样支持量化操作,用户可以在最小内存为8G的个人电脑中运行CodeShell。

CodeShell主要特性

    • 强大的性能:CodelShell在HumanEval和MBPP上达到了7B代码基座大模型的最优性能
    • 完整的体系:除了代码大模型,同时开源IDE(VS Code与JetBrains)插件,形成开源的全栈技术体系
    • 轻量化部署:支持本地C++部署,提供轻量快速的本地化软件开发助手解决方案
    • 全面的评测:提供支持完整项目上下文、覆盖代码生成、代码缺陷检测与修复、测试用例生成等常见软件开发活动的多任务评测体系(即将开源)
    • 高效的训练:基于高效的数据治理体系,CodeShell在完全冷启动情况下,只训练了五千亿Token即获得了优异的性能

如何使用CodeShell?

CodeShell系列模型已经上传至 Hugging Face,开发者可以通过Transformers快速调用CodeShell和CodeShell-Chat。 在开始之前,请确保已经正确设置了环境,并安装了必要的代码包,以及满足上一小节的环境要求。你可以通过下列代码快速安装相关依赖。
pip install -r requirements.txt
接下来你可以通过Transformers使用CodeShell。

数据统计

相关导航

SAM 2-Meta推出的图像和视频对象分割模型

SAM 2-Meta推出的图像和视频对象分割模型

SAM 2(Segment Anything Model 2)是由Meta推出的新一代AI分割模型,能够在图像和视频中实现高度精确、实时的对象分割。它在不需要定制适配的情况下,能够对任何未曾见过的对象进行分割,适用于各种视觉领域。这一模型在原有的Segment Anything Model (SAM)基础上进行了扩展和改进,支持更广泛的应用场景。,SAM 2(Segment Anything Model 2)是由Meta推出的新一代AI分割模型,能够在图像和视频中实现高度精确、实时的对象分割。它在不需要定制适配的情况下,能够对任何未曾见过的对象…
SmolLM-HuggingFace发布的高性能小型语言模型

SmolLM-HuggingFace发布的高性能小型语言模型

SmolLM是由 Huggingface 最新发布的一组高性能的小型语言模型,参数分别为 1.35 亿、3.6 亿和 17 亿,训练数据来自高质量数据集 SmolLM-Corpus,其中包括 Cosmopedia v2、Python-Edu 和 FineWeb-Edu。SmolLM 模型在多种基准测试中表现不错, 适合跑在手机这种终端设备上。,SmolLM是由 Huggingface 最新发布的一组高性能的小型语言模型,参数分别为 1.35 亿、3.6 亿和 17 亿,训练数据来自高质量数据集 SmolLM-Corpus,其中包括 Cosm…

暂无评论

none
暂无评论...