云创大数据正式发布cGPT大模型训练推理一体机！

随着ChatGPT的风靡全球，以大模型技术为核心的生成式AI领域受到了广泛的关注和应用，而生成内容的有理有据、准确可靠和不违反国家相关规定就变得十分重要。

在此背景下，南京云创大数据科技股份有限公司自主研发了cGPT大模型训练推理一体机。该一体机是一款统一的大模型训练和推理平台，可以实现对大模型的全生命周期管理，包括数据集的管理，模型的训练、评估和推理，平台性能的监控和管理等。

cGPT大模型训练推理一体机特别适合私域大模型训练和推理场景，支持全国产化的解决方案，通过对接用户单位内部的数据库，可为内网信息化提供新支撑；智能水平不俗，具备自主学习、总结加工、查询信息等能力，犹如“多面手”和“中枢大脑”；知识处理能力强大，面对大量的知识点，也能进行高效处理；通过对接数据库，可以提供数据查询、答疑解惑等个性化服务。

在对接文档方面，只需上传文档，cGPT大模型训练推理一体机经过学习，便可结合该文档，做出用户所需准确的回答；在对接数据库方面，cGPT大模型训练推理一体机通过对已上传表格、参考文献等的学习，便可结合这些数据，做出总结性的准确回答，甚至可以展现与参考文献的关联度。同时，该一体机也可为用户单位进行定制化拓展开发，使其具有个性化功能。

一般而言，当数据量相对较小的时候，cGPT大模型训练推理一体机可与向量数据库结合；当数据量相对较大的时候，可与云创大数据cVector向量计算一体机结合。

cVector向量计算一体机是一款面向亿级以上向量计算场景的高性能向量存储、计算一体化平台。经中国软件评测中心对比测试，cVector向量计算一体机在入库性能、查询性能、准确性方面明显优于同行产品，（点击了解更多），以此可以保障cGPT大模型训练推理一体机发挥突出优势。

值得一提的是，cGPT大模型训练推理一体机支持海量数据私有化、本地化训练部署和推理、全面支持国产化，能更好地适应中国的语言环境和文化背景，满足中国用户的需求。在保证用户数据隐私的前提下，可广泛应用于智能写作、智能问答、自然语言生成、机器翻译等多个领域。

演示视频

● 高算力配置

cGPT大模型训练推理一体机内置最高8块通用型GPU计算卡，显存最高可达640GB，单卡FP32精度算力可达37TFLOPS，FP16/BF16精度算力为147TFLOPS，INT8精度算力为295TOPS，支持INT32与INT16计算、支持多精度数据类型标准/混合训练。

● 国产化适配

cGPT大模型训练推理一体机除支持主流NVIDIA计算卡以外，根据用户生产环境需要，还可支持全国产化方案，采用国产服务器准系统、CPU、GPU与操作系统，适用于有特殊安全需求的客户。主流大模型相关配套框架均作适配，移植便捷，用户训练无需进行大量修改。

● 私有化部署

cGPT大模型训练推理一体机可支持数据私有化，服务本地化部署，无需连接公共互联网即可提供服务，杜绝用户数据泄漏风险。通过本地文件服务器对本地模型进行管理和版本控制，实现模型部署本地化。通过本地大数据平台对用户业务数据进行采集、处理、分析、构建，实现用户业务数据私有化。利用全面的访问控制系统，对需要进行外网访问的数据信息进行脱敏过滤，在确保用户数据安全性的前提下，保障本地服务功能的完整性。

● 一站式方案

cGPT大模型训练推理一体机构建了一站式部署、定制扩展方案，使得用户无需掌握专业的人工智能知识，即可轻松拥有大模型提供的各种能力。通过一套完整的、用户友好的可视化平台，可简单实现大模型的训练、部署和服务提供；提供丰富的场景功能，用户可根据专业需求，利用提示模板技术实现专业定制的大模型应用，例如智能专业写作、智能行业查询等。

cGPT训练一体机G1000-T（根据需求，可与cVector向量计算一体机搭配使用）硬件规格如下：

特性

国产化方案

标准化方案

处理器

2*64核国产处理器

2*Intel高性能处理器

GPU

8* 国产GPU（显存32GB）

8* GPU(显存80GB)

内存

1TB内存

1TB内存

存储

2*480GB SSD

2*960GB SSD

2*2TB SATA

2*480GB SSD

2*960GB SSD

2*2TB SATA

软件规格如下：

大模型

自动化加载、部署，定制化部署，包括LLaMA，GLM，GPT-2，T5等不同量级的大模型

框架支持

PyTorch、DeepSpeed等多种人工智能框架

可视化管理

训练进度、硬件使用情况、损失函数变化、不同阶段模型测试展示等

系统监控

宿主机监控：支持CPU/内存/磁盘使用率等指标监控

用户集群监控：支持GPU使用率等指标监控

训练优化

针对性优化模型结构，用LoRA等技术对模型微调进行优化，提高模型的训练速度，减少模型训练的成本

cGPT推理一体机G1000-I（根据需求，可与cVector向量计算一体机搭配使用）

硬件规格如下：

特性

国产化方案

标准化方案

处理器

2*64核国产处理器

2*Intel高性能处理器

GPU

8* 国产GPU（显存32GB）

8* GPU(显存16GB)

内存

1TB内存

1TB内存

存储

2*480GB SSD

2*960GB SSD

2*2TB SATA

2*480GB SSD

2*960GB SSD

2*2TB SATA

软件规格如下：

大模型

自动化加载、部署，定制化部署，包括LLaMA，GLM，GPT-2，T5等不同量级的大模型

框架支持

PyTorch、DeepSpeed等多种人工智能框架

模型量化

一键式模型量化，达到高访问，低延时的效果

系统监控

宿主机监控：支持CPU/内存/磁盘使用率等指标监控

用户集群监控：支持GPU使用率等指标监控

敏感词管理

对涉及政治、军事、宗教、文化等有争议和敏感的内容进行过滤和屏蔽，支持私有敏感词定制：用户订制过滤内容，包括专业领域特殊资料和数据等

cGPT大模型训练推理一体机应用领域广泛，可以提供个性化服务。

● 面向内网使用

cGPT大模型训练推理一体机可以消化内部资料，为公检法等涉密的系统单位提供资料查询、数据比对、文档撰写等多元服务，在保障信息安全的前提下，为用户单位的决策效率提供强力支持，扮演单位内部员工、领导的“个人个性化数字助手”。

●面向特定领域

cGPT大模型训练推理一体机在教育、法律、银行等特定领域有着广泛的应用场景。尤其善于消化前沿的信息与科技成果，提供与之匹配的新信息。分析数据、编写代码、编写文案、回答疑问，提供信息服务，满足信息咨询，以此助力高效工作，为特定领域带来更准确和个性化的服务。

联系方式：
单先生 13770311887（微信同号）