浙江
一位开发人员独自花了一个周末的时间，尝试在老式的 DOS 机器上运行 Llama 2 大语言模型。得益于随时可用的开源代码，该项目最终成功了。然而，将 Llama 2 适配到古老的 DOS 环境并非易事。
Yeo Kheng Meng 是一位程序员，曾因开发 ChatGPT 的 DOS 客户端而闻名。最近，他启动了一个新的 AI 相关项目，专注于过去基于提示的计算环境。他的最新成果是一个完全基于 DOS 的大型语言模型 (LLM)，可以离线执行推理任务。
FreeDOS 项目指出，孟使用 Meta 于 2023 年发布的 Llama 2 模型开发了DOS LLM 客户端。这位程序员在搭载新旧组件的系统上测试了该软件，并在 Thinkpad T42（2004 年）和东芝 Satellite 315CDT（1996 年）之间进行了惊人的性能对比。不出所料，在旧系统上运行 LLM 耗时许久。
他借助 llama2.c（一个旨在快速将 Llama 2 模型移植到各种系统和硬件平台的开源项目）开发了一个功能齐全的 DOS LLM。Meng解释说，尽管 llama2.c 的编写初衷是提高可移植性，但它仍然需要进行一些编码调整，以应对传统计算环境的挑战。
程序员必须选择合适的 DOS 扩展工具才能访问超过传统 640KB 常规内存的更大 RAM 池。他还必须修改 OWC 编译器，因为 llama2.c 需要功能相对先进的 C 编译器。在调整编译过程后，Meng 创建了一个可以在他的 DOS 系统上运行的、功能齐全的 llama2 二进制文件。
这位程序员对几台运行 MS-DOS 6.22 的系统进行了基准测试，从老式的 486 DX2 66MHz PC 到现代的基于 Ryzen 的台式机。不出所料，新系统提供了更快的推理速度。令人惊讶的是，搭载 1.7GHz Pentium M 处理器的 ThinkPad T42 的性能甚至超过了 16 年后发布的 ThinkPad X13G1。
Meng将 llama2.c 的测试、文档编写以及移植到 DOS 的过程描述为一个周末的项目。他感谢开源 llama2.c 的 Andrej Karpathy 使这一切成为可能。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
