您的当前位置:首页 > 知识 > 奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快 正文
时间:2025-01-05 08:52:06 来源:网络整理 编辑:知识
12月30日消息,据媒体报道,EXO Labs最近发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型LLM)。这台主频350MHz电脑成功启动进入Windows 98
12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。
这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
传奇解说:锡安在熟悉的位置——便装呆坐板凳席💀2025-01-05 08:50
曝剪映两位负责人离职 :曾带领产品月活用户超8亿 年收入近百亿2025-01-05 07:56
阿内尔卡:我非常爱巴黎,经常来王子公园球场2025-01-05 07:55
女子撞玛莎拉蒂赔3.2万私了后悔了 要去4S店重新定损2025-01-05 07:48
斯基拉:达尼洛越来越接近那不勒斯,利雅得胜利和曼联进行了咨询2025-01-05 07:28
经纪人:国内球员找队的基本诉求是有球踢就行,不少人在经历欠薪2025-01-05 07:06
三星集团今年市值蒸发161.25兆韩元!三星电子跌超30%成主因2025-01-05 06:46
何小鹏给AGI泼冷水:不可能几年就颠覆世界2025-01-05 06:41
罗体:汉茨科已同意加盟尤文,尤文可能2500万欧将他签下2025-01-05 06:21
西媒分析阿诺德庆祝动作:意为太吵了,暗示他要去皇马了2025-01-05 06:17
花10万块买一台手机值吗?华为Mate XT非凡大师三折叠全面评测:我找到了答案2025-01-05 08:45
蝴蝶效应!曼城若拿不到欧冠席位?瓜迪奥拉很坦诚,球迷很是担忧2025-01-05 08:30
进欧冠,看曼联!阿莫林输了三场,送三个对手稳坐欧冠区2025-01-05 07:52
余承东亲测享界S9“车位到车位”智驾:自己全程啥也没干2025-01-05 07:28
乔治谈全明星赛制:不喜欢 如果我们不愿竞争 那仍将是浪费时间2025-01-05 07:21
[流言板]博主:湖人认为詹姆斯会再留一年,否则不会做这笔交易2025-01-05 07:04
一年仅3胜但看到希望!国足年度总结:只在此山中,云深不知处2025-01-05 06:41
宁王曾毓群喜提岚图梦想家!CEO卢放亲自交付2025-01-05 06:36
罗马诺:三笘薰在布莱顿是特别的存在,但球队方针是他转会阻碍2025-01-05 06:33
CBA:外援威尔斯狂砍50分 辽宁大胜新疆迎来三连胜2025-01-05 06:19