始智AI wisemodel.cn开源社区
始智AI wisemodel.cn社区是源自中国的中立开放的AI开源社区。正在,欢迎加入共同成长。wisemodel社区上线,H800/H20等资源上线,价格实惠,灵活方便,支持在线微调训练模型,及和,并。
RWKV 是一种创新的深度学习网络架构,它结合了 Transformer 与 RNN 的优点,同时实现高度并行化训练与高效推理。随着 RWKV-7 架构的发布,RWKV 社区也开源发布了多款基于 RWKV-7 的新项目,包括 RWKV-7-WebGPU Demo 和基于 RWKV-7 架构的 CoT 黑白棋项目 “RWKV Othello”。目前开源项目均已经上线始智AI-wisemodel开源社区,欢迎前去体验和使用。
模型地址
https://wisemodel.cn/models/rwkv4fun/rwkv-7-world/file
01.
RWKV-7-World-0.4B模型
RWKV-7-World-0.4B-v2.9 模型于2025年1月8日正式发布,该模型是RWKV-7-World-0.4B 在 world-2.9(从 world-v3 数据集中采样 2T tokens)数据集上的训练。其英文和多语言能力显著超越其他 0.4B 模型,且支持全球 100+ 种语言和代码。
以下是 RWKV-7-World-0.4B 的生成案例(使用社区 WebGPU Demo 运行):
02.
RWKV Othello项目
RWKV 社区成员 @Jellyfish042基于 RWKV-7 架构开发了 RWKV Othello 项目。该项目利用 Othello(也称为反转棋或黑白棋)的 CoT 数据训练了仅 8.8M 参数的 RWKV-7-Othello 模型。
RWKV-7-Othello 模型可以和人类或其他模型自动对战 Othello 游戏,且在与人类对战时实现了非常高的胜率。
test time scaling
RWKV-7-Othello 模型支持两种推理模式:关闭搜索和开启搜索。
关闭搜索时,模型会直接预测最佳走法;开启搜索后, RWKV Othello 模型会根据搜索配置进行 cot,而且思考的 token 数越多,棋力越强(获胜概率增大)。
以下是不同的搜索配置与基线模型(深度=1,宽度=1)进行比较,测试不同搜索树深度和宽度的获胜率(模型:rwkv7_othello_26m_L10_D448_extended ,每个数据点包含 100 局游戏):
RWKV Othello 项目证明 RWKV 模型的恒定资源占用特效在做 CoT 项目时有独特的优势,同时也展示 RWKV 模型在游戏策略和决策任务中的应用潜力。
03.
RWKV WebGPU Demo
无需下载任何应用,在浏览器中运行 RWKV-7-World 模型进行对话、解 15 谜题、音乐作曲,以及可视化查看 state 变化!
基于 web-rwkv 的 RWKV WebGPU Demo 实现了在浏览器中本地运行 RWKV-7 模型!加载模型后,模型将在浏览器中离线运行,不需要任何服务器通信。
对话功能
在 chat 界面选择一个 RWKV-7-World 模型(0.1B 或 0.4B),点击 Load Model 按钮,即可下载并运行模型进行对话。
也可以从本地目录拖动一个 RWKV-7-World 模型到灰框内运行,省略下载的过程。
解15谜题
Tips 15 谜题(也叫数字推盘游戏或 15 数码)是一个经典的滑块益智游戏,玩家需要在一个 4x4 的方格中放置 1-15 数字并留一个空格,然后通过滑动数字将数字按顺序排列。
在 Demo 的 15 puzzle 界面点击 New Game 按钮,可以设置一局全新的 15 谜题。
点击 start 按钮,WebGPU Demo 会运行 RWKV-puzzle15 模型自动解开当前的 15 谜题,左侧则显示模型的 CoT 推理过程。
RWKV作曲功能
在 Demo 的 Music 界面,可以驱动RWKV ABC 模型进行作曲。操作步骤:
1、点击 Load Model 按钮下载作曲模型
2、点击 prompt下拉框选择一个 ABC 格式的 prompt
3、点击 Generate Music 按钮,开始作曲
State可视化
在 Demo 的 State Replay 界面,可以查看RWKV 作为 RNN 模型的隐藏状态演变。
Tips State Replay 功能需要提前在 chat 界面启动一个 RWKV 模型。
下图是对 RWKV-7-World-0.1B 模型输入 “你好” 后,模型的隐藏状态演化。
RWKV-7-World-0.1B 的设计是 L12-D768,所以我们可以在 State Replay 中查看模型 12 层的状态演化,每层按照 维度(一个 head)划分为 12 个可视化小方格。
小方格的颜色解释:
深蓝色:较低值或接近负数的数值
黄色:较高值或接近正数的数值
灰色或黑色:数值接近 0
web-rwkv-state-replay-demo----- END -----
wisemodel相关:
系统升级:
系列模型:
关于wisemodel更多
1
欢迎持续关注和支持
开源社区建设需要长期坚持和投入,更需要广大用户的积极参与、贡献和维护,欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果,包括模型、数据集和代码等发布到 wisemodel.cn 社区,共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信,申请加入wisemodel社群,持续关注wisemodel.cn开源社区动态。
2
欢迎加盟wisemodel开源社区
始智AI wisemodel社区自2023年9月上线以来,逐渐成为影响力日益扩大的中立开放的AI开源社区,为了加快公司发展,我们长期需要技术、运营等人才加盟,技术侧重在AI infra、后端开发,熟悉K8S、模型训练和推理等技术, 以及熟悉开发者生态运营的成员,欢迎感兴趣的朋友加盟,可以通过添加wisemodel微信,或者将简历投递到邮箱:liudaoquan@wisemodel.cn
3
欢迎投稿优质内容
欢迎投稿分享人工智能领域相关的优秀研究成果,鼓励高校实验室、大企业研究团队、个人等,在wisemodel平台上分享各类优质内容,可以是AI领域最新论文解读、最新开源成果介绍,也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn,也可以扫码添加wisemodel微信。
4
关于wisemodel开源社区
始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立,旨在打造和建设中立开放的AI开源创新社区,将打造成“HuggingFace”之外最活跃的AI开源社区,汇聚主要AI开源模型、数据集和代码等,欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者,以及政府部门、学会协会、联盟、基金会等,还有投资机构、科技媒体等,共同参与建设AI开源创新生态。
向上滑动查看
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.