[开源项目] 基于WebGPU的免安装本地AI聊天机器人 (开发中)

[开源项目] 基于WebGPU的免安装本地AI聊天机器人 (开发中) – 蓝点网

时间：2025-04-09 04:27:47 来源：病国殃民网

早前谷歌在 Google Chrome Canary 版里发布了 WebGPU 项目，开源该项目可以让开发者基于浏览器调用本机显卡算力。项目

所以在 GitHub 上有开源团队构建了 Web-LLM 项目，基于机器即基于 Web 的安装大型语言模型，一切都在浏览器内运行，本地不需要服务器支持、聊天蓝点不需要安装、人开直接利用 WebGPU 特性运行。发中

这个项目可以大幅度简化搭建 AI 聊天机器人的开源步骤，而且可以保护隐私，项目因为这个 AI 模型是基于机器 “你” 控制的，你提交的安装数据不会被共享给开发者进行模型训练。

这个项目还在开发中，本地有兴趣的聊天蓝点开发者可以参与该项目。

[开源项目] 基于WebGPU的人开免安装本地AI聊天机器人 (开发中)

当然由于是相当于在本地运行的，所以显卡性能至关重要，根据开源团队说明，显存至少需要 6.4GB，所以如果你的显卡显存比较小的话可能无法运行。

必要条件：Google Chrome 113.0+、显存至少为 6.4GB，使用不同的模型显存要求可能还会增加。

项目地址：https://github.com/mlc-ai/web-llm

演示地址：https://mlc.ai/web-llm/#chat-demo

注：演示聊天使用的模型是 vicuna-7b-v0。