我把ML应用全部搬进浏览器，然后删掉了服务器：一个独立开发者的疯狂实验
上个月，我在Hacker News上刷到一条帖子，标题很扎眼：“Show HN: I rewrote my ML web apps to run in-browser and deleted the server”。翻译过来就是：我把我的机器学习网页应用全部重写，让它们直接在浏览器里跑，然后——把服务器删了。
这位老哥叫Aegis，做了一套AI工具站（aegishumanai.com），原本是标准的“前端+后端+GPU推理服务器”架构。但他干了一件很多开发者想都不敢想的事：把机器学习模型全部压缩成浏览器能跑的格式，然后用WebGPU和WebAssembly在客户端本地推理，彻底移除了后端服务器。
评论区0条留言，热度不高，但这件事本身的信息量极大。作为一个长期研究“普通人如何用技术赚到第一桶金”的博主，我立刻意识到：这可能是未来五年里，独立开发者和小团队最值得关注的技术趋势之一。今天咱们就聊聊，为什么“无服务器ML”是普通人的机会，以及你该怎么抓住它。
一、为什么“删掉服务器”这件事值得你关注
先讲个扎心的事实：大部分普通人的副业项目，死在了服务器成本上。我见过太多案例，做了一个AI工具站，用户量刚起来，GPU服务器账单直接飙到每月几百上千美元。然后要么涨价赶跑用户，要么自己贴钱硬扛，最后扛不住关站。
Aegis的做法解决了这个痛点。他把模型跑在用户的浏览器里，意味着：第一，你的服务器成本趋近于零，只需要一个静态文件托管；第二，没有并发瓶颈，一万个用户同时用和一百个用户同时用，对你来说没区别；第三，数据不出浏览器，用户隐私安全，这也是很多企业级客户在意的点。
听起来很美好，对吧？但你也别急着兴奋，这技术目前有几个明显的限制：模型体积不能太大（通常得压缩到几十MB以内），推理速度受用户设备性能影响，而且有些复杂的模型（比如大语言模型）在浏览器里跑起来还是吃力。不过，对于某些特定场景，这已经是完全够用的方案了。
关键在于：它把“AI应用”的创业门槛从“有钱租GPU服务器”降到了“会写前端代码”。这对普通人来说，是一个巨大的机会窗口。
二、浏览器跑ML的技术栈：WebGPU和WebAssembly到底是个啥
咱们不聊太深的技术细节，但你至少得知道几个关键词。Aegis用的核心是WebGPU——这是浏览器的一个新API，能直接调用显卡进行并行计算。以前你想在网页里做点AI推理，得把数据发到服务器，服务器算完再返回结果。现在WebGPU让浏览器自己就能干这活，而且速度不慢。
另一个是WebAssembly（简称Wasm），它能把C++、Rust这类语言编译成浏览器能跑的字节码，执行效率接近原生代码。很多ML推理框架（比如ONNX Runtime Web、Transformers.js）都支持Wasm后端。也就是说，你训练好的PyTorch模型，转成ONNX格式，然后直接在浏览器里加载运行。
更妙的是，现在有现成的工具链。比如Hugging Face的Transformers.js，你可以直接用JavaScript调用各种预训练模型，从文本分类到图像识别都有。还有MediaPipe，谷歌出的，专门做端侧AI，人脸检测、手势识别、姿态估计，直接在浏览器里跑得飞起。
我测试过几个项目，在普通笔记本电脑上，用WebGPU跑一个图像分类模型，延迟大概几十毫秒，跟服务器端差不多。如果是简单的文本处理，比如情感分析、关键词提取，那几乎是瞬间完成。这个体验，已经足够支撑很多实用工具了。
三、普通人能用这个技术做什么赚钱？我列了5个方向
别觉得这是技术大牛的自嗨，对咱们普通人来说，这反而是最友好的切入点。我琢磨了几个方向，都是能快速落地、不需要太多资源就能启动的。
- 在线图片处理工具：比如老照片修复、图片超分辨率、背景抠图。这些模型都是现成的，浏览器跑完全没问题。你做一个网站，用户上传图片，处理结果直接下载，不需要注册，不需要等待，用完就走。这种工具站流量很好做，SEO关键词竞争小，而且用户愿意为“一次性的便利”付费。
- 文档分析工具：比如PDF转表格、合同关键信息提取、发票识别。这些场景的数据往往比较敏感，用户不太放心传到云端。你在浏览器本地处理，强调“数据不出电脑”，这就是一个很大的卖点。B端企业尤其吃这一套。
- 隐私优先的AI助手：比如一个聊天机器人，模型完全在本地跑，不上传任何聊天记录。现在很多人在意隐私，愿意为此付费。你可以做一个订阅制的个人助理，月费9.9美元，成本几乎为零，纯利润。
- 教学演示工具：如果你是老师或者做培训的，可以做一个交互式的ML演示工具。比如在浏览器里实时展示“手写数字识别”的过程，学生能看到模型是怎么一步步推理的。这类工具在学校和教育机构里有市场。
- 浏览器插件：把ML功能做成Chrome扩展。比如划词翻译、网页摘要、邮件自动分类。插件生态很成熟，分发渠道现成，而且插件本身就能收费。
这几个方向有个共同点：都是“轻量级AI应用”，模型体积不大，推理速度要求不高，但解决的是用户的真实痛点。而且因为不需要服务器，你的边际成本几乎为零，做十个工具的成本跟做一个差不多。
四、实操指南：从零开始做一个“无服务器ML工具站”
既然方向有了，咱们说说具体怎么落地。我建议你从最简单的开始，别一上来就搞复杂的。我用一个“图片背景抠图”工具举例，整个流程大概分四步。
第一步：选模型。去Hugging Face上找一个抠图模型，比如RMBG-1.4，这是一个专门做背景移除的模型，效果不错，体积大概40多MB，浏览器跑得动。下载ONNX格式的权重文件。
第二步：搭框架。用Next.js或者Vite搭一个前端项目。引入Transformers.js库，加载模型。核心代码就几行：初始化pipeline，调用`background-removal`任务，传入图片，返回处理结果。
第三步：优化体验。因为模型要首次加载，你得加一个进度条。用Web Worker把推理放在后台线程，避免页面卡死。还可以用IndexedDB缓存模型，第二次访问就不用重新下载了。
第四步：部署上线。这就是最爽的部分了——你只需要把静态文件部署到任意一个静态托管服务上，比如GitHub Pages、Cloudflare Pages，或者用Vercel。没有服务器，没有数据库，没有API密钥，什么都不用管。
有了内容方向，下一步就是建站落地。推荐Hostinger，价格实惠、速度快，中国用户也能轻松购买。即使是无服务器架构，你也需要一个域名和基础的托管服务来展示你的工具站，Hostinger的性价比在同类里很能打。
五、风险与挑战：这技术还缺什么？你得心里有数
任何技术都有它的适用范围，咱们得客观看待。无服务器ML最大的问题就是“模型体积和精度的矛盾”。你为了塞进浏览器，得压缩模型，压缩就有损失。比如一个大语言模型，在服务器上跑7B参数，效果很好；但浏览器里跑个1.5B参数的，明显会笨一些。
其次是用户设备的性能差异。你的工具在MacBook Pro上很流畅，但用户用的是五年前的旧笔记本，可能就卡得不行。你没法控制用户的环境，只能做降级处理——比如检测到设备性能不足时，提示用户或者切换到更小的模型。
还有WebGPU的兼容性问题。虽然Chrome、Edge、Firefox都支持了，但Safari对WebGPU的支持还比较有限。这意味着iPhone用户可能体验不到最佳效果。好在你可以用Wasm作为降级方案，虽然慢一点，但至少能用。
最后，别忽视“模型安全”问题。模型文件放在前端，等于把你的模型架构和权重完全暴露了。如果你的模型是核心竞争力，那这招就行不通。但大部分工具站的模型都是开源的，所以这个风险可控。
六、我的判断：这会是未来三年独立开发者的主流玩法
我从2018年开始关注独立开发圈，见过无数技术浪潮起起落落。我的一个直觉是：无服务器ML不会取代云端AI，但它会成为一个重要的补充。尤其是对于“工具型”产品，它简直是为这个场景量身定做的。
你想啊，工具型产品的特点是：需求明确、使用时间短、用户不愿注册、对隐私敏感。把这些需求翻译成技术方案，就是“无需后端、快速加载、本地处理、用完即走”。这不就是无服务器ML的典型特征吗？
而且，从商业角度看，它的成本结构太健康了。一个工具站，假设每天有1000个用户使用，每次推理成本为零，你的运营成本就是那几块钱的静态托管费。就算你免费开放给所有人用，你也没什么压力。一旦你找到了一个付费点，比如高级功能、去水印、批量处理，那每一分钱都是纯利润。
更妙的是，这种工具站特别适合做“小而美”的产品矩阵。别人一年做一个大产品，你可以一个月做五个小工具，哪个有流量就重点维护哪个。这种策略在以前受限于服务器成本，根本玩不转，但现在完全可行。
我身边已经有一些朋友在尝试了。有人做了一个“视频字幕翻译”工具，模型在浏览器本地跑，字幕实时生成，支持几十种语言。还有人做了一个“简历优化助手”，用本地模型分析你的简历，给出修改建议。他们都验证了一个道理：只要工具足够好用，用户根本不在乎你是跑在服务器还是浏览器里。
七、给你的行动建议：这周就能开始做的事
说了这么多，你肯定不想只是看看热闹。我建议你按下面的步骤，这周就开始动起来。
- 周一：去Hugging Face逛一圈，找一个你感兴趣的小模型（图像分类、文本生成、语音识别都行），看看它的ONNX版本大小。目标：找到体积在100MB以内的模型。
- 周二：搭一个Next.js项目，引入Transformers.js，写一个最简单的demo，让模型能跑起来。不追求界面好看，先打通流程。
- 周三：优化加载体验，加一个进度条，用Web Worker处理推理。顺便测试一下不同设备上的表现。
- 周四：想一个具体的应用场景，把你做的这个模型包装成一个工具。不需要完美，能用就行。
- 周五：部署上线，注册一个域名，把链接发到V2EX、即刻、小红书这些平台，看看有没有人用，听听反馈。
别纠结技术细节，别想着一步到位。先做出一个最小可用版本，跑通整个流程，你就已经比90%的人领先了。剩下的，就是在用户反馈中不断打磨。
最后送你一句话：技术浪潮来的时候，你不需要成为最懂技术的人，只需要成为最先动手的人。无服务器ML的这波红利，现在入场刚刚好。
📖 相关阅读
📢 关于本站
本站所有内容永久免费，没有任何收费项目。
为了维持服务器和内容创作的运营成本，希望你能把本文分享给有需要的朋友——这是对我们最好的支持。
作为回报，持续分享的读者将优先获得更高质量的独家内容和实战资料。