🦄 Linus Shyu好用工具推荐

我叫林纳斯,来自西宁,目前是一名高二学生。热爱计算机科学,享受动手开发有趣的项目,同时也是一名科技领域的自媒体创作者,乐于分享所学所得。大家可以在B站或YouTube上找到我的频道“Linus Shyu”,那里记录了我的学习与创作点滴。

国庆开了个新坑加Llmmon 由于1月份换了M5 Macbook Pro,之前那台M2 Mac Mini算力完全闲置,而且Cursor太贵了每个月20$对我来说确实可以省下来,我想着有些轻度项目我是不是可以交给我的Mac mini来跑,然后就有了Llmmon Llmmon的设计初衷很简单,有一个可以监看性能的Dashboard一个可以和Local LLM交互的界面,并且要接上读文件,写文件,还有跑Terminal Command,次要的功能为内网穿透和开机自启动,变成一台真正的本地大模型服务器。 由于我的Mac mini配置基本上是丐版,初二买的那会儿太穷了,8 核 CPU(4 性能核 + 4 能效核),16GB 统一内存,内存带宽 100 GB/s,硬盘大约 512GB基本上能够跟M3基础款打平。模型选型最后选了Qwen2 7.6B,现在模型只有脑子,没有手跟脚,于是我魔改了opencode,Mac mini 上的小模型只会吐出普通 JSON 工具调用,proxy.py 把它转成 OpenCode 能识别的 tool_calls 说人话就是之前在cursor上怎么写代码,现在就实现了怎么写。 还有一个问题,我马上要上大学了,而且我经常打黑客松,经常不在家我怎么使用内网的服务呢?所以要解决FRP的问题,不然Dashboard和模型服务用不了,我有一个ClpudFlare的域名,所以我使用了CloudFlare的Tunnel服务,将我的内网服务映射出去,说人话就是我在美国的三番可以使用我在青海家里的Mac Mini上的模型服务。 至此所有的都搞定了,为了让更多人也能在自己的macOS设备上傻瓜式部署自己的模型服务我整理了代码把它变成了一个傻瓜式的脚本,可以几行命令傻瓜安装,我也已经将项目开源到了GitHub,感兴趣的可以看:https://github.com/Linus-Shyu/llmmon
登录并发表评论

评论 · 1