最适合使用 Ollama 本地运行的效果最好的 LLM 模型

前言 以往想离线运行 LLM 模型,离不开大显存的显卡,还需要手动下载和管理 LLM 模型,推理环境也需要比较繁杂的安装配置,例如安装驱动、安装依赖,有些方案还需要自己执行编译命令。 这一切都非常耗时,哪怕是经验丰富的人也会觉得繁琐。 但是现在 Ollama 的出现让这一切都变得更简单,只需要一条命令即可在本地运行模型: ➜ ollama run openchat >>> Send a message (/? for help) 正因为它的操作如此简便,将复杂的安装和准备环节封装成简单的命令,Ollama 可以称为 LLM 模型版本的 Docker。 介绍 它可以大幅度简化 LLM 的安装、运行、环境配置,你只需要选择一个合适的本地模型,再配合 OpenWebUI 这个前台服务可以达到低配版 ChatGPT Plus 的效果。可以生成图片、可使用 RAG 来索引本地的文件、还可以生成类似 GPTs 的针对特定任务的模型配置。 ...

三月 27, 2024 · 4 分钟 · 1532 字 · Jiale Liu

我偶然发现的被忽视的省钱秘诀

前言 写本文的原因是最近做了一些事情,省了大概 5000 块。数一下发现生活中还有很多事情可以省钱,而可能很多人会忽略掉。因此将我的省钱方法汇总成文,分享给大家。 清点闲置账户、闲置物品 工作一段时间后,不知不觉中会有很多闲置的账户,这些账户可能是理发店的会员卡、很久不用的公交卡,食堂饭卡等等,这其中可能有一些被遗忘的资金。 另外我有一些吃灰许久的游戏机,甚至很多游戏卡带买回来就没有玩过。由于数量不少,人的精力是无法支持同时玩这么多游戏机的,摆在那里只是满足了拥有的感觉。 ...

三月 27, 2024 · 5 分钟 · 2497 字 · Jiale Liu

Miyoo Mini Plus 黑屏变砖怎么办?问题分析和修复方法

前言 Miyoo Mini Plus 是一款造型小巧可爱的复古掌机,能够游玩 GBA 等多种复古平台的游戏。 买过 Miyoo Mini Plus 的偶尔会碰到开机时黑屏,最终无法开机的情况。我最近也碰到了这个问题,本文意图收集互联网上相关的资料,减少大家的查询时间。 注意:本文仅仅是一个方法汇总,我自己尝试失败了已经走售后了,主要是没有多余的 SD 卡能成功刷机 现象 首先检查机器状态是否符合以下情况。 在未插电源的情况下,现在状态应该是屏幕黑屏,没有声音也没有画面,顶部最右侧的灯亮。那么我们先长按电源键 10 秒强制关机,进行下一条操作 在关机状态下,保持 SD 卡插入,并插入电源。如果观察到机器顶部三个灯中,最左侧和最右侧灯都亮,但是屏幕持续黑屏,没有画面也没有 LOGO。基本可以判断是变砖了 接着判断在无 SD 卡的情况下的启动情况。先强制关机,再把 SD 卡拔掉,然后插上电源,看是不是仍然没有启动画面 如果能看到有画面,但是不断地重启,并且你的机器已经刷过 OniunOS,并且启用了开机时自动开启游戏的功能,导出出现了启动循环,请参考 OnionOS 的文档。 如果确定是砖了,我们进入到下一节,简单解释下这个问题的原因和解决思路 ...

一月 29, 2024 · 3 分钟 · 1494 字 · Jiale Liu

在 2024 年每个月给开源项目捐赠 20 美元

TL:DR; 使用 ChatGPT 绘制的捐赠图片 作者设立了一个每月 20 美元的预算,用于贡献给自己经常使用、能够节省时间、或者有重大意义的开源项目。钱虽然不多,也是一种用真金白银来鼓励开源软件作者的行为,最终目的是促进社区繁荣。 问题 想要参与开源社区,但是不知道从何开始 很多人觉得自由开源软件是一个很好的事情,却不知道如何去参与这个社区,因为参与一个长期维护的项目还是比较困难的,而且开源软件的项目特别多,很多人会在参与开源社区这件事情上无从下手,不知道该怎么做。 ...

一月 3, 2024 · 6 分钟 · 2640 字 · Jiale Liu

【ARTS 周刊】第六期:欲买桂花同载酒,终不似,少年游

零、碎碎念 芦叶满汀洲,寒沙带浅流。二十年重过南楼。柳下系船犹未稳,能几日,又中秋。 黄鹤断矶头,故人今在否?旧江山浑是新愁。欲买桂花同载酒,终不似,少年游。 《唐多令·芦叶满汀洲》──宋代刘过 最近做了几件事情: 0.1 在 MacBook Pro 上把微信删除了 不删不知道,一下就空出来 18G 的空间,又能愉快地写代码了。一开始有删除的想法,是因为想要在工作时专心干活,保持效率,最终达成浓缩工作时间快速完成当天工作目标,早点下班。 最后发现还是得把微信安装上,因为在手机上回复消息太慢了,只是需要控制打开微信的时间。隔 1 小时左右打开微信批量回复一下,再关掉接着做下一个任务。 ...

十月 8, 2023 · 2 分钟 · 978 字 · Jiale Liu

【ARTS 周刊】第五期:人生天地间,忽如远行客

零、碎碎念 我们时代的问题是,在第二等重要的事情上聪明,在头等重要的事情上全然无知;在小事上理智而冷静,在大事上像个疯子在赌博。我们零售的是理智,批发的是疯狂。 ──列奥·施特劳斯《自然权利与历史》 我想人的确是会在某个时间点上意识到,人生可以在长达五到十年的尺度上演化。 阿里系企业常常有一个员工入职时长的纪念日,所谓“三年陈,五年醇”。这是时间在职场上的尺度。 惊闻以前高中同学因为抑郁症离世,这才发觉死亡已经逐步逼近。假设人生有百年时光,我可能已经走了三分之一了。 ...

八月 29, 2023 · 7 分钟 · 3420 字 · Jiale Liu

如何使 H5 页面跳出微信客户端自动在默认浏览器中打开

TL:DR; 我们的一个业务流程需要通过微信来传播,用户收到分享卡片后点击后需要在系统浏览器中打开。这个过程会比较长。因此我们用一个 hack 技巧让 H5 页面自动跳出 Android 微信客户端。 问题 试想你作为一名用户,在微信上收到一个链接后需要点击 4 次以上才能真正打开页面,会不会觉得非常烦躁。我们可以说这个操作步骤的成本比较高,对产品体验影响比较大。因此前端对于复杂操作是需要尽可能避免的。 光看文字可能还不够直接,下面我们以一个微信 H5 支付场景举例,整个操作流程如下: ...

八月 24, 2023 · 4 分钟 · 1581 字 · Jiale Liu

Steam Deck 的风扇线究竟应该放哪里?

TL:DR; 令人疑惑的"没有被压在屏防护板下面"的配图 参照 iFixit 维修指南 给 Steam Deck 换固态硬盘后,需要重新组装机器,但是维修手册上对其中的风扇线的位置不是很明确,令人十分困惑。本文旨在探讨风扇线究竟应该放在屏蔽罩上方还是下方。 问题 我按照 Steam Deck SSD 更換 - iFixit 维修指南 给 Steam Deck 换固态硬盘后,最终需要按照手册将机器重新组装起来。但是我发现他们的网站上对此有个令人困惑的说法: ...

八月 22, 2023 · 3 分钟 · 1310 字 · Jiale Liu

【ARTS 周刊】第四期:今我来思,雨雪霏霏

零、碎碎念 赛博朋克 2077 世界的特点是高科技低生活,也有人说那是一个科技前所未有的强大,但生命却前所未有的低贱的时代。人变成了公司人,生老病死都由“公司”控制,还未出生便背负上了永远也偿还不清的原罪。 公司人失去工作就无法生存,离开了公司就寸步难行。不得不被债务异化成工具,从身体到灵魂都被肆意改造、扭曲。思想受到层层检视,精力被利用到极致。每天重复着上班、下班、娱乐、睡觉的循环,像是一只蹬着跑轮的仓鼠,永无休止直到计划报废的那一天。 ...

八月 9, 2023 · 10 分钟 · 4887 字 · Jiale Liu

【ARTS 周刊】第三期:氓之蚩蚩,抱布贸丝

零、碎碎念 很多公司都会要求员工有 OwnerShip。第一次听到这个说法时会觉得很疑惑:我其实并不“拥有”我负责的项目,我也无法决定业务的走向,更无法直接从业务中拿到收益,而且我都换了好几条业务线了,说让你换就得换,根本就不不归我所有的东西,怎么会有期望有 Owner 意识呢? 后来想到这可能仅仅是一种责任分配的方式,是一种激发员工主动性的管理方法。但是对打工人来说,在工作中增强自己的能力,积累资本,增加自身在整个职场中的竞争力才是最重要的,只有这样才能实现员工和公司双赢。 ...

七月 24, 2023 · 4 分钟 · 1730 字 · Jiale Liu