Mac电脑本地部署MLX推理框架，并配置为OpenCode的代码模型

-
1、部署好mlx-lm推理框架
（参看文章：https://frankz1998.blogspot.com/2025/08/macmlx.html）

2、运行模型下载

模型下载的时候最好先登陆huggingface（未登陆用户可能会被限速）

hf auth login 


（mlx-community/Qwen2.5-Coder-7B-Instruct-4bit）

 mlx_lm.generate --model mlx-community/Qwen2.5-Coder-7B-Instruct-4bit --prompt "用 Python 写一个快速排序算法


3、启动本地llm服务

python -m mlx_lm.server --model mlx-community/Qwen2.5-Coder-7B-Instruct-4bit --port 8000


显示下面内容，则表示启动成功：

4、配置OpenCode

设置 -> 服务器 -> 提供商 -> Custom provider

5、点击「连接」进入《自定义提供商》的参数配置页面

基础URL就是第三步中的服务启动地址及端口号

6、在OpenCode里选择本地创建的Code模型






评论

发表评论

此博客中的热门博文

通过命令行在Github上发布项目的新版本

-
在命令行中进入相关项目的文件夹路径： 1、查看当前项目的所有版本信息 git  tag 返回类似： v1.0 v1.2 v2.1 2、把当前的代码修改进行提交操作 git  add   . 3、生成新版本信息 git  commit  -m  "release  v2.3" 4、推送至Github git  push  origin  main 如果报错： 错误：源引用规格 main 没有匹配 错误：无法推送一些引用到‘https://github.com/zhangfanxp/xxx.git’ 则改为执行： git push origin master 5、给本次提交打版本号 git  tag  -a  v2.3  -m  "version v2.3" 6、推送版本标签至github git  push  origin  v2.3 7、查看新版本是否成功提交 git  tag 如果返回： v1.0 v1.2 v2.1 v2.3 则表明新版本已经成功发布到了Github上 =================================== 如果未提前编写 .gitignore 文件，导致很多系统文件，日志文件，导出文件等内容被上传到了github上，可通过下面的方式来进行重新上传，先在项目目录下编写.gitignore文件，再依次执行下面的命令： 保留本地文件，但把 Git 的索引全部清空 git  rm  -r  --cached  . 把“当前目录及其子目录”里发生变化的文件，加入到 Git 的“暂存区（staging area）” git  add  . 把“暂存区（git add 后的内容）”正式保存到 Git 历史中，并写一条提交说明 git  commit  -m  "Clean ignored filed base on v2.x" 把本地 Git 仓库里的 commit（提交记录），上传到github远程仓库 git  push ------------...
阅读全文

利用GitHub免费的静态页面托管空间发布网页

-
图片
A、提前登陆github创建一个 New repository (例如，test01) B、再创建一个新的 token https://github.com/settings/tokens Create New Tokens (classic) ------------------------------------------ 1、编写好网页及相关文件代码（html、css、图片等） 2、使用cd命令进入网页文件夹 3、依次执行git命令： vi .gitignore 写入下面的内容（告诉github哪些文件不用上传）并保存退出。 # 依赖目录 node_modules/ # Next.js 构建产物 .next/ git init git remote add origin https://github.com/zhangfanxp/test01.git git add . git commit -m "Initial commit" git branch -M main 设置翻墙： export https_proxy=http://127.0.0.1:7890 export http_proxy=http://127.0.0.1:7890 确保命令行可以正常翻墙后，再执行： git push -u origin main 提示行中输入用户名（zhangfanxp）和之前创建的token 如果提示错误，运行新的命令： git push https://zhangfanxp@github.com/zhangfanxp/huashu.git 把生成的Token拷贝进来即可（ ghp_QUmhnti****zKy40v4FAa ） 4、设置Github Pages页面： 选择 main 分支，目录选择 /(root) （默认 root） ----------------------------------------- 每次更新后执行： git pull origin main --rebase        (先把远程的文件拉取到本地) git add . git commit -m "Update" git push ----------------------------------------- 等待一分钟左右...
阅读全文

本地部署OpenAvatarChat实时交互数字人系统

-
图片
1、依赖环境： CUDA 12.4 Git LFS UV Ubuntu下在命令行中执行： curl -LsSf https://astral.sh/uv/install.sh | sh 2、代码下载： git clone https://github.com/HumanAIGC-Engineering/OpenAvatarChat.git cd OpenAvatarChat git submodule update --init --recursive 3、创建并激活虚拟环境： uv venv --python 3.11.11 source .venv/bin/activate uv pip install setuptools pip 4、创建环境变量 .env (在阿里百炼上申请一个Api Key) DASHSCOPE_API_KEY='xxxx2222sssdddd' 5、创建SSH证书 bash scripts/create_ssl_certs.sh 6、下载所需的数字人，需在项目文件夹「根目录」下运行： （LiteAvatar数字人） bash scripts/download_liteavatar_weights.sh （LAM数字人） git clone --depth 1 https://www.modelscope.cn/AI-ModelScope/wav2vec2-base-960h.git ./models/wav2vec2-base-960h wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/data/LAM/LAM_audio2exp_streaming.tar -P ./models/LAM_audio2exp/ tar -xzvf ./models/LAM_audio2exp/LAM_audio2exp_streaming.tar -C ./models/LAM_audio2exp && rm ./models/LAM_audio2exp/LAM_audio2exp_streaming.tar （MuseTalk数字人） bash scripts/download_musetalk_weights.sh 7、安...
阅读全文