Mac下部署MLX大语言模型推理框架

-
1、创建、激活虚拟环境

uv venv
source .venv/bin/activate

2、安装依赖库

uv pip install sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

3、安装MLX

uv pip install mlx-lm -i https://pypi.tuna.tsinghua.edu.cn/simple

4、下载并运行LLM

mlx_lm.generate --model "mlx-community/Qwen3-14B-4bit-DWQ-053125" --prompt "您好"

5、启动连续对话模式

mlx_lm.chat --model "mlx-community/Qwen3-14B-4bit-DWQ-053125" --max-tokens 4096


对话结束后，输入 q 回车，则退出！

-------------------------------

查看mlx框架的模型列表：

https://huggingface.co/mlx-community/collections


--------------------------------

如果直接从huggingface或hf镜像站拉取模型文件速度慢，可以直接从modelscope阿里的魔搭社区去下载模型，然后再从本地.cache文件夹（隐藏文件夹）内的modelscope文件夹中的hub子文件夹里找到相应的模型文件拷贝到huggingface下的hub文件夹中即可！


------------------------------------------------------------------------------
******模型下载技巧******
------------------------------------------------------------------------------

A、设置huggingface的镜像站：

设置了镜像站之后，就不要再翻墙了，否则速度更慢！

export HF_ENDPOINT=https://hf-mirror.com

B、模型下载：

hf  download  mlx-community/HY-MT2-1.8B






评论

发表评论

此博客中的热门博文

通过命令行在Github上发布项目的新版本

-
在命令行中进入相关项目的文件夹路径： 1、查看当前项目的所有版本信息 git  tag 返回类似： v1.0 v1.2 v2.1 2、把当前的代码修改进行提交操作 git  add   . 3、生成新版本信息 git  commit  -m  "release  v2.3" 4、推送至Github git  push  origin  main 如果报错： 错误：源引用规格 main 没有匹配 错误：无法推送一些引用到‘https://github.com/zhangfanxp/xxx.git’ 则改为执行： git push origin master 5、给本次提交打版本号 git  tag  -a  v2.3  -m  "version v2.3" 6、推送版本标签至github git  push  origin  v2.3 7、查看新版本是否成功提交 git  tag 如果返回： v1.0 v1.2 v2.1 v2.3 则表明新版本已经成功发布到了Github上 =================================== 如果未提前编写 .gitignore 文件，导致很多系统文件，日志文件，导出文件等内容被上传到了github上，可通过下面的方式来进行重新上传，先在项目目录下编写.gitignore文件，再依次执行下面的命令： 保留本地文件，但把 Git 的索引全部清空 git  rm  -r  --cached  . 把“当前目录及其子目录”里发生变化的文件，加入到 Git 的“暂存区（staging area）” git  add  . 把“暂存区（git add 后的内容）”正式保存到 Git 历史中，并写一条提交说明 git  commit  -m  "Clean ignored filed base on v2.x" 把本地 Git 仓库里的 commit（提交记录），上传到github远程仓库 git  push ------------...
阅读全文

利用GitHub免费的静态页面托管空间发布网页

-
图片
A、提前登陆github创建一个 New repository (例如，test01) B、再创建一个新的 token https://github.com/settings/tokens Create New Tokens (classic) ------------------------------------------ 1、编写好网页及相关文件代码（html、css、图片等） 2、使用cd命令进入网页文件夹 3、依次执行git命令： vi .gitignore 写入下面的内容（告诉github哪些文件不用上传）并保存退出。 # 依赖目录 node_modules/ # Next.js 构建产物 .next/ git init git remote add origin https://github.com/zhangfanxp/test01.git git add . git commit -m "Initial commit" git branch -M main 设置翻墙： export https_proxy=http://127.0.0.1:7890 export http_proxy=http://127.0.0.1:7890 确保命令行可以正常翻墙后，再执行： git push -u origin main 提示行中输入用户名（zhangfanxp）和之前创建的token 如果提示错误，运行新的命令： git push https://zhangfanxp@github.com/zhangfanxp/huashu.git 把生成的Token拷贝进来即可（ ghp_QUmhnti****zKy40v4FAa ） 4、设置Github Pages页面： 选择 main 分支，目录选择 /(root) （默认 root） ----------------------------------------- 每次更新后执行： git pull origin main --rebase        (先把远程的文件拉取到本地) git add . git commit -m "Update" git push ----------------------------------------- 等待一分钟左右...
阅读全文

本地部署OpenAvatarChat实时交互数字人系统

-
图片
1、依赖环境： CUDA 12.4 Git LFS UV Ubuntu下在命令行中执行： curl -LsSf https://astral.sh/uv/install.sh | sh 2、代码下载： git clone https://github.com/HumanAIGC-Engineering/OpenAvatarChat.git cd OpenAvatarChat git submodule update --init --recursive 3、创建并激活虚拟环境： uv venv --python 3.11.11 source .venv/bin/activate uv pip install setuptools pip 4、创建环境变量 .env (在阿里百炼上申请一个Api Key) DASHSCOPE_API_KEY='xxxx2222sssdddd' 5、创建SSH证书 bash scripts/create_ssl_certs.sh 6、下载所需的数字人，需在项目文件夹「根目录」下运行： （LiteAvatar数字人） bash scripts/download_liteavatar_weights.sh （LAM数字人） git clone --depth 1 https://www.modelscope.cn/AI-ModelScope/wav2vec2-base-960h.git ./models/wav2vec2-base-960h wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/data/LAM/LAM_audio2exp_streaming.tar -P ./models/LAM_audio2exp/ tar -xzvf ./models/LAM_audio2exp/LAM_audio2exp_streaming.tar -C ./models/LAM_audio2exp && rm ./models/LAM_audio2exp/LAM_audio2exp_streaming.tar （MuseTalk数字人） bash scripts/download_musetalk_weights.sh 7、安...
阅读全文