Ubuntu部署DeepSeek-OCR大语言模型
1、拉取项目文件
git clone https://github.com/deepseek-ai/DeepSeek-OCR.git
2、进入项目文件
cd DeepSeek-OCR
3、创建并激活虚拟环境
uv venv --python 3.12.9 && source .venv/bin/activate
4、下载vllm 0.8.5
wget https://github.com/vllm-project/vllm/releases/download/v0.8.5/vllm-0.8.5+cu118-cp38-abi3-manylinux1_x86_64.whl
5、安装依赖库
uv pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118
uv pip install vllm-0.8.5+cu118-cp38-abi3-manylinux1_x86_64.whl
uv pip install -r requirements.txt
uv pip install flash-attn==2.7.3 --no-build-isolation
uv pip install modelscope
6、模型下载(进入DeepSeek-OCR-vllm目录)
cd DeepSeek-OCR-master/DeepSeek-OCR-vllm/
mkdir -p deepseek-ai/DeepSeek-OCR
modelscope download --model deepseek-ai/DeepSeek-OCR --local_dir ./deepseek-ai/DeepSeek-OCR
7、创建输入、输出文件夹,并将要识别的图片放入input文件夹内
mkdir csw-images-inputs
mkdir csw-images-outputs
scp 1.png frank1999@192.168.10.153:~/env/DeepSeek-OCR/DeepSeek-OCR-master/DeepSeek-OCR-vllm/csw-images-inputs/
8、修改配置文件
vi config.py
修改24,25行内的文字:
INPUT_PATH = ''
OUTPUT_PATH = ''
改为:
INPUT_PATH = 'csw-images-inputs/1.png'
OUTPUT_PATH = 'csw-images-outputs'
9、运行命令
python run_dpsk_ocr_image.py
10、进入csw-images-outputs文件夹内查看OCR后的效果
result.mmd 就是识别后最终生成的MarkDown格式的文件
评论
发表评论