目录
方式一【docker安装】:
步骤 1:准备工作
步骤2: 克隆dify仓库
步骤3:部署启动dify
步骤 4:访问 Dify
步骤5:升级dify
方式二【源码安装】:
步骤1. 硬件:最低安装要求
步骤2: 业务服务前的3个服务
1. 安装工具:
2. 安装redis,wget,nginx,nodejs,npm等必备工具
3. 启动服务
步骤3: Clone Dify 代码:
步骤4: 启动前端,后端,和worker
步骤5:配置代理nginx
踩坑记录:
踩坑: pyenv
踩坑:poetry工具
poetry install时一直提示Cannot install alibabacloud-tea因为 _cffi_backend找不到
安装onnxruntime错误
Installing grpcio (1.67.1): Failed TimeoutError
踩坑: flask、postgreSQL
1. flask不存在:
2. postgreSQL Connection refused:postgresql没有配置用户密码,也没有启动服务
解决办法:
踩坑:root未定义
Dify 是一个让你轻松构建 AI 应用的开源平台,简单来说就是给开发者打造的一站式AI应用开发工具。它主要有以下几个特点:
- 简单直观:你可以通过图形界面来创建和调试 AI 应用,几分钟就能发布。
- 上下文集成:可以用你自己的数据来进行文本预处理,无需深入了解技术细节。
- API 访问:提供后台服务,直接访问 Web 应用或将 API 集成到你的项目中,不用担心复杂的后台架构和部署问题。
- 数据优化:通过图形界面查看 AI 的运行日志,改进数据标注,不断提升 AI 的表现。
Dify 兼容 Langchain,支持多种大语言模型(LLM)。目前支持的模型供应商包括 OpenAI、Azure OpenAI、Anthropic、Replicate、Hugging Face、ChatGLM、Llama2、MiniMax、讯飞星火、文心一言和通义千问等。
换句话说,Dify 就是一个帮你快速、高效地开发和优化 AI 应用的万能工具箱。
方式一【docker安装】:
步骤 1:准备工作
确保你已经安装了 Docker 和 Docker Compose。如果没有,请先安装:
- Docker:可以从 Docker 官方网站(https://www.docker.com/get-started) 下载并安装适合你操作系统的版本。
- Docker Compose:一般 Docker 会自带 Docker Compose,如果没有,你可以按照 Docker Compose 安装指南(https://docs.docker.com/compose/install/) 进行安装。
Docker的安装不需要说了,双击安装文件就行。已经安装docker的情况下,安装Docker Compose,可以在终端输入下面的命令(如果不起作用,你需要安装一下 Homebrew):
brew install docker-compose
Dify本地安装可以用docker方式,和源码编译方式。
步骤2: 克隆dify仓库
安装dify并启动:git clone https://github.com/langgenius/dify.git
用“访达”打开一个桌面建立一个dify文件夹,然后双击以后就可以直接使用:
git clone https://github.com/langgenius/dify.git
它的效果等同于:
cd ~/Desktopmkdir dify # 其中,mkdir是“make directory”的缩写。
cd dify
git clone https://github.com/langgenius/dify.git
步骤3:部署启动dify
# 进入 dify 源代码的 docker 目录,配置nginx端口,执行一键启动命令
cd dify/docker
export EXPOSE_NGINX_PORT=8080
docker compose up -d
启动后docker ps 可以看到以下容器
netstat -natp可以看到docker监听的端口是8080,设置安全组开发8080端口
访问 http://虚拟机ip:8080 根据情况输邮箱,用户名,密码 完成本地注册可以开始使用
等上一会儿你就会发现部署结果:
[+] Running 9/9
✔ Container docker-web-1 Started 1.0s
✔ Container docker-redis-1 Started 1.1s
✔ Container docker-weaviate-1 Started 0.9s
✔ Container docker-db-1 Started 0.0s
✔ Container docker-worker-1 Started 0.7s
✔ Container docker-api-1 Started 0.8s
✔ Container docker-nginx-1 Started 0.7s
✔ Container docker-sandbox-1 Started 0.7s
✔ Container docker-ssrf_proxy-1 Started 0.8
用下面的命令检查一下是不是正常运行:
docker compose ps
你也可以打开docker的桌面应用,看看里面容器运行情况。
步骤 4:访问 Dify
在浏览器输入框里输入:localhost/install,这是为了完成 Dify 的初始配置的。
稍等一会儿,就大功告成了。
步骤5:升级dify
进入 dify 源代码的 docker 目录,按顺序执行以下命令:cd dify/docker
git pull origin main
docker compose down
docker compose pull
docker compose up -d
- 如果发现其他问题,建议直接GPT来解决。比如说端口冲突,还有环境变量错误之类的。实在不行,把容器什么的都删除,按照流程重来一遍。
- 为什么有了Docker客户端了,还要用Docker Compose,是不是多此一举?要知道如果你下载其他GitHub项目很多的话,用`docker run`这种命令也可以安装。这个就必须说Docker,它最大的强项是把软件所有依赖都打包到了里头,所以运行一个复杂的小项目会省掉很多本地配置。Docker 可以有效管理单个容器,但当你需要管理一个包含多个容器的复杂应用时,Docker Compose 就显得尤为重要了。尤其我们初学者,如果你一开始的时候,总是使用`docker run`这种命令,你会在docker里面迷失的,会觉得难受。而Docker Compose就很舒服了。
Docker Compose实际上是围绕一个docker-compose.yml 文件工作的,举个例子:
# 没有Docker Compose的时候,你需要通过终端输入很多指令,一条一条run:
docker run -d --name db postgres
docker run -d --name web --link db:db my-web-app
# 但是你如果有docker-compose.yml 文件,如果像上面跑的数据库和后端服务,一般里面是这样的:
version: '3'
services:db:image: postgresenvironment:POSTGRES_PASSWORD: exampleweb:image: my-web-appdepends_on:- dbports:- "8000:8000"
# 直接输入下面的指令就好:
docker compose up# 下载完dify客户端以后,在docker的文件下面执行的就是这个命令:
docker compose up -d
这里的`-d`,指的是`启动`,它是 detach 的缩写,表示让容器在后台运行。使用`-d`选项运行容器时,命令会立即返回,你的终端不会被容器的输出占用,这样你可以继续在同一个终端会话中执行其他命令。
方式二【源码安装】:
步骤1. 硬件:最低安装要求
安装 Dify 之前, 请确保你的机器已满足最低安装要求:CPU >= 2 Core,RAM >= 4 GiB
源码安装主要可以参考文档:dify官网中文安装说明
步骤2: 业务服务前的3个服务
官网给的安装说明中只说了可以用docker启动这3个服务: PostgreSQL / Redis / Weaviate
cd docker
cp middleware.env.example middleware.env
docker compose -f docker-compose.middleware.yaml up -d
在启用业务服务之前,我们需要先部署 PostgreSQL / Redis / Weaviate(如果本地没有的话),那么如果没有docker,或者不想用docker怎么做呢?
1. 安装工具:
Linux:用apt-get安装,
sudo apt-get update
2. 安装redis,wget,nginx,nodejs,npm等必备工具
#安装pg redis
sudo apt install redis-server wget postgresql postgresql-client -ysudo apt install nginx nodejs npm -ysudo wget https://github.com/weaviate/weaviate/releases/download/v1.27.12/weaviate-v1.27.12-linux-amd64.tar.gzsudo tar -zxf weaviate-v1.27.12-linux-amd64.tar.gz#安装向量数据库
sudo chmod +x weaviatesudo mv weaviate /opt
设置数据库密码:修改/etc/redis/redis.conf,添加:requirepass difyai123456
3. 启动服务
# 启动redis:service redis-server start# 启动pg:service postgresql start # 修改pg密码:su - postgrespsqlCREATE DATABASE dify;ALTER USER postgres WITH PASSWORD 'difyai123456';quit;# 启动weaviate:export PERSISTENCE_DATA_PATH=/var/lib/weaviate
export QUERY_DEFAULTS_LIMIT=25
export AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED=false
export DEFAULT_VECTORIZER_MODULE=none
export CLUSTER_HOSTNAME=node1
export AUTHENTICATION_APIKEY_ENABLED=true
export AUTHENTICATION_APIKEY_ALLOWED_KEYS=WVF5YThaHlkYwhGUSmCRgsX3tD5ngdN8pkih
export AUTHENTICATION_APIKEY_USERS=hello@dify.ai
export AUTHORIZATION_ADMINLIST_ENABLED=true
export AUTHORIZATION_ADMINLIST_USERS=hello@dify.aicd /opt
nohup ./weaviate --host 0.0.0.0 --port '8080' --scheme http |tee ./weaviate.log 2>&1 &
MAC:用brew安装,brew最好设置国内镜像
brew install postgresql
步骤3: Clone Dify 代码:
git clone
https://github.com/langgenius/dify.git
再按照文档进行源码安装,文档中如果执行poetry shell失败的话以下命令要带上poetry run,否则会报错
poetry run flask db upgrade
步骤4: 启动前端,后端,和worker
启动前端
#启动前端
export NEXT_PUBLIC_DEPLOY_ENV=DEVELOPMENT
export NEXT_PUBLIC_EDITION=SELF_HOSTED
export NEXT_PUBLIC_API_PREFIX=/console/api #不设置默认访问http://localhost/console/api
export NEXT_PUBLIC_PUBLIC_API_PREFIX=/api #不设置默认访问http://localhost/api
export NEXT_PUBLIC_SENTRY_DSN=
export NEXT_TELEMETRY_DISABLED=1
export NEXT_PUBLIC_UPLOAD_IMAGE_AS_ICON=false
export NEXT_PUBLIC_TEXT_GENERATION_TIMEOUT_MS=60000
export NEXT_PUBLIC_CSP_WHITELIST=
export NEXT_PUBLIC_TOP_K_MAX_VALUE=10
export NEXT_PUBLIC_INDEXING_MAX_SEGMENTATION_TOKENS_LENGTH=4000
nohup npm run start &
启动worker
#启动worker
#start backend
export CONSOLE_API_URL=
export APP_API_URL=
export WEB_SENTRY_DSN=
export NEXT_TELEMETRY_DISABLED=0
export TEXT_GENERATION_TIMEOUT_MS=60000
export CSP_WHITELIST=
export TOP_K_MAX_VALUE=10
export INDEXING_MAX_SEGMENTATION_TOKENS_LENGTH=4000
cd /app/dify/api
nohup poetry run celery -A app.celery worker -P gevent -c 1 -Q dataset,generation,mail,ops_trace --loglevel INFO ./celery.log 2>&1 &
启动后端
nohup poetry run flask run --host 0.0.0.0 --port=5001 --debug |tee ./backend.log 2>&1 &
步骤5:配置代理nginx
这样跑起来只适合本机访问,如果要从公网访问还要加一层nginx,我们在前面已安装nginx,这里我们就配置nginx,让其可以代理访问dify
修改/etc/nginx/nginx.conf如下:
user www-data;
worker_processes auto;
pid /run/nginx.pid;
error_log /var/log/nginx/error.log;
include /etc/nginx/modules-enabled/*.conf;events {worker_connections 768;# multi_accept on;
}http {include /etc/nginx/mime.types;default_type application/octet-stream;log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';access_log /var/log/nginx/access.log main;sendfile on;#tcp_nopush on;keepalive_timeout 65;#gzip on;client_max_body_size 15M;include /etc/nginx/conf.d/*.conf;
}
修改文件 /etc/nginx/conf.d/default.conf
server {listen 8080;server_name _;location /console/api {proxy_pass http://127.0.0.1:5001;}location /api {proxy_pass http://127.0.0.1:5001;}location /v1 {proxy_pass http://127.0.0.1:5001;}location /files {proxy_pass http://127.0.0.1:5001;}location / {proxy_pass http://127.0.0.1:3000;}}
AI写代码
重启nginx:systemctl restart nginx
通过命令netstat -natp 确认nginx确实监听8080端口
访问 http://虚拟机ip:8080 后续页面访问同方式一
踩坑记录:
踩坑: pyenv
Pyenv下载包非常慢,直接用官网的python包安装python
踩坑:poetry工具
-
poetry install时一直提示Cannot install alibabacloud-tea因为 _cffi_backend找不到
-
错误ERROR: Invalid requirement: '_cffi_backend': Expected package name at the start of dependency specifier: _cffi_backend。
-
解决办法:一定要用poetry安装cffi包才行,
poetry add cffi
-
-
安装onnxruntime错误
-
信息: Installing onnxruntime (1.21.0): Failed
-
解决办法:版本不对,用pip安装能成功,pip install onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple/,查到对应的安装成功的版本是1.19.2,指定版本安装即可
poetry add onnxruntime@1.19.2
-
-
Installing grpcio (1.67.1): Failed TimeoutError
错误:The read operation timed out,在api目录下pyproject.toml项目最后添加对应的国内镜像
-
并执行[[tool.poetry.source]] name = "tuna" url = "https://pypi.tuna.tsinghua.edu.cn/simple/
poetry lock
,重新执行poetry install
踩坑: flask、postgreSQL
1. flask不存在:
解决:执行这个命令直接说flask不存在,根据上面步骤继续执行poetry add flask
,然后再次执行
2. postgreSQL Connection refused:postgresql没有配置用户密码,也没有启动服务
sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) connection to server at "localhost" (::1), port 5432 failed: Connection refused Is the server running on that host and accepting TCP/IP connections? connection to server at "localhost" (127.0.0.1), port 5432 failed: Connection refused Is the server running on that host and accepting TCP/IP connections?
解决办法:
psql --version
查询到数据库已有安装
psql (PostgreSQL) 14.17 (Homebrew)用brew install安装过了
initdb /usr/local/var/postgres,初始化数据库
pg_ctl -D /usr/local/var/postgres -s -o "-s" start
在mac上安装了postgresql。在安装过程中,我没有被问到postgresql的密码。 这很正常,因为brew
不需要或创建任何postgres
帐户。PostgreSQL进程在您自己的帐户下运行。有关信息,请参见brew info postgres
的输出。 要创建新的数据库帐户,您可以从自己的操作系统帐户启动: /usr/local/bin/createdb postgres
提示数据库已存在(使用以下命令进入到数据库中) 在psql中: /usr/local/bin/psql -d postgres
然后作为SQL命令:CREATE USER postgres PASSWORD 'yourpassword';
这应该可以工作,因为brew通常在initdb
时间创建:
-
一个数据库超级用户帐户,与您的操作系统帐户具有相同的登录名(在您的情况下似乎是xx)
-
名为
postgres
的数据库,可用于记录管理任务(如创建用户)的信息。
创建好用户,还没完成,还需要有这个数据库dify
/usr/local/bin/psql -d postgres
进入psql,创建数据库dify
/usr/local/bin/createdb dify
sqlalchemy.exc.ProgrammingError: (psycopg2.errors.InsufficientPrivilege) permission denied to create extension "uuid-ossp" HINT: Must have CREATE privilege on current database to create this extension.
/usr/local/bin/psql -d postgres -- 进入psql
ALTER USER postgres CREATEDB; -- 创建数据库权限
GRANT CONNECT ON DATABASE dify TO postgres; --连接数据权限
GRANT CREATE ON DATABASE dify TO postgres; -- 数据库的创建权限
CREATE ROLE admin WITH CREATEDB CREATEROLE; -- 角色和库创建权限
GRANT admin TO postgres; --授予admin权限给postgres
\q
再次执行poetry run flask db upgrade
终于成功了
踩坑:root未定义
poetry run flask run --host 0.0.0.0 --port=5001 --debug
File "/Users/xx/Desktop/xx/dify/api/extensions/ext_storage.py", line 31, in <lambda>return lambda: OpenDALStorage(dify_config.OPENDAL_SCHEME)^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^File "/Users/xx/Desktop/xx/dify/api/extensions/storage/opendal_storage.py", line 37, in __init__self.op = opendal.Operator(scheme=scheme, **kwargs) # type: ignore^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
opendal.exceptions.ConfigInvalid: ConfigInvalid (permanent) at => root is not specified
找到文件:api/extensions/storage/opendal_storage.py
注释修改代码行:
# self.op = opendal.Operator(scheme=scheme, **kwargs) type: ignore
self.op = opendal.Operator(scheme=scheme,
root='/Users/xx/Desktop/xx/dify/api/storage')