mirror of
https://github.com/labring/FastGPT.git
synced 2025-12-25 20:02:47 +00:00
New document (#5299)
* add new doc (#5175) Co-authored-by: dreamer6680 <146868355@qq.com> * Test docs (#5235) * fix: change the page of doc * chore: add new dependencies, update global styles/layout, optimize docs, add Feishu & GitHub icons, update API examples * fix: docs/index 404 not found * Update environment variable names, optimize styles, add new API routes, fix component styles, adjust documentation, and update GitHub and Feishu icons * update readme * feat: add a linkfastgpt compontent * feat: update new doc * fix:remove unuse page and redirect homepage to docs (#5288) * fix：remove some unuse doc * fix: redirect homepage to doc * git ignore * fix:navbar to index (#5295) * sidbar * fix: navtab unlight (#5298) * doc --------- Co-authored-by: dreamer6680 <1468683855@qq.com> Co-authored-by: dreamer6680 <146868355@qq.com>
This commit is contained in:
Archer
GitHub
parent
ce9ec1bf57
commit
fe7abf22a9
|
|
@ -1,75 +1,80 @@
|
|||
name: Preview FastGPT docs
|
||||
|
||||
name: Preview documents
|
||||
on:
|
||||
pull_request_target:
|
||||
paths:
|
||||
- 'docSite/**'
|
||||
- 'document/**'
|
||||
workflow_dispatch:
|
||||
|
||||
# A workflow run is made up of one or more jobs that can run sequentially or in parallel
|
||||
jobs:
|
||||
# This workflow contains jobs "deploy-production"
|
||||
deploy-preview:
|
||||
build-fastgpt-docs-images:
|
||||
runs-on: ubuntu-latest
|
||||
|
||||
permissions:
|
||||
contents: read
|
||||
packages: write
|
||||
attestations: write
|
||||
id-token: write
|
||||
pull-requests: write
|
||||
# The environment this job references
|
||||
environment:
|
||||
name: Preview
|
||||
url: ${{ steps.vercel-action.outputs.preview-url }}
|
||||
|
||||
# The type of runner that the job will run on
|
||||
runs-on: ubuntu-24.04
|
||||
|
||||
# Job outputs
|
||||
outputs:
|
||||
url: ${{ steps.vercel-action.outputs.preview-url }}
|
||||
|
||||
# Steps represent a sequence of tasks that will be executed as part of the job
|
||||
steps:
|
||||
# Step 1 - Checks-out your repository under $GITHUB_WORKSPACE
|
||||
- name: Checkout
|
||||
uses: actions/checkout@v4
|
||||
|
||||
- name: Docker meta
|
||||
id: meta
|
||||
uses: docker/metadata-action@v5
|
||||
with:
|
||||
# list of Docker images to use as base name for tags
|
||||
images: |
|
||||
${{ secrets.ALI_IMAGE_NAME }}//fastgpt-docs
|
||||
tags: |
|
||||
${{ steps.datetime.outputs.datetime }}
|
||||
flavor: latest=false
|
||||
|
||||
- name: Set up QEMU
|
||||
uses: docker/setup-qemu-action@v3
|
||||
|
||||
- name: Set up Docker Buildx
|
||||
uses: docker/setup-buildx-action@v3
|
||||
|
||||
- name: Login to Aliyun
|
||||
uses: docker/login-action@v3
|
||||
with:
|
||||
registry: registry.cn-hangzhou.aliyuncs.com
|
||||
username: ${{ secrets.ALI_HUB_USERNAME }}
|
||||
password: ${{ secrets.ALI_HUB_PASSWORD }}
|
||||
|
||||
- name: Build and push Docker images
|
||||
uses: docker/build-push-action@v5
|
||||
with:
|
||||
context: .
|
||||
file: ./document/Dockerfile
|
||||
push: true
|
||||
tags: ${{ steps.meta.outputs.tags }}
|
||||
labels: ${{ steps.meta.outputs.labels }}
|
||||
build-args: |
|
||||
NEXT_PUBLIC_SEARCH_APPKEY=c4708d48f2de6ac5d2f0f443979ef92a
|
||||
NEXT_PUBLIC_SEARCH_APPID=HZAF4C2T88
|
||||
NEXT_PUBLIC_DOMAIN=https://vzldqobwbwna.sealoshzh.site
|
||||
outputs:
|
||||
tags: ${{ steps.datetime.outputs.datetime }}
|
||||
|
||||
update-docs-image:
|
||||
needs: build-fastgpt-docs-images
|
||||
runs-on: ubuntu-24.04
|
||||
if: github.repository == 'labring/FastGPT'
|
||||
steps:
|
||||
- name: Checkout code
|
||||
uses: actions/checkout@v3
|
||||
- uses: actions-hub/kubectl@master
|
||||
env:
|
||||
KUBE_CONFIG: ${{ secrets.KUBE_CONFIG }}
|
||||
with:
|
||||
ref: ${{ github.event.pull_request.head.ref }}
|
||||
repository: ${{ github.event.pull_request.head.repo.full_name }}
|
||||
submodules: recursive # Fetch submodules
|
||||
fetch-depth: 0 # Fetch all history for .GitInfo and .Lastmod
|
||||
token: ${{ secrets.GITHUB_TOKEN }}
|
||||
|
||||
# Step 2 Detect changes to Docs Content
|
||||
- name: Detect changes in doc content
|
||||
uses: dorny/paths-filter@v2
|
||||
id: filter
|
||||
args: set image deployment/fastgpt-docs-preview fastgpt-docs-preview=${{ secrets.ALI_IMAGE_NAME }}//fastgpt-docs:${{ needs.build-fastgpt-docs-images.outputs.tags }}
|
||||
- uses: actions-hub/kubectl@master
|
||||
env:
|
||||
KUBE_CONFIG: ${{ secrets.KUBE_CONFIG }}
|
||||
with:
|
||||
filters: |
|
||||
docs:
|
||||
- 'docSite/content/docs/**'
|
||||
base: main
|
||||
|
||||
# Step 3 - Install Hugo (specific version)
|
||||
- name: Install Hugo
|
||||
uses: peaceiris/actions-hugo@v2
|
||||
with:
|
||||
hugo-version: '0.117.0'
|
||||
extended: true
|
||||
|
||||
# Step 4 - Builds the site using Hugo
|
||||
- name: Build
|
||||
run: cd docSite && hugo mod get -u github.com/colinwilson/lotusdocs@6d0568e && hugo -v --minify
|
||||
|
||||
# Step 5 - Push our generated site to Cloudflare
|
||||
- name: Deploy to Cloudflare Pages
|
||||
id: deploy
|
||||
uses: cloudflare/wrangler-action@v3
|
||||
with:
|
||||
apiToken: ${{ secrets.CLOUDFLARE_API_TOKEN }}
|
||||
accountId: ${{ secrets.CLOUDFLARE_ACCOUNT_ID }}
|
||||
command: pages deploy ./docSite/public --project-name=fastgpt-doc
|
||||
packageManager: npm
|
||||
args: annotate deployment/fastgpt-docs-preview originImageName="${{ secrets.ALI_IMAGE_NAME }}//fastgpt-docs:${{ needs.build-fastgpt-docs-images.outputs.tags }}" --overwrite
|
||||
|
||||
- name: '@finleyge/github-tools'
|
||||
uses: FinleyGe/github-tools@0.0.1
|
||||
|
|
@ -81,5 +86,5 @@ jobs:
|
|||
title: 'Docs Preview:'
|
||||
body: |
|
||||
```
|
||||
🔗 Preview URL: ${{deploymentUrl}}
|
||||
🔗 Preview URL: https://vzldqobwbwna.sealoshzh.site
|
||||
```
|
||||
|
|
|
|||
|
|
@ -45,3 +45,4 @@ files/helm/fastgpt/charts/*.tgz
|
|||
|
||||
tmp/
|
||||
coverage
|
||||
document/.source
|
||||
|
|
@ -0,0 +1,24 @@
|
|||
# 开发环境文件
|
||||
.git
|
||||
.gitignore
|
||||
.env*
|
||||
.next
|
||||
node_modules
|
||||
|
||||
# Docker 相关
|
||||
Dockerfile
|
||||
.dockerignore
|
||||
|
||||
# 其他
|
||||
README.md
|
||||
*.log
|
||||
.DS_Store
|
||||
|
||||
# 缓存文件
|
||||
.cache
|
||||
.npm
|
||||
.pnpm-store
|
||||
|
||||
# IDE 配置
|
||||
.vscode
|
||||
.idea
|
||||
|
|
@ -0,0 +1,4 @@
|
|||
NEXT_PUBLIC_SEARCH_APPKEY=
|
||||
NEXT_PUBLIC_SEARCH_APPWRITEKEY=
|
||||
NEXT_PUBLIC_SEARCH_APPID=
|
||||
NEXT_PUBLIC_DOMAIN=
|
||||
|
|
@ -0,0 +1,51 @@
|
|||
FROM node:20-alpine AS base
|
||||
|
||||
FROM base AS builder
|
||||
RUN apk add --no-cache \
|
||||
libc6-compat \
|
||||
git \
|
||||
build-base \
|
||||
g++ \
|
||||
cairo-dev \
|
||||
jpeg-dev \
|
||||
pango-dev \
|
||||
giflib-dev \
|
||||
librsvg-dev \
|
||||
freetype-dev \
|
||||
harfbuzz-dev \
|
||||
fribidi-dev \
|
||||
udev \
|
||||
ttf-opensans \
|
||||
fontconfig
|
||||
WORKDIR /app
|
||||
|
||||
ARG NEXT_PUBLIC_SEARCH_APPKEY
|
||||
ARG NEXT_PUBLIC_SEARCH_APPID
|
||||
ARG NEXT_PUBLIC_DOMAIN
|
||||
ARG NEXT_PUBLIC_SEARCH_APPWRITEKEY
|
||||
|
||||
ENV NEXT_PUBLIC_SEARCH_APPKEY=$NEXT_PUBLIC_SEARCH_APPKEY
|
||||
ENV NEXT_PUBLIC_SEARCH_APPWRITEKEY=$NEXT_PUBLIC_SEARCH_APPWRITEKEY
|
||||
ENV NEXT_PUBLIC_SEARCH_APPID=$NEXT_PUBLIC_SEARCH_APPID
|
||||
ENV NEXT_PUBLIC_DOMAIN=$NEXT_PUBLIC_DOMAIN
|
||||
|
||||
COPY . .
|
||||
RUN npm install && npm run build
|
||||
|
||||
FROM base AS runner
|
||||
RUN apk add --no-cache curl
|
||||
ENV NODE_ENV=production
|
||||
RUN addgroup --system --gid 1001 nodejs
|
||||
RUN adduser --system --uid 1001 nextjs
|
||||
WORKDIR /app
|
||||
COPY --from=builder /app/public ./public
|
||||
COPY --from=builder --chown=nextjs:nodejs /app/.next/standalone ./
|
||||
COPY --from=builder --chown=nextjs:nodejs /app/.next/static ./.next/static
|
||||
USER nextjs
|
||||
|
||||
ENV NEXT_TELEMETRY_DISABLED=1
|
||||
ENV PORT=3000
|
||||
|
||||
EXPOSE 3000
|
||||
|
||||
CMD ["node", "server.js"]
|
||||
|
|
@ -0,0 +1,94 @@
|
|||
# fast
|
||||
|
||||
这是FastGPT的官方文档，采用fumadoc框架。
|
||||
|
||||
# 获取搜索应用
|
||||
|
||||
点击[Algolia](https://dashboard.algolia.com/account/overview),进行注册账号，注册成功后需要点击页面的搜索,然后查看应用，默认会有一个应用。
|
||||
|
||||
|
||||
|
||||
拥有应用后点击个人头像，点击设置，点击`API Keys`查看自己的应用id和key。
|
||||
|
||||
|
||||
|
||||
页面中的`Application ID`和`Search API Key`，`Write API KEY`就是环境变量对应的`NEXT_PUBLIC_SEARCH_APPID`和`NEXT_PUBLIC_SEARCH_APPKEY`，`NEXT_PUBLIC_SEARCH_APPWRITEKEY`
|
||||
|
||||
|
||||
|
||||
# 运行项目
|
||||
|
||||
要运行文档，首先需要进行环境变量配置，在文档的根目录下创建`.env.local`文件，填写以下环境变量:
|
||||
|
||||
```bash
|
||||
NEXT_PUBLIC_SEARCH_APPWRITEKEY = #这是上面获取的Write api key
|
||||
NEXT_PUBLIC_SEARCH_APPKEY = #这是上面获取的搜索key
|
||||
NEXT_PUBLIC_SEARCH_APPID = #这是上面的搜索id
|
||||
NEXT_PUBLIC_DOMAIN = #要跳转的FastGPT项目的域名，默认海外版
|
||||
```
|
||||
|
||||
你可以在FastGPT项目根目录下执行以下命令来运行文档。
|
||||
|
||||
```bash
|
||||
npm install #只能npm install，不能pnpm
|
||||
npm run dev
|
||||
```
|
||||
项目会默认跑在`http:localhost:3000`端口
|
||||
|
||||
# 书写文档
|
||||
|
||||
文档采用`mdx`格式，大体和`md`一致，但是现在文档的元数据只支持`title` `description`和`icon`三个字段，参考以下示例代码：
|
||||
|
||||
```bash
|
||||
---
|
||||
title: FastGPT 文档
|
||||
description: FastGPT 官方文档
|
||||
icon: menu #icon采用`lucide-react`第三方库。
|
||||
---
|
||||
|
||||
import { Alert } from '@/components/docs/Alert'; #高亮块组件
|
||||
|
||||
<Alert icon="🤖" context="success">
|
||||
快速开始体验
|
||||
- 海外版：[https://fastgpt.io](https://fastgpt.io)
|
||||
- 国内版：[https://fastgpt.cn](https://fastgpt.cn)
|
||||
</Alert>
|
||||
|
||||
import {Redirect} from '@/components/docs/Redirect' #重定向组件，如果你希望用户点击这个文件跳转到别的文件的话，详情参考 `FAQ`的`Docker 部署问题`文档。
|
||||
|
||||
<Redirect to="/docs/introduction/development/docker/#faq" />
|
||||
|
||||
<Tabs items={['Javascript', 'Rust']}> #tabs组件用法，渲染效果参考`introduction`下`development`的`faq`文档
|
||||
<Tab value="Javascript">Javascript is weird</Tab>
|
||||
<Tab value="Rust">Rust is fast</Tab>
|
||||
|
||||
|
||||
import FastGPTLink from '@/components/docs/linkFastGPT'; #FastGPT跳转链接组件，通过接收一个域名环境变量，来实现跳转到海外或者国内
|
||||
|
||||
本文档介绍了如何设置开发环境以构建和测试 <FastGPTLink>FastGPT</FastGPTLink>。
|
||||
</Tabs>
|
||||
|
||||
```
|
||||
|
||||
在书写完文档后，需要在对应的目录下的`meta.json`文件的`pages`字段合适位置添加自己的文件名。例如在`content/docs`(默认这是所有文档的根目录)的`introduction`目录下书写了一个`hello.mdx`文件。则需要去`introduction`目录下的`meta.json`添加以下内容:
|
||||
|
||||
```bash
|
||||
{
|
||||
"title": "FastGPT Docs",
|
||||
"root": true,
|
||||
"pages": ["[Handshake][联系我们](https://fael3z0zfze.feishu.cn/share/base/form/shrcnRxj3utrzjywsom96Px4sud)","index","guide","development","FAQ","shopping_cart","community","hello"], #"hello"原本没有，此外，这里的顺序就是最后文档的展示顺序，现在"hello"文档将会在`introduction`的最后展示
|
||||
"order": 1
|
||||
}
|
||||
```
|
||||
|
||||
# i18n
|
||||
|
||||
在`content/docs`下的所有`.mdx`文件为默认语言文件(当前默认语言中文)，`.en.mdx`文件为`i18n`支持的英文文件，例如，你可以将`hello.mdx`文档翻译后，写一个`hello.en.mdx`,同时，在对应目录的`meta.en.json`的`"pages"`字段写下对应的文件名来支持英文文档。
|
||||
|
||||
# ps
|
||||
|
||||
`meta.json`的`"pages"`中的`"[Handshake][联系我们](https://fael3z0zfze.feishu.cn/share/base/form/shrcnRxj3utrzjywsom96Px4sud)"`这个字段是目录的链接形式，表现效果为，点击后跳转到对应的url。
|
||||
|
||||
|
||||
|
||||
最后，如果依然有问题，可以进入`https://fumadocs.dev/docs/ui`官网，询问官网提供的ai来了解文档框架的使用。
|
||||
|
|
@ -0,0 +1,27 @@
|
|||
import type { ReactNode } from 'react';
|
||||
import { HomeLayout } from 'fumadocs-ui/layouts/home';
|
||||
import LogoLight from '@/components/docs/logo';
|
||||
|
||||
export default async function Layout({
|
||||
params,
|
||||
children
|
||||
}: {
|
||||
params: Promise<{ lang: string }>;
|
||||
children: ReactNode;
|
||||
}) {
|
||||
const lang = (await params).lang;
|
||||
return (
|
||||
<HomeLayout
|
||||
nav={{
|
||||
title: (
|
||||
<div className="flex flex-row items-center gap-2 h-14">
|
||||
<LogoLight />
|
||||
</div>
|
||||
)
|
||||
}}
|
||||
i18n
|
||||
>
|
||||
{children}
|
||||
</HomeLayout>
|
||||
);
|
||||
}
|
||||
|
|
@ -0,0 +1,5 @@
|
|||
import { redirect } from 'next/navigation';
|
||||
|
||||
export default function HomePage() {
|
||||
redirect(`/docs/introduction`);
|
||||
}
|
||||
|
|
@ -0,0 +1,61 @@
|
|||
import { source } from '@/lib/source';
|
||||
import { DocsPage, DocsBody, DocsDescription, DocsTitle } from 'fumadocs-ui/page';
|
||||
import { notFound } from 'next/navigation';
|
||||
import { createRelativeLink } from 'fumadocs-ui/mdx';
|
||||
import { getMDXComponents } from '@/mdx-components';
|
||||
|
||||
export default async function Page({
|
||||
params
|
||||
}: {
|
||||
params: Promise<{ lang: string; slug?: string[] }>;
|
||||
}) {
|
||||
const { lang, slug } = await params;
|
||||
const page = source.getPage(slug, lang);
|
||||
if (!page || !page.data || !page.file) notFound();
|
||||
|
||||
const MDXContent = page.data.body;
|
||||
|
||||
return (
|
||||
<DocsPage
|
||||
toc={page.data.toc}
|
||||
full={page.data.full}
|
||||
tableOfContent={{
|
||||
style: 'clerk'
|
||||
}}
|
||||
editOnGithub={{
|
||||
owner: 'labring',
|
||||
repo: 'FastGPT',
|
||||
sha: 'main',
|
||||
path: `document/content/docs/${page.file.path}`
|
||||
}}
|
||||
lastUpdate={page.data.lastModified ? new Date(page.data.lastModified) : undefined}
|
||||
>
|
||||
<DocsTitle>{page.data.title}</DocsTitle>
|
||||
<DocsDescription>{page.data.description}</DocsDescription>
|
||||
<DocsBody>
|
||||
<MDXContent
|
||||
components={getMDXComponents({
|
||||
a: createRelativeLink(source, page)
|
||||
})}
|
||||
/>
|
||||
</DocsBody>
|
||||
</DocsPage>
|
||||
);
|
||||
}
|
||||
|
||||
export async function generateStaticParams() {
|
||||
return source.generateParams();
|
||||
}
|
||||
|
||||
export async function generateMetadata(props: {
|
||||
params: Promise<{ lang: string; slug?: string[] }>;
|
||||
}) {
|
||||
const { lang, slug } = await props.params;
|
||||
const page = source.getPage(slug, lang);
|
||||
if (!page || !page.data) notFound();
|
||||
|
||||
return {
|
||||
title: `${page.data.title} | FastGPT`,
|
||||
description: page.data.description
|
||||
};
|
||||
}
|
||||
|
|
@ -0,0 +1,101 @@
|
|||
import { type ReactNode } from 'react';
|
||||
import { source } from '@/lib/source';
|
||||
import { DocsLayout } from 'fumadocs-ui/layouts/notebook';
|
||||
import { baseOptions } from '@/app/layout.config';
|
||||
import { t } from '@/lib/i18n';
|
||||
import LogoLight from '@/components/docs/logo';
|
||||
import LogoDark from '@/components/docs/logoDark';
|
||||
import '@/app/global.css';
|
||||
import { CustomSidebarComponents } from '@/components/sideBar';
|
||||
import FeishuLogoLight from '@/components/docs/feishuLogoLIght';
|
||||
import FeishuLogoDark from '@/components/docs/feishuLogoDark';
|
||||
import GithubLogoLight from '@/components/docs/githubLogoLight';
|
||||
import GithubLogoDark from '@/components/docs/githubLogoDark';
|
||||
|
||||
export default async function Layout({
|
||||
params,
|
||||
children
|
||||
}: {
|
||||
params: Promise<{ lang: string }>;
|
||||
children: ReactNode;
|
||||
}) {
|
||||
const { lang } = await params;
|
||||
|
||||
const tab = [
|
||||
{
|
||||
title: t('common:introduction', lang),
|
||||
url: lang === 'zh-CN' ? '/docs/introduction' : '/en/docs/introduction'
|
||||
},
|
||||
{
|
||||
title: t('common:use-cases', lang),
|
||||
url: lang === 'zh-CN' ? '/docs/use-cases' : '/en/docs/use-cases'
|
||||
},
|
||||
{
|
||||
title: t('common:protocol', lang),
|
||||
url: lang === 'zh-CN' ? '/docs/protocol' : '/en/docs/protocol'
|
||||
}
|
||||
];
|
||||
|
||||
return (
|
||||
<DocsLayout
|
||||
{...baseOptions(lang)}
|
||||
nav={{
|
||||
title: (
|
||||
<div className="flex flex-row items-center gap-2 h-14 ml-10">
|
||||
<div className="block dark:hidden">
|
||||
<LogoLight className="w-48 h-auto" />
|
||||
</div>
|
||||
<div className="hidden dark:block">
|
||||
<LogoDark className="w-48 h-auto" />
|
||||
</div>
|
||||
</div>
|
||||
),
|
||||
mode: 'top'
|
||||
}}
|
||||
links={[
|
||||
{
|
||||
type: 'icon',
|
||||
icon: (
|
||||
<div className="flex flex-row items-center gap-2">
|
||||
<div className="block dark:hidden">
|
||||
<FeishuLogoLight />
|
||||
</div>
|
||||
<div className="hidden dark:block">
|
||||
<FeishuLogoDark />
|
||||
</div>
|
||||
</div>
|
||||
),
|
||||
url: 'https://oss.laf.run/otnvvf-imgs/fastgpt-feishu1.png',
|
||||
text: '飞书群'
|
||||
},
|
||||
{
|
||||
type: 'icon',
|
||||
icon: (
|
||||
<div className="flex flex-row items-center gap-2">
|
||||
<div className="block dark:hidden">
|
||||
<GithubLogoLight />
|
||||
</div>
|
||||
<div className="hidden dark:block">
|
||||
<GithubLogoDark />
|
||||
</div>
|
||||
</div>
|
||||
),
|
||||
url: 'https://github.com/labring/FastGPT',
|
||||
text: 'github'
|
||||
}
|
||||
]}
|
||||
tree={source.pageTree[lang]}
|
||||
searchToggle={{
|
||||
enabled: true
|
||||
}}
|
||||
sidebar={{
|
||||
tabs: tab,
|
||||
collapsible: false,
|
||||
components: CustomSidebarComponents
|
||||
}}
|
||||
tabMode="navbar"
|
||||
>
|
||||
{children}
|
||||
</DocsLayout>
|
||||
);
|
||||
}
|
||||
|
|
@ -0,0 +1,79 @@
|
|||
import '@/app/global.css';
|
||||
import { RootProvider } from 'fumadocs-ui/provider';
|
||||
import { Inter } from 'next/font/google';
|
||||
import type { ReactNode } from 'react';
|
||||
import type { Translations } from 'fumadocs-ui/i18n';
|
||||
import CustomSearchDialog from '@/components/CustomSearchDialog';
|
||||
|
||||
const inter = Inter({
|
||||
subsets: ['latin']
|
||||
});
|
||||
|
||||
const zh_CN: Partial<Translations> = {
|
||||
search: '搜索',
|
||||
nextPage: '下一页',
|
||||
previousPage: '上一页',
|
||||
lastUpdate: '最后更新于',
|
||||
editOnGithub: '在 GitHub 上编辑',
|
||||
searchNoResult: '没有找到相关内容',
|
||||
toc: '本页导航',
|
||||
tocNoHeadings: '本页没有导航',
|
||||
chooseLanguage: '选择语言'
|
||||
};
|
||||
|
||||
const locales = [
|
||||
{
|
||||
name: 'English',
|
||||
locale: 'en'
|
||||
},
|
||||
{
|
||||
name: '简体中文',
|
||||
locale: 'zh-CN'
|
||||
}
|
||||
];
|
||||
|
||||
export default async function Layout({
|
||||
children,
|
||||
params
|
||||
}: {
|
||||
children: ReactNode;
|
||||
params: Promise<{ lang: string }>;
|
||||
}) {
|
||||
const { lang } = await params;
|
||||
|
||||
return (
|
||||
<html lang={lang} className={inter.className} suppressHydrationWarning>
|
||||
<body className="flex flex-col min-h-screen">
|
||||
<RootProvider
|
||||
i18n={{
|
||||
locale: lang,
|
||||
locales,
|
||||
translations: {
|
||||
'zh-CN': zh_CN,
|
||||
en: {
|
||||
search: 'Search',
|
||||
nextPage: 'Next Page',
|
||||
previousPage: 'Previous Page',
|
||||
lastUpdate: 'Last Updated',
|
||||
editOnGithub: 'Edit on GitHub',
|
||||
searchNoResult: 'No results found',
|
||||
toc: 'On this page',
|
||||
tocNoHeadings: 'No headings',
|
||||
chooseLanguage: 'Choose Language'
|
||||
}
|
||||
}[lang]
|
||||
}}
|
||||
search={{
|
||||
enabled: true,
|
||||
SearchDialog: CustomSearchDialog
|
||||
}}
|
||||
theme={{
|
||||
enabled: true
|
||||
}}
|
||||
>
|
||||
{children}
|
||||
</RootProvider>
|
||||
</body>
|
||||
</html>
|
||||
);
|
||||
}
|
||||
|
|
@ -0,0 +1,56 @@
|
|||
import * as fs from 'node:fs/promises';
|
||||
import fg from 'fast-glob';
|
||||
import matter from 'gray-matter';
|
||||
import { remark } from 'remark';
|
||||
import remarkGfm from 'remark-gfm';
|
||||
import remarkStringify from 'remark-stringify';
|
||||
import remarkMdx from 'remark-mdx';
|
||||
import { remarkInclude } from 'fumadocs-mdx/config';
|
||||
import { i18n } from '@/lib/i18n';
|
||||
|
||||
export const revalidate = false;
|
||||
|
||||
const processor = remark()
|
||||
.use(remarkMdx)
|
||||
// https://fumadocs.vercel.app/docs/mdx/include
|
||||
.use(remarkInclude)
|
||||
// gfm styles
|
||||
.use(remarkGfm)
|
||||
// .use(your remark plugins)
|
||||
.use(remarkStringify); // to string
|
||||
|
||||
export async function GET() {
|
||||
// all scanned content
|
||||
// Select files based on the default language
|
||||
const defaultLanguage = i18n.defaultLanguage;
|
||||
let globPattern;
|
||||
|
||||
if (defaultLanguage === 'zh-CN') {
|
||||
// For Chinese, select *.mdx files
|
||||
globPattern = ['./content/docs/**/*.mdx'];
|
||||
} else {
|
||||
// For other languages (default English), select *.en.mdx files that don't have .mdx. in their path
|
||||
globPattern = ['./content/docs/**/*.en.mdx'];
|
||||
}
|
||||
|
||||
const files = await fg(globPattern);
|
||||
|
||||
const scan = files.map(async (file: string) => {
|
||||
const fileContent = await fs.readFile(file);
|
||||
const { content, data } = matter(fileContent.toString());
|
||||
|
||||
const processed = await processor.process({
|
||||
path: file,
|
||||
value: content
|
||||
});
|
||||
|
||||
return `file: ${file}
|
||||
meta: ${JSON.stringify(data, null, 2)}
|
||||
|
||||
${processed}`;
|
||||
});
|
||||
|
||||
const scanned = await Promise.all(scan);
|
||||
|
||||
return new Response(scanned.join('\n\n'));
|
||||
}
|
||||
|
|
@ -0,0 +1,24 @@
|
|||
// app/api/robots/route.ts
|
||||
import { i18n } from '@/lib/i18n';
|
||||
import { NextResponse } from 'next/server';
|
||||
|
||||
export async function GET() {
|
||||
const host =
|
||||
i18n.defaultLanguage === 'zh-cn' ? 'https://localhost:3000' : 'https://localhost:3000/en';
|
||||
|
||||
const robotsTxt = `User-agent: *
|
||||
Allow: /
|
||||
Allow: /en/
|
||||
Disallow: /zh-cn/
|
||||
|
||||
|
||||
Host: ${host}
|
||||
|
||||
Sitemap: ${host}/sitemap.xml`;
|
||||
|
||||
return new NextResponse(robotsTxt, {
|
||||
headers: {
|
||||
'Content-Type': 'text/plain'
|
||||
}
|
||||
});
|
||||
}
|
||||
|
|
@ -0,0 +1,7 @@
|
|||
import { source } from '@/lib/source';
|
||||
import { createFromSource } from 'fumadocs-core/search/server';
|
||||
|
||||
export const { GET } = createFromSource(source, {
|
||||
// https://docs.orama.com/open-source/supported-languages
|
||||
language: 'english'
|
||||
});
|
||||
|
|
@ -0,0 +1,270 @@
|
|||
@import 'tailwindcss';
|
||||
@import 'fumadocs-ui/css/preset.css';
|
||||
|
||||
/* 在文件开头添加这些基础变量 */
|
||||
:root {
|
||||
/* 基础颜色 */
|
||||
--primary-50-hsl: 210, 40%, 98%;
|
||||
--primary-hsl: 217, 91%, 60%;
|
||||
--emerald-50-hsl: 152, 81%, 96%;
|
||||
--emerald-500-hsl: 152, 76%, 40%;
|
||||
--cardinal-50-hsl: 0, 86%, 97%;
|
||||
--cardinal-500-hsl: 0, 74%, 42%;
|
||||
--yellow-50-hsl: 55, 92%, 95%;
|
||||
--yellow-500-hsl: 45, 93%, 47%;
|
||||
--blue-500-hsl: 217, 91%, 60%;
|
||||
--fd-layout-width: 1400px;
|
||||
|
||||
/* 文本颜色 */
|
||||
--text-default: #374151;
|
||||
--text-default-inv: #ffffff;
|
||||
--text-muted: #6b7280;
|
||||
--content-link-color: #2563eb;
|
||||
|
||||
/* 其他变量 */
|
||||
--font-size-sm: 0.875rem;
|
||||
--gray-200: #e5e7eb;
|
||||
--gray-700: #374151;
|
||||
--gray-800: #1f2937;
|
||||
--gray-900: #111827;
|
||||
|
||||
/* 组件颜色 */
|
||||
--primary-200: #bfdbfe;
|
||||
--blue-200: #bfdbfe;
|
||||
--blue-800: #1e40af;
|
||||
--emerald-200: #a7f3d0;
|
||||
--emerald-800: #065f46;
|
||||
--cardinal-200: #fecaca;
|
||||
--cardinal-800: #991b1b;
|
||||
--yellow-200: #fde68a;
|
||||
--yellow-800: #92400e;
|
||||
|
||||
/* Tabs 样式 */
|
||||
--nav-tabs-border-width: none;
|
||||
--nav-tabs-link-active-bg: none;
|
||||
--nav-tabs-link-active-color: var(--text-default);
|
||||
--nav-tabs-border-color: var(--gray-400);
|
||||
}
|
||||
|
||||
[data-dark-mode] {
|
||||
/* Tabs 样式 */
|
||||
--nav-tabs-border-color: var(--gray-800);
|
||||
|
||||
--text-muted: #9ca3af;
|
||||
--content-link-color: #60a5fa;
|
||||
}
|
||||
|
||||
/* 全局代码块样式 */
|
||||
pre,
|
||||
code {
|
||||
font-size: 0.9rem !important;
|
||||
line-height: 1.6 !important;
|
||||
}
|
||||
|
||||
/* 行内代码样式 */
|
||||
/* 行内代码样式 */
|
||||
:not(pre) > code {
|
||||
padding: 0.2em 0.4em !important;
|
||||
margin: 0 0.2em !important;
|
||||
color: #2563eb !important;
|
||||
}
|
||||
|
||||
/* 代码块中的滚动条样式优化 */
|
||||
|
||||
/* 图片居中显示 */
|
||||
.fumadocs-content img,
|
||||
.mdx-content img,
|
||||
.prose img,
|
||||
img {
|
||||
display: block !important;
|
||||
margin-left: auto !important;
|
||||
margin-right: auto !important;
|
||||
max-width: 100% !important;
|
||||
height: auto !important;
|
||||
border-radius: 8px !important;
|
||||
box-shadow:
|
||||
0 4px 6px -1px rgba(0, 0, 0, 0.1),
|
||||
0 2px 4px -1px rgba(0, 0, 0, 0.06) !important;
|
||||
}
|
||||
|
||||
/* MDX 表格样式 */
|
||||
.fumadocs-content table,
|
||||
.mdx-content table,
|
||||
.prose table {
|
||||
width: 100% !important;
|
||||
border-collapse: separate !important;
|
||||
margin: 1rem 0 !important;
|
||||
}
|
||||
|
||||
.fumadocs-content table td,
|
||||
.fumadocs-content table th,
|
||||
.mdx-content table td,
|
||||
.mdx-content table th,
|
||||
.prose table td,
|
||||
.prose table th {
|
||||
padding: 0.75rem 1rem !important;
|
||||
text-align: left !important;
|
||||
}
|
||||
|
||||
/* Tabs 样式 */
|
||||
.nav-tabs {
|
||||
display: flex;
|
||||
gap: 0.5rem;
|
||||
border-bottom: 1px solid var(--nav-tabs-border-color);
|
||||
margin-bottom: 0.8rem;
|
||||
}
|
||||
|
||||
.nav-tabs .nav-link {
|
||||
color: var(--text-muted) !important;
|
||||
margin-bottom: -1px;
|
||||
padding: 0.75rem 1.5rem;
|
||||
border: none;
|
||||
background: none;
|
||||
cursor: pointer;
|
||||
font-size: 1rem;
|
||||
transition: all 0.2s ease;
|
||||
}
|
||||
|
||||
.nav-tabs .nav-link:hover {
|
||||
text-decoration: none !important;
|
||||
}
|
||||
|
||||
.nav-tabs .nav-link.active {
|
||||
border-bottom: 2px solid var(--content-link-color);
|
||||
color: var(--content-link-color) !important;
|
||||
}
|
||||
|
||||
.tab-content {
|
||||
margin-bottom: 0.8rem;
|
||||
padding: 1rem 0;
|
||||
}
|
||||
|
||||
div[data-state='open'].fixed.inset-0.z-50 {
|
||||
background-color: rgba(255, 255, 255, 0.4) !important;
|
||||
}
|
||||
|
||||
#nd-subnav > div:nth-of-type(1) button:nth-of-type(1) {
|
||||
box-shadow:
|
||||
0px 1px 2px 0px rgba(19, 51, 107, 0.05),
|
||||
0px 0px 1px 0px rgba(19, 51, 107, 0.08) !important;
|
||||
background-color: none !important;
|
||||
&:hover {
|
||||
cursor: pointer;
|
||||
}
|
||||
}
|
||||
|
||||
figure.shiki button[aria-label='Copy Text'] {
|
||||
background-color: none !important;
|
||||
&:hover {
|
||||
cursor: pointer;
|
||||
}
|
||||
}
|
||||
|
||||
#nd-subnav > div:nth-of-type(1) button {
|
||||
&:hover {
|
||||
cursor: pointer;
|
||||
}
|
||||
}
|
||||
#nd-subnav > div:nth-of-type(1) {
|
||||
border-bottom: 0.1px solid #f4f4f7 !important;
|
||||
}
|
||||
#nd-subnav > div:nth-of-type(2) {
|
||||
border-bottom: 0.1px solid #dfe2ea !important;
|
||||
height: 100%;
|
||||
}
|
||||
.dark #nd-subnav > div:nth-of-type(1) {
|
||||
border-bottom: 0.1px solid #363b4a58 !important;
|
||||
}
|
||||
.dark #nd-subnav > div:nth-of-type(2) {
|
||||
border-bottom: 0.1px solid #61646fc6 !important;
|
||||
}
|
||||
|
||||
div[data-rmiz-modal-content] {
|
||||
background-color: none !important;
|
||||
}
|
||||
|
||||
div[data-rmiz-modal-overlay='visible'] {
|
||||
background-color: #ffffff00 !important;
|
||||
backdrop-filter: blur(4px);
|
||||
}
|
||||
.dark div[data-rmiz-modal-overlay='visible'] {
|
||||
background-color: #060c1a00 !important;
|
||||
backdrop-filter: blur(4px);
|
||||
}
|
||||
.dark div[data-rmiz-modal-content] {
|
||||
background-color: #060c1a00 !important;
|
||||
}
|
||||
|
||||
#nd-subnav > div:nth-of-type(2) a {
|
||||
text-decoration: none;
|
||||
color: #485264;
|
||||
transition: color 0.2s ease;
|
||||
background-color: transparent !important;
|
||||
font-weight: 400;
|
||||
/* 先清除默认下划线 */
|
||||
&:hover {
|
||||
text-decoration: underline;
|
||||
text-decoration-color: #c5d7ff;
|
||||
text-decoration-thickness: 3px; /* 下划线粗细 */
|
||||
text-underline-offset: 17px; /* 下划线与文字距离 */
|
||||
}
|
||||
&.text-fd-primary {
|
||||
text-decoration: underline;
|
||||
text-decoration-color: #3370ff;
|
||||
text-decoration-thickness: 3px; /* 下划线粗细 */
|
||||
text-underline-offset: 17px; /* 下划线与文字距离 */
|
||||
background-color: transparent !important;
|
||||
font-weight: 600;
|
||||
color: #111824;
|
||||
}
|
||||
}
|
||||
.dark #nd-subnav > div:nth-of-type(2) a {
|
||||
color: #ffffff;
|
||||
}
|
||||
|
||||
@theme {
|
||||
--color-fd-muted: hsl(0, 0%, 96.1%);
|
||||
--color-fd-popover: hsl(0, 0%, 100%);
|
||||
--color-fd-popover-foreground: hsl(0, 0%, 15.1%);
|
||||
--color-fd-card-foreground: hsl(0, 0%, 3.9%);
|
||||
--color-fd-border: hsl(0, 0%, 89.8%);
|
||||
--color-fd-primary-foreground: hsl(0, 0%, 98%);
|
||||
--color-fd-secondary-foreground: hsl(0, 0%, 9%);
|
||||
--color-fd-accent: hsl(0, 0%, 94.1%);
|
||||
--color-fd-ring: hsl(0, 0%, 63.9%);
|
||||
|
||||
--color-fd-background: hsl(0, 0%, 100%);
|
||||
--color-fd-card: hsl(0, 0%, 100%);
|
||||
--color-fd-foreground: hsl(240, 6%, 25%);
|
||||
--color-fd-muted-foreground: hsl(240, 6%, 50%);
|
||||
--color-fd-secondary: hsl(240, 6%, 97%);
|
||||
--color-fd-accent-foreground: hsl(240, 6%, 25%);
|
||||
--color-fd-primary: hsl(226, 55%, 45%);
|
||||
}
|
||||
|
||||
.dark {
|
||||
--color-fd-background: #060c1a;
|
||||
--color-fd-foreground: hsl(220, 60%, 94.5%);
|
||||
--color-fd-muted: hsl(220, 50%, 10%);
|
||||
--color-fd-muted-foreground: hsl(220, 30%, 65%);
|
||||
--color-fd-popover: hsl(220, 50%, 10%);
|
||||
--color-fd-popover-foreground: hsl(220, 60%, 94.5%);
|
||||
--color-fd-card: hsla(220, 56%, 15%, 0.4);
|
||||
--color-fd-card-foreground: hsl(220, 60%, 94.5%);
|
||||
--color-fd-border: hsla(220, 50%, 50%, 0.2);
|
||||
--color-fd-primary: #3370ff; /* 文本高亮色 */
|
||||
--color-fd-primary-foreground: hsl(0, 0%, 9%);
|
||||
--color-fd-secondary: hsl(220, 50%, 20%);
|
||||
--color-fd-secondary-foreground: hsl(220, 80%, 90%);
|
||||
--color-fd-accent: hsl(220, 40%, 20%);
|
||||
--color-fd-accent-foreground: hsl(220, 80%, 90%);
|
||||
--color-fd-ring: hsl(205, 100%, 85%);
|
||||
}
|
||||
|
||||
#nd-sidebar {
|
||||
border-color: transparent;
|
||||
}
|
||||
|
||||
button[data-search-full] {
|
||||
background-color: var(--color-fd-background);
|
||||
}
|
||||
|
|
@ -0,0 +1,36 @@
|
|||
import type { BaseLayoutProps } from 'fumadocs-ui/layouts/shared';
|
||||
import { i18n } from '@/lib/i18n';
|
||||
|
||||
/**
|
||||
* Shared layout configurations
|
||||
*
|
||||
* you can customise layouts individually from:
|
||||
* Home Layout: app/(home)/layout.tsx
|
||||
* Docs Layout: app/docs/layout.tsx
|
||||
*/
|
||||
export const baseOptions = (locale: string): BaseLayoutProps => {
|
||||
return {
|
||||
themeSwitch: {
|
||||
enabled: true,
|
||||
mode: 'light-dark'
|
||||
},
|
||||
nav: {
|
||||
title: (
|
||||
<div className="flex flex-col">
|
||||
<div className="flex flex-row items-center gap-2">
|
||||
<img src="/FastGPT-full.svg" alt="FastGPT" width={49} height={48} />
|
||||
</div>
|
||||
<div className="relative flex flex-row items-center gap-2 h-10 top-14"> 12321</div>
|
||||
</div>
|
||||
)
|
||||
},
|
||||
i18n: {
|
||||
languages: ['zh-CN', 'en'],
|
||||
defaultLanguage: 'zh-CN',
|
||||
hideLocale: 'always'
|
||||
},
|
||||
searchToggle: {
|
||||
enabled: true
|
||||
}
|
||||
};
|
||||
};
|
||||
|
|
@ -0,0 +1,21 @@
|
|||
import { NextResponse } from 'next/server';
|
||||
import { type DocumentRecord } from 'fumadocs-core/search/algolia';
|
||||
import { source } from '@/lib/source';
|
||||
|
||||
export const revalidate = false;
|
||||
|
||||
export function GET() {
|
||||
const results: DocumentRecord[] = [];
|
||||
|
||||
for (const page of source.getPages()) {
|
||||
results.push({
|
||||
_id: page.url,
|
||||
structured: page.data.structuredData,
|
||||
url: page.url,
|
||||
title: page.data.title,
|
||||
description: page.data.description
|
||||
});
|
||||
}
|
||||
|
||||
return NextResponse.json(results);
|
||||
}
|
||||
|
|
@ -0,0 +1,43 @@
|
|||
const fs = require('fs');
|
||||
const path = require('path');
|
||||
const matter = require('gray-matter');
|
||||
|
||||
// ✅ 设置要处理的根目录（可修改为你的文档目录）
|
||||
const rootDir = path.resolve(__dirname, 'content/docs');
|
||||
|
||||
// ✅ 仅保留的 frontmatter 字段
|
||||
const KEEP_FIELDS = ['title', 'description'];
|
||||
|
||||
function cleanFrontmatter(filePath) {
|
||||
const raw = fs.readFileSync(filePath, 'utf-8');
|
||||
const parsed = matter(raw);
|
||||
|
||||
// 仅保留需要的字段
|
||||
const newData = {};
|
||||
for (const key of KEEP_FIELDS) {
|
||||
if (parsed.data[key] !== undefined) {
|
||||
newData[key] = parsed.data[key];
|
||||
}
|
||||
}
|
||||
|
||||
const cleaned = matter.stringify(parsed.content, newData);
|
||||
fs.writeFileSync(filePath, cleaned, 'utf-8');
|
||||
console.log(`✔ Cleaned: ${path.relative(rootDir, filePath)}`);
|
||||
}
|
||||
|
||||
function walk(dir) {
|
||||
const entries = fs.readdirSync(dir);
|
||||
for (const entry of entries) {
|
||||
const fullPath = path.join(dir, entry);
|
||||
const stat = fs.statSync(fullPath);
|
||||
|
||||
if (stat.isDirectory()) {
|
||||
walk(fullPath); // 🔁 递归子目录
|
||||
} else if (entry.endsWith('.mdx')) {
|
||||
cleanFrontmatter(fullPath);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// 🚀 开始执行
|
||||
walk(rootDir);
|
||||
|
|
@ -0,0 +1,49 @@
|
|||
'use client';
|
||||
// components/CustomSearchDialog.tsx
|
||||
import { liteClient } from 'algoliasearch/lite';
|
||||
import { useDocsSearch } from 'fumadocs-core/search/client';
|
||||
import {
|
||||
SearchDialog,
|
||||
SearchDialogOverlay,
|
||||
SearchDialogContent,
|
||||
SearchDialogHeader,
|
||||
SearchDialogIcon,
|
||||
SearchDialogInput,
|
||||
SearchDialogClose,
|
||||
SearchDialogList,
|
||||
type SharedProps
|
||||
} from 'fumadocs-ui/components/dialog/search';
|
||||
import { useI18n } from 'fumadocs-ui/contexts/i18n';
|
||||
|
||||
if (!process.env.NEXT_PUBLIC_SEARCH_APPID || !process.env.NEXT_PUBLIC_SEARCH_APPKEY) {
|
||||
throw new Error('NEXT_PUBLIC_SEARCH_APPID and NEXT_PUBLIC_SEARCH_APPKEY are not set');
|
||||
}
|
||||
|
||||
const client = liteClient(
|
||||
process.env.NEXT_PUBLIC_SEARCH_APPID,
|
||||
process.env.NEXT_PUBLIC_SEARCH_APPKEY
|
||||
);
|
||||
|
||||
export default function CustomSearchDialog(props: SharedProps) {
|
||||
const { locale } = useI18n();
|
||||
const { search, setSearch, query } = useDocsSearch({
|
||||
type: 'algolia',
|
||||
client,
|
||||
indexName: 'document',
|
||||
locale
|
||||
});
|
||||
|
||||
return (
|
||||
<SearchDialog search={search} onSearchChange={setSearch} isLoading={query.isLoading} {...props}>
|
||||
<SearchDialogOverlay />
|
||||
<SearchDialogContent>
|
||||
<SearchDialogHeader>
|
||||
<SearchDialogIcon />
|
||||
<SearchDialogInput />
|
||||
<SearchDialogClose />
|
||||
</SearchDialogHeader>
|
||||
<SearchDialogList items={query.data !== 'empty' ? query.data : null} />
|
||||
</SearchDialogContent>
|
||||
</SearchDialog>
|
||||
);
|
||||
}
|
||||
|
|
@ -0,0 +1,35 @@
|
|||
import type { ReactNode } from 'react';
|
||||
|
||||
interface AlertProps {
|
||||
icon: ReactNode;
|
||||
context: 'success' | 'warning' | 'error' | 'info';
|
||||
children: ReactNode;
|
||||
}
|
||||
|
||||
export function Alert({ icon, context = 'info', children }: AlertProps) {
|
||||
const contextStyles = {
|
||||
success:
|
||||
'bg-green-50 border-green-200 text-green-700 dark:bg-white/5 dark:border-teal-300 dark:text-gray-200',
|
||||
warning:
|
||||
'bg-yellow-50 border-yellow-200 text-yellow-700 dark:dark:bg-white/5 dark:border-indigo-500 dark:text-gray-200',
|
||||
error:
|
||||
'bg-red-50 border-red-200 text-red-700 dark:bg-white/5 dark:border-red-800 dark:text-gray-200',
|
||||
info: 'bg-blue-50 border-blue-200 text-blue-700 dark:bg-white/5 dark:border-blue-400 dark:text-gray-200'
|
||||
};
|
||||
|
||||
return (
|
||||
<div
|
||||
className={`
|
||||
${contextStyles[context]}
|
||||
p-4 rounded-lg border
|
||||
flex gap-3 items-baseline
|
||||
shadow-sm
|
||||
transition-all duration-200 ease-in-out
|
||||
hover:shadow-md
|
||||
`}
|
||||
>
|
||||
<div className="text-2xl flex-shrink-0 mt-0.5">{icon}</div>
|
||||
<div className="space-y-2 text-sm leading-relaxed flex-grow">{children}</div>
|
||||
</div>
|
||||
);
|
||||
}
|
||||
|
|
@ -0,0 +1,18 @@
|
|||
'use client';
|
||||
|
||||
import { useEffect } from 'react';
|
||||
import { useRouter } from 'next/navigation';
|
||||
|
||||
interface RedirectProps {
|
||||
to: string;
|
||||
}
|
||||
|
||||
export function Redirect({ to }: RedirectProps) {
|
||||
const router = useRouter();
|
||||
|
||||
useEffect(() => {
|
||||
router.push(to);
|
||||
}, [to, router]);
|
||||
|
||||
return null;
|
||||
}
|
||||
|
|
@ -0,0 +1,38 @@
|
|||
'use client';
|
||||
|
||||
import React, { useState } from 'react';
|
||||
|
||||
interface TabProps {
|
||||
title: string;
|
||||
children: React.ReactNode;
|
||||
}
|
||||
|
||||
interface TabsProps {
|
||||
children: React.ReactNode;
|
||||
}
|
||||
|
||||
export const Tab: React.FC<TabProps> = ({ children }) => {
|
||||
return <div>{children}</div>;
|
||||
};
|
||||
|
||||
export const Tabs: React.FC<TabsProps> = ({ children }) => {
|
||||
const tabs = React.Children.toArray(children) as React.ReactElement<TabProps>[];
|
||||
const [activeTab, setActiveTab] = useState(0);
|
||||
|
||||
return (
|
||||
<div>
|
||||
<nav className="nav-tabs">
|
||||
{tabs.map((tab, index) => (
|
||||
<button
|
||||
key={index}
|
||||
className={`nav-link ${activeTab === index ? 'active' : ''}`}
|
||||
onClick={() => setActiveTab(index)}
|
||||
>
|
||||
{tab.props.title}
|
||||
</button>
|
||||
))}
|
||||
</nav>
|
||||
<div className="tab-content">{tabs[activeTab]}</div>
|
||||
</div>
|
||||
);
|
||||
};
|
||||
|
|
@ -0,0 +1,12 @@
|
|||
export default function YouTube({ id }: { id: string }) {
|
||||
return (
|
||||
<div className="border-2 border-black">
|
||||
<iframe
|
||||
className="aspect-video w-full"
|
||||
src={`https://www.youtube.com/embed/${id}`}
|
||||
title="YouTube Video Player"
|
||||
allowFullScreen
|
||||
/>
|
||||
</div>
|
||||
);
|
||||
}
|
||||
|
|
@ -0,0 +1,28 @@
|
|||
'use client';
|
||||
|
||||
import React from 'react';
|
||||
|
||||
const feishuLogoDark: React.FC<React.SVGProps<SVGSVGElement>> = (props) => (
|
||||
<svg width="24" height="24" viewBox="0 0 48 48" fill="none" xmlns="http://www.w3.org/2000/svg">
|
||||
<path
|
||||
d="M17 29C21 29 25 26.9339 28 23.4065C36 14 41.4242 16.8166 44 17.9998C38.5 20.9998 40.5 29.6233 33 35.9998C28.382 39.9259 23.4945 41.014 19 41C12.5231 40.9799 6.86226 37.7637 4 35.4063V16.9998"
|
||||
stroke="#8b9dc1"
|
||||
strokeWidth="4"
|
||||
strokeLinecap="round"
|
||||
strokeLinejoin="round"
|
||||
/>
|
||||
<path
|
||||
d="M5.64808 15.8669C5.02231 14.9567 3.77715 14.7261 2.86694 15.3519C1.95673 15.9777 1.72615 17.2228 2.35192 18.1331L5.64808 15.8669ZM36.0021 35.7309C36.958 35.1774 37.2843 33.9539 36.7309 32.9979C36.1774 32.042 34.9539 31.7157 33.9979 32.2691L36.0021 35.7309ZM2.35192 18.1331C5.2435 22.339 10.7992 28.144 16.8865 32.2239C19.9345 34.2667 23.217 35.946 26.449 36.7324C29.6946 37.522 33.0451 37.4428 36.0021 35.7309L33.9979 32.2691C32.2049 33.3072 29.9929 33.478 27.3947 32.8458C24.783 32.2103 21.9405 30.7958 19.1135 28.9011C13.4508 25.106 8.2565 19.661 5.64808 15.8669L2.35192 18.1331Z"
|
||||
fill="#8b9dc1"
|
||||
/>
|
||||
<path
|
||||
d="M33.5947 17C32.84 14.7027 30.8551 9.94054 27.5947 7H11.5947C15.2174 10.6757 23.0002 16 27.0002 24"
|
||||
stroke="#8b9dc1"
|
||||
strokeWidth="4"
|
||||
strokeLinecap="round"
|
||||
strokeLinejoin="round"
|
||||
/>
|
||||
</svg>
|
||||
);
|
||||
|
||||
export default feishuLogoDark;
|
||||
|
|
@ -0,0 +1,28 @@
|
|||
'use client';
|
||||
|
||||
import React from 'react';
|
||||
|
||||
const feishuLogoLight: React.FC<React.SVGProps<SVGSVGElement>> = (props) => (
|
||||
<svg width="24" height="24" viewBox="0 0 48 48" fill="none" xmlns="http://www.w3.org/2000/svg">
|
||||
<path
|
||||
d="M17 29C21 29 25 26.9339 28 23.4065C36 14 41.4242 16.8166 44 17.9998C38.5 20.9998 40.5 29.6233 33 35.9998C28.382 39.9259 23.4945 41.014 19 41C12.5231 40.9799 6.86226 37.7637 4 35.4063V16.9998"
|
||||
stroke="#8a8a8a"
|
||||
strokeWidth="4"
|
||||
strokeLinecap="round"
|
||||
strokeLinejoin="round"
|
||||
/>
|
||||
<path
|
||||
d="M5.64808 15.8669C5.02231 14.9567 3.77715 14.7261 2.86694 15.3519C1.95673 15.9777 1.72615 17.2228 2.35192 18.1331L5.64808 15.8669ZM36.0021 35.7309C36.958 35.1774 37.2843 33.9539 36.7309 32.9979C36.1774 32.042 34.9539 31.7157 33.9979 32.2691L36.0021 35.7309ZM2.35192 18.1331C5.2435 22.339 10.7992 28.144 16.8865 32.2239C19.9345 34.2667 23.217 35.946 26.449 36.7324C29.6946 37.522 33.0451 37.4428 36.0021 35.7309L33.9979 32.2691C32.2049 33.3072 29.9929 33.478 27.3947 32.8458C24.783 32.2103 21.9405 30.7958 19.1135 28.9011C13.4508 25.106 8.2565 19.661 5.64808 15.8669L2.35192 18.1331Z"
|
||||
fill="#8a8a8a"
|
||||
/>
|
||||
<path
|
||||
d="M33.5947 17C32.84 14.7027 30.8551 9.94054 27.5947 7H11.5947C15.2174 10.6757 23.0002 16 27.0002 24"
|
||||
stroke="#8a8a8a"
|
||||
strokeWidth="4"
|
||||
strokeLinecap="round"
|
||||
strokeLinejoin="round"
|
||||
/>
|
||||
</svg>
|
||||
);
|
||||
|
||||
export default feishuLogoLight;
|
||||
|
|
@ -0,0 +1,16 @@
|
|||
'use client';
|
||||
|
||||
import React from 'react';
|
||||
|
||||
const githubLogoLight: React.FC<React.SVGProps<SVGSVGElement>> = (props) => (
|
||||
<svg width="98" height="98" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 98 98">
|
||||
<path
|
||||
fillRule="evenodd"
|
||||
clipRule="evenodd"
|
||||
d="M48.854 0C21.839 0 0 22 0 49.217c0 21.756 13.993 40.172 33.405 46.69 2.427.49 3.316-1.059 3.316-2.362 0-1.141-.08-5.052-.08-9.127-13.59 2.934-16.42-5.867-16.42-5.867-2.184-5.704-5.42-7.17-5.42-7.17-4.448-3.015.324-3.015.324-3.015 4.934.326 7.523 5.052 7.523 5.052 4.367 7.496 11.404 5.378 14.235 4.074.404-3.178 1.699-5.378 3.074-6.6-10.839-1.141-22.243-5.378-22.243-24.283 0-5.378 1.94-9.778 5.014-13.2-.485-1.222-2.184-6.275.486-13.038 0 0 4.125-1.304 13.426 5.052a46.97 46.97 0 0 1 12.214-1.63c4.125 0 8.33.571 12.213 1.63 9.302-6.356 13.427-5.052 13.427-5.052 2.67 6.763.97 11.816.485 13.038 3.155 3.422 5.015 7.822 5.015 13.2 0 18.905-11.404 23.06-22.324 24.283 1.78 1.548 3.316 4.481 3.316 9.126 0 6.6-.08 11.897-.08 13.526 0 1.304.89 2.853 3.316 2.364 19.412-6.52 33.405-24.935 33.405-46.691C97.707 22 75.788 0 48.854 0z"
|
||||
fill="#8b9dc1"
|
||||
/>
|
||||
</svg>
|
||||
);
|
||||
|
||||
export default githubLogoLight;
|
||||
|
|
@ -0,0 +1,16 @@
|
|||
'use client';
|
||||
|
||||
import React from 'react';
|
||||
|
||||
const githubLogoLight: React.FC<React.SVGProps<SVGSVGElement>> = (props) => (
|
||||
<svg width="98" height="98" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 98 98">
|
||||
<path
|
||||
fillRule="evenodd"
|
||||
clipRule="evenodd"
|
||||
d="M48.854 0C21.839 0 0 22 0 49.217c0 21.756 13.993 40.172 33.405 46.69 2.427.49 3.316-1.059 3.316-2.362 0-1.141-.08-5.052-.08-9.127-13.59 2.934-16.42-5.867-16.42-5.867-2.184-5.704-5.42-7.17-5.42-7.17-4.448-3.015.324-3.015.324-3.015 4.934.326 7.523 5.052 7.523 5.052 4.367 7.496 11.404 5.378 14.235 4.074.404-3.178 1.699-5.378 3.074-6.6-10.839-1.141-22.243-5.378-22.243-24.283 0-5.378 1.94-9.778 5.014-13.2-.485-1.222-2.184-6.275.486-13.038 0 0 4.125-1.304 13.426 5.052a46.97 46.97 0 0 1 12.214-1.63c4.125 0 8.33.571 12.213 1.63 9.302-6.356 13.427-5.052 13.427-5.052 2.67 6.763.97 11.816.485 13.038 3.155 3.422 5.015 7.822 5.015 13.2 0 18.905-11.404 23.06-22.324 24.283 1.78 1.548 3.316 4.481 3.316 9.126 0 6.6-.08 11.897-.08 13.526 0 1.304.89 2.853 3.316 2.364 19.412-6.52 33.405-24.935 33.405-46.691C97.707 22 75.788 0 48.854 0z"
|
||||
fill="#8a8a8a"
|
||||
/>
|
||||
</svg>
|
||||
);
|
||||
|
||||
export default githubLogoLight;
|
||||
|
|
@ -0,0 +1,58 @@
|
|||
'use client';
|
||||
|
||||
import React, { useMemo } from 'react';
|
||||
|
||||
type FastGPTLinkProps = {
|
||||
children: React.ReactNode;
|
||||
className?: string;
|
||||
style?: React.CSSProperties;
|
||||
onClick?: (e: React.MouseEvent<HTMLAnchorElement>) => void;
|
||||
};
|
||||
|
||||
const defaultStyles: React.CSSProperties = {
|
||||
color: '#3370ff',
|
||||
textDecoration: 'none',
|
||||
transition: 'all 0.2s ease-in-out'
|
||||
};
|
||||
|
||||
const hoverStyles: React.CSSProperties = {
|
||||
color: '#2152d9',
|
||||
textDecoration: 'underline'
|
||||
};
|
||||
|
||||
const FastGPTLink = ({ children, className, style, onClick, ...props }: FastGPTLinkProps) => {
|
||||
const href = useMemo(() => {
|
||||
return process.env.NEXT_PUBLIC_DOMAIN ?? 'https://fastgpt.io';
|
||||
}, []);
|
||||
|
||||
const [isHovered, setIsHovered] = React.useState(false);
|
||||
|
||||
const combinedStyles = {
|
||||
...defaultStyles,
|
||||
...(isHovered ? hoverStyles : {}),
|
||||
...style
|
||||
};
|
||||
|
||||
return (
|
||||
<a
|
||||
href={href}
|
||||
target="_blank"
|
||||
rel="noopener noreferrer"
|
||||
className={className}
|
||||
style={combinedStyles}
|
||||
onMouseEnter={() => setIsHovered(true)}
|
||||
onMouseLeave={() => setIsHovered(false)}
|
||||
onClick={(e) => {
|
||||
if (onClick) {
|
||||
e.preventDefault();
|
||||
onClick(e);
|
||||
}
|
||||
}}
|
||||
{...props}
|
||||
>
|
||||
{children}
|
||||
</a>
|
||||
);
|
||||
};
|
||||
|
||||
export default React.memo(FastGPTLink);
|
||||
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
|
|
@ -0,0 +1,81 @@
|
|||
'use client';
|
||||
|
||||
import { usePathname } from 'next/navigation';
|
||||
import { useEffect, type FC, type ReactNode } from 'react';
|
||||
import {
|
||||
SidebarItem,
|
||||
SidebarFolder,
|
||||
SidebarFolderTrigger,
|
||||
SidebarFolderContent
|
||||
} from 'fumadocs-ui/components/layout/sidebar';
|
||||
import { type SidebarComponents } from 'fumadocs-ui/components/layout/sidebar';
|
||||
import { type PageTree } from 'fumadocs-core/server';
|
||||
|
||||
const isInFolder = (folder: PageTree.Folder, pathname: string): boolean => {
|
||||
const check = (item: PageTree.Item | PageTree.Folder): boolean => {
|
||||
if ('children' in item) {
|
||||
return item.children
|
||||
.filter(
|
||||
(child): child is PageTree.Item | PageTree.Folder => 'url' in child || 'children' in child
|
||||
)
|
||||
.some(check);
|
||||
}
|
||||
return 'url' in item && item.url === pathname;
|
||||
};
|
||||
return check(folder);
|
||||
};
|
||||
|
||||
const CustomItem: FC<{ item: PageTree.Item }> = ({ item }) => {
|
||||
const pathname = usePathname();
|
||||
const isActive = pathname === item.url;
|
||||
|
||||
useEffect(() => {
|
||||
if (isActive) {
|
||||
const anchor = document.querySelector(`a[href='${item.url}']`);
|
||||
if (anchor) {
|
||||
setTimeout(() => {
|
||||
anchor.scrollIntoView({ behavior: 'smooth', block: 'center' });
|
||||
}, 100);
|
||||
}
|
||||
}
|
||||
}, [isActive, item.url]);
|
||||
|
||||
return (
|
||||
<SidebarItem
|
||||
href={item.url}
|
||||
className={`rounded-lg hover:cursor-pointer ${isActive && 'bg-blue-50 font-bold text-[#3370FF] dark:bg-[rgba(104,143,232,0.1)] dark:text-blue-400'}
|
||||
`}
|
||||
>
|
||||
{item.icon}
|
||||
{item.name}
|
||||
</SidebarItem>
|
||||
);
|
||||
};
|
||||
|
||||
const CustomFolder: FC<{ item: PageTree.Folder; level: number; children: ReactNode }> = ({
|
||||
item,
|
||||
level,
|
||||
children
|
||||
}) => {
|
||||
const pathname = usePathname();
|
||||
const shouldExpand = isInFolder(item, pathname);
|
||||
|
||||
return (
|
||||
<SidebarFolder defaultOpen={shouldExpand} className="bg-blue hover:cursor-pointer">
|
||||
<SidebarFolderTrigger className="hover:cursor-pointer">{item.name}</SidebarFolderTrigger>
|
||||
<SidebarFolderContent className="bg-blue hover:cursor-pointer">
|
||||
{children}
|
||||
</SidebarFolderContent>
|
||||
</SidebarFolder>
|
||||
);
|
||||
};
|
||||
|
||||
const CustomSeparator: FC<{ item: PageTree.Separator }> = ({ item }) => (
|
||||
<div className="text-sm font-semibold px-2 py-2 mt-4 mb-2">{item.name}</div>
|
||||
);
|
||||
|
||||
export const CustomSidebarComponents: SidebarComponents = {
|
||||
Item: CustomItem,
|
||||
Folder: CustomFolder,
|
||||
Separator: CustomSeparator
|
||||
};
|
||||
|
|
@ -0,0 +1,47 @@
|
|||
import { type HTMLAttributes } from 'react';
|
||||
import { HomeLayout, type HomeLayoutProps } from 'fumadocs-ui/layouts/home';
|
||||
import Link from 'next/link';
|
||||
|
||||
interface CustomHomeLayoutProps extends HomeLayoutProps {
|
||||
// 可以在这里添加自定义的属性
|
||||
}
|
||||
|
||||
export function CustomHomeLayout({
|
||||
children,
|
||||
nav,
|
||||
...props
|
||||
}: CustomHomeLayoutProps & HTMLAttributes<HTMLElement>) {
|
||||
return (
|
||||
<HomeLayout
|
||||
{...props}
|
||||
nav={{
|
||||
...nav,
|
||||
title: (
|
||||
<div className="flex flex-col items-center gap-2">
|
||||
<div className="flex flex-row items-center gap-2">
|
||||
<img src="/logo.svg" alt="FastGPT" width={49} height={48} />
|
||||
FastGPT
|
||||
</div>
|
||||
<div className="flex flex-row items-center gap-4 text-sm">
|
||||
<Link href="/docs/introduction" className="hover:text-blue-500">
|
||||
使用说明
|
||||
</Link>
|
||||
<Link href="/docs/use-cases" className="hover:text-blue-500">
|
||||
使用案例
|
||||
</Link>
|
||||
<Link href="/docs/agreement" className="hover:text-blue-500">
|
||||
协议
|
||||
</Link>
|
||||
<Link href="/docs/api" className="hover:text-blue-500">
|
||||
API手册
|
||||
</Link>
|
||||
</div>
|
||||
</div>
|
||||
),
|
||||
transparentMode: 'none'
|
||||
}}
|
||||
>
|
||||
{children}
|
||||
</HomeLayout>
|
||||
);
|
||||
}
|
||||
|
|
@ -0,0 +1,12 @@
|
|||
---
|
||||
title: Tabs
|
||||
description:
|
||||
A Tabs component built with Radix UI, with additional features such as
|
||||
persistent and shared value.
|
||||
---
|
||||
|
||||
<Tabs items={['Javascript', 'Rust']}>
|
||||
<Tab value="Javascript">Javascript is weird</Tab>
|
||||
<Tab value="Rust">Rust is fast</Tab>
|
||||
</Tabs>
|
||||
|
||||
|
|
@ -0,0 +1,101 @@
|
|||
---
|
||||
title: 对话接口
|
||||
description: FastGPT OpenAPI 对话接口
|
||||
---
|
||||
|
||||
import { Alert } from '@/components/docs/Alert';
|
||||
|
||||
# 如何获取 AppId
|
||||
|
||||
可在应用详情的路径里获取 AppId。
|
||||
|
||||
|
||||
|
||||
# 发起对话
|
||||
|
||||
<Alert icon="🤖" context="success">
|
||||
* 该接口的 API Key 需使用`应用特定的 key`，否则会报错。
|
||||
|
||||
{/* * 对话现在有`v1`和`v2`两个接口，可以按需使用，v2 自 4.9.4 版本新增，v1 接口同时不再维护 */}
|
||||
|
||||
* 有些包调用时，`BaseUrl`需要添加`v1`路径，有些不需要，如果出现404情况，可补充`v1`重试。
|
||||
</Alert>
|
||||
|
||||
## 请求简易应用和工作流
|
||||
|
||||
`v1`对话接口兼容`GPT`的接口！如果你的项目使用的是标准的`GPT`官方接口，可以直接通过修改`BaseUrl`和 `Authorization`来访问 FastGpt 应用，不过需要注意下面几个规则：
|
||||
|
||||
<Alert icon="🤖" context="success">
|
||||
* 传入的`model`，`temperature`等参数字段均无效，这些字段由编排决定，不会根据 API 参数改变。
|
||||
* 不会返回实际消耗`Token`值，如果需要，可以设置`detail=true`，并手动计算 `responseData` 里的`tokens`值。
|
||||
</Alert>
|
||||
|
||||
### 请求
|
||||
|
||||
<Tabs items={['基础请求示例','参数说明','12312','1231221']}>
|
||||
<Tab>
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'http://localhost:3000/api/v1/chat/completions' \
|
||||
--header 'Authorization: Bearer fastgpt-xxxxxx' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"chatId": "my_chatId",
|
||||
"stream": false,
|
||||
"detail": false,
|
||||
"responseChatItemId": "my_responseChatItemId",
|
||||
"variables": {
|
||||
"uid": "asdfadsfasfd2323",
|
||||
"name": "张三"
|
||||
},
|
||||
"messages": [
|
||||
{
|
||||
"role": "user",
|
||||
"content": "导演是谁"
|
||||
}
|
||||
]
|
||||
}'
|
||||
```
|
||||
|
||||
</Tab>
|
||||
<Tab>
|
||||
|
||||
* 仅`messages`有部分区别，其他参数一致。
|
||||
* 目前不支持上传文件，需上传到自己的对象存储中，获取对应的文件链接。
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'http://localhost:3000/api/v1/chat/completions' \
|
||||
--header 'Authorization: Bearer fastgpt-xxxxxx' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"chatId": "abcd",
|
||||
"stream": false,
|
||||
"messages": [
|
||||
{
|
||||
"role": "user",
|
||||
"content": [
|
||||
{
|
||||
"type": "text",
|
||||
"text": "导演是谁"
|
||||
},
|
||||
{
|
||||
"type": "image_url",
|
||||
"image_url": {
|
||||
"url": "图片链接"
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "file_url",
|
||||
"name": "文件名",
|
||||
"url": "文档链接，支持 txt md html word pdf ppt csv excel"
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
}'
|
||||
```
|
||||
|
||||
</Tab>
|
||||
|
||||
|
||||
</Tabs>
|
||||
|
|
@ -0,0 +1,8 @@
|
|||
---
|
||||
title: API手册
|
||||
description: FastGPT API手册
|
||||
---
|
||||
|
||||
import { Redirect } from '@/components/docs/Redirect';
|
||||
|
||||
<Redirect to="/docs/api/api1" />
|
||||
|
|
@ -0,0 +1,7 @@
|
|||
{
|
||||
"title": "API手册",
|
||||
"description": "FastGPT API手册",
|
||||
"root": true,
|
||||
"pages": ["api1", "api2", "test"],
|
||||
"order": 4
|
||||
}
|
||||
|
|
@ -0,0 +1,12 @@
|
|||
---
|
||||
title: Tabs
|
||||
description:
|
||||
A Tabs component built with Radix UI, with additional features such as
|
||||
persistent and shared value.
|
||||
---
|
||||
|
||||
<Tabs items={['Javascript', 'Rust']}>
|
||||
<Tab value="Javascript">Javascript is weird</Tab>
|
||||
<Tab value="Rust">Rust is fast</Tab>
|
||||
</Tabs>
|
||||
|
||||
|
|
@ -0,0 +1,5 @@
|
|||
---
|
||||
title: FastGPT 文档
|
||||
description: FastGPT 官方文档
|
||||
---
|
||||
|
||||
|
|
@ -0,0 +1,78 @@
|
|||
---
|
||||
title: 应用使用问题
|
||||
description: FastGPT 常见应用使用问题，包括简易应用、工作流和插件
|
||||
---
|
||||
|
||||
## 多轮对话中如何使连续问题被问题分类节点正确的归类
|
||||
|
||||
问题分类节点具有获取上下文信息的能力，当处理两个关联性较大的问题时，模型的判断准确性往往依赖于这两个问题之间的联系和模型的能力。例如，当用户先问“我该如何使用这个功能？”接着又询问“这个功能有什么限制？”时，模型借助上下文信息，就能够更精准地理解并响应。
|
||||
|
||||
但是，当连续问题之间的关联性较小，模型判断的准确度可能会受到限制。在这种情况下，我们可以引入全局变量的概念来记录分类结果。在后续的问题分类阶段，首先检查全局变量是否存有分类结果。如果有，那么直接沿用该结果；若没有，则让模型自行判断。
|
||||
|
||||
建议：构建批量运行脚本进行测试，评估问题分类的准确性。
|
||||
|
||||
## 定时执行的时机问题
|
||||
|
||||
系统编排配置中的定时执行，如果用户打开分享的连接，停留在那个页面，定时执行触发问题：
|
||||
|
||||
定时执行会在应用发布后生效，会在后台生效。
|
||||
|
||||
## V4.8.18-FIX2中提到“ 1. 修复 HTTP 节点， `{{}}` 格式引用变量兼容问题。建议尽快替换 / 模式取变量，`{{}}` 语法已弃用。”替换`{{}}`引用格式是仅仅只有在http节点，还是所有节点的都会有影响？
|
||||
|
||||
只有 http 节点用到这个语法。
|
||||
|
||||
## 工作流类型的应用在运行预览可以正常提问返回，但是发布免登录窗口之后有问题。
|
||||
|
||||
一般是没正确发布，在工作流右上角点击【保存并发布】。
|
||||
|
||||
## 如何解决猜你想问使用中文回答显示
|
||||
|
||||
注意需要更新到V4.8.17及以上，把猜你想问的提示词改成中文。
|
||||
|
||||
|
||||
## AI对话回答要求中的Markdown语法取消
|
||||
|
||||
修改知识库默认提示词, 默认用的是标准模板提示词，会要求按 Markdown 输出，可以去除该要求：
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
|  |  |
|
||||
|
||||
## 应用在不同来源效果不一致
|
||||
|
||||
Q: 应用在调试和正式发布后，效果不一致；在 API 调用时，效果不一致。
|
||||
|
||||
A: 通常是由于上下文不一致导致，可以在对话日志中，找到对应的记录，并查看运行详情来进行比对。
|
||||
|
||||
| | | |
|
||||
| --- | --- | --- |
|
||||
|  |  |  |
|
||||
在针对知识库的回答要求里有, 要给它配置提示词，不然他就是默认的，默认的里面就有该语法。
|
||||
|
||||
## 工作流操作：一个工作流，以一个问题分类节点开始，根据不同的分类导入到不同的分支，访问相应的知识库和AI对话，AI对话返回内容后，怎么样不进入问题分类节点，而是将问题到知识库搜索，然后把历史记录一起作为背景再次AI查询。
|
||||
|
||||
做个判断器，如果是初次开始对话也就是历史记录为0，就走问题分类；不为零直接走知识库和ai。
|
||||
|
||||
## 实时对话，设置 fastgpt 定时，比如每隔 3000MS 去拿一次 webhook发送过来的消息到AI页面
|
||||
|
||||
定时执行没有这么高频率的去拿信息的，想要实现在企微里面的实时对话的机器人，
|
||||
目前通过低代码的工作流构建应该是不行的，只能自己写代码，然后去调用 FastGPT 的 APIKey 回复。企业微信似乎没有提供「自动监听」群聊消息的接口（或是通过 at 机器人这种触发消息推送）。应该只能发消息给应用，接收这个 https://developer.work.weixin.qq.com/document/path/90238 文档中的消息推送实现实时对话。或者是定时去拿群聊消息，通过这个文档所示的接口https://developer.work.weixin.qq.com/document/path/98914，然后用这个接口 https://developer.work.weixin.qq.com/document/path/90248 去推送消息。
|
||||
|
||||
## 工作流连接数据库
|
||||
|
||||
工作流提供该连接数据库功能，用这个数据库连接的 plugin 可以实现 text2SQL，但是相对危险，不建议做写入等操作。
|
||||
|
||||
|
||||
|
||||
## 关于循环体，协助理解循环体的循环条件和终止条件、循环的方式，循环体内参数调用后、在循环体内属于是局部作用域的参数还是全局作用域的参数
|
||||
|
||||
可理解为 for 函数，传一个数组，每个数据都执行一次。
|
||||
|
||||
## 公式无法正常显示
|
||||
|
||||
添加相关提示词，引导模型按 Markdown 输出公式
|
||||
|
||||
```bash
|
||||
Latex inline: \(x^2\)
|
||||
Latex block: $$e=mc^2$$
|
||||
```
|
||||
|
|
@ -0,0 +1,14 @@
|
|||
---
|
||||
title: 聊天框问题
|
||||
description: FastGPT 常见聊天框问题
|
||||
---
|
||||
|
||||
## 我修改了工作台的应用，为什么在“聊天”时没有更新配置？
|
||||
|
||||
应用需要点击发布后，聊天才会更新应用。
|
||||
|
||||
## 浏览器不支持语音输入
|
||||
|
||||
1. 首先需要确保浏览器、电脑本身麦克风权限的开启。
|
||||
2. 确认浏览器允许该站点使用麦克风，并且选择正确的麦克风来源。
|
||||
3. 需有 SSL 证书的站点才可以使用麦克风。
|
||||
|
|
@ -0,0 +1,79 @@
|
|||
---
|
||||
title: 知识库使用问题
|
||||
description: 常见知识库使用问题
|
||||
---
|
||||
|
||||
## 上传的文件内容出现中文乱码
|
||||
|
||||
将文件另存为 UTF-8 编码格式。
|
||||
|
||||
## 知识库配置里的文件处理模型是什么？与索引模型有什么区别？
|
||||
|
||||
* **文件处理模型**：用于数据处理的【增强处理】和【问答拆分】。在【增强处理】中，生成相关问题和摘要，在【问答拆分】中执行问答对生成。
|
||||
* **索引模型**：用于向量化，即通过对文本数据进行处理和组织，构建出一个能够快速查询的数据结构。
|
||||
|
||||
## 知识库支持Excel类文件的导入
|
||||
|
||||
xlsx等都可以上传的，不止支持CSV。
|
||||
|
||||
## 知识库tokens的计算方式
|
||||
|
||||
统一按gpt3.5标准。
|
||||
|
||||
## 误删除重排模型后，重排模型怎么加入到fastgpt
|
||||
|
||||
|
||||
|
||||
config.json文件里面配置后就可以勾选重排模型
|
||||
|
||||
## 线上平台上创建了应用和知识库，到期之后如果短期内不续费，数据是否会被清理。
|
||||
|
||||
免费版是三十天不登录后清空知识库，应用不会动。其他付费套餐到期后自动切免费版。
|
||||
|
||||
|
||||
## 基于知识库的查询，但是问题相关的答案过多。ai回答到一半就不继续回答。
|
||||
|
||||
FastGPT回复长度计算公式:
|
||||
|
||||
最大回复=min(配置的最大回复（内置的限制），最大上下文（输入和输出的总和）-历史记录)
|
||||
|
||||
18K模型->输入与输出的和
|
||||
|
||||
输出增多->输入减小
|
||||
|
||||
所以可以：
|
||||
|
||||
1. 检查配置的最大回复（回复上限）
|
||||
2. 减小输入来增大输出，即减小历史记录，在工作流其实也就是“聊天记录”
|
||||
|
||||
配置的最大回复：
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
另外私有化部署的时候，后台配模型参数，可以在配置最大上文时，预留一些空间，比如 128000 的模型，可以只配置 120000, 剩余的空间后续会被安排给输出
|
||||
|
||||
|
||||
## 受到模型上下文的限制，有时候达不到聊天记录的轮次，连续对话字数过多就会报上下文不够的错误。
|
||||
|
||||
FastGPT回复长度计算公式:
|
||||
|
||||
最大回复=min(配置的最大回复（内置的限制），最大上下文（输入和输出的总和）-历史记录)
|
||||
|
||||
18K模型->输入与输出的和
|
||||
|
||||
输出增多->输入减小
|
||||
|
||||
所以可以：
|
||||
|
||||
1. 检查配置的最大回复（回复上限）
|
||||
2. 减小输入来增大输出，即减小历史记录，在工作流其实也就是“聊天记录”
|
||||
|
||||
配置的最大回复：
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
另外，私有化部署的时候，后台配模型参数，可以在配置最大上文时，预留一些空间，比如 128000 的模型，可以只配置 120000, 剩余的空间后续会被安排给输出。
|
||||
|
|
@ -0,0 +1,8 @@
|
|||
---
|
||||
title: Docker 部署问题
|
||||
description: FastGPT Docker 部署问题
|
||||
---
|
||||
|
||||
import {Redirect} from '@/components/docs/Redirect'
|
||||
|
||||
<Redirect to="/docs/introduction/development/docker/#faq" />
|
||||
|
|
@ -0,0 +1,11 @@
|
|||
---
|
||||
title: 报错
|
||||
---
|
||||
|
||||
1. ### 当前分组上游负载已饱和，请稍后再试(request id:202407100753411462086782835521)
|
||||
|
||||
是oneapi渠道的问题，可以换个模型用or换一家中转站
|
||||
|
||||
1. ### 使用API时在日志中报错Connection Error
|
||||
|
||||
大概率是api-key填写了openapi，然后部署的服务器在国内，不能访问海外的api，可以使用中转或者反代的手段解决访问不到的问题
|
||||
|
|
@ -0,0 +1,14 @@
|
|||
---
|
||||
title: 接入外部渠道
|
||||
description: 如何通过外部渠道与 FastGPT 集成，实现对多种平台的支持
|
||||
---
|
||||
|
||||
1. ### 接入cow，图文对话无法直接显示图片
|
||||
|
||||
提示词给引导，不要以markdown格式输出。图片需要二开 cow 实现图片链接截取并发送。
|
||||
|
||||
1. ### 可以获取到用户发送问答的记录吗
|
||||
|
||||
在应用的对话日志里可以查看。
|
||||
|
||||
|
||||
|
|
@ -0,0 +1,5 @@
|
|||
{
|
||||
"title": "FAQ",
|
||||
"description": "FastGPT 常见问题",
|
||||
"pages": ["docker","privateDeploy","chat","app","dataset","external_channel_integration","error","points_consumption","other"]
|
||||
}
|
||||
|
|
@ -0,0 +1,11 @@
|
|||
---
|
||||
title: 其他问题
|
||||
---
|
||||
|
||||
## oneapi 官网是哪个
|
||||
|
||||
只有开源的 README，没官网，GitHub: https://github.com/songquanpeng/one-api
|
||||
|
||||
## 想做多用户
|
||||
|
||||
开源版未支持多用户，仅商业版支持。
|
||||
|
|
@ -0,0 +1,10 @@
|
|||
---
|
||||
title: 积分消耗
|
||||
description: 了解 FastGPT 中的积分消耗机制和使用场景
|
||||
---
|
||||
|
||||
1. ### 接入oneapi后，为什么还会消耗fastgpt的积分
|
||||
|
||||
矢量数据库检索会默认消耗。可以查看看绑定提示和使用记录。
|
||||
|
||||
|
||||
|
|
@ -0,0 +1,8 @@
|
|||
---
|
||||
title: 私有部署常见问题
|
||||
description: FastGPT 私有部署常见问题
|
||||
---
|
||||
|
||||
import {Redirect} from '@/components/docs/Redirect'
|
||||
|
||||
<Redirect to="/docs/introduction/development/faq/" />
|
||||
|
|
@ -0,0 +1,12 @@
|
|||
---
|
||||
title: 加入社区
|
||||
description: ' 加入 FastGPT 开发者社区和我们一起成长'
|
||||
---
|
||||
|
||||
FastGPT 是一个由用户和贡献者参与推动的开源项目，如果您对产品使用存在疑问和建议，可尝试以下方式寻求支持。我们的团队与社区会竭尽所能为您提供帮助。
|
||||
|
||||
+ 📱 扫码加入社区微信交流群👇
|
||||
|
||||
<img width="400px" src="https://oss.laf.run/otnvvf-imgs/fastgpt-feishu1.png" className="medium-zoom-image" />
|
||||
|
||||
+ 🐞 请将任何 FastGPT 的 Bug、问题和需求提交到 [GitHub Issue](https://github.com/labring/fastgpt/issues/new/choose)。
|
||||
|
|
@ -0,0 +1,70 @@
|
|||
---
|
||||
title: 配置文件介绍
|
||||
description: FastGPT 配置参数介绍
|
||||
---
|
||||
|
||||
由于环境变量不利于配置复杂的内容，新版 FastGPT 采用了 ConfigMap 的形式挂载配置文件，你可以在 `projects/app/data/config.json` 看到默认的配置文件。可以参考 [docker-compose 快速部署](/docs/development/docker/) 来挂载配置文件。
|
||||
|
||||
**开发环境下**，你需要将示例配置文件 `config.json` 复制成 `config.local.json` 文件才会生效。
|
||||
|
||||
下面配置文件示例中包含了系统参数和各个模型配置：
|
||||
|
||||
## 4.8.20+ 版本新配置文件示例
|
||||
> 从4.8.20版本开始，模型在页面中进行配置。
|
||||
```json
|
||||
{
|
||||
"feConfigs": {
|
||||
"lafEnv": "https://laf.dev" // laf环境。 https://laf.run （杭州阿里云） ,或者私有化的laf环境。如果使用 Laf openapi 功能，需要最新版的 laf 。
|
||||
},
|
||||
"systemEnv": {
|
||||
"vectorMaxProcess": 15, // 向量处理线程数量
|
||||
"qaMaxProcess": 15, // 问答拆分线程数量
|
||||
"vlmMaxProcess": 15, // 图片理解模型最大处理进程
|
||||
"tokenWorkers": 50, // Token 计算线程保持数，会持续占用内存，不能设置太大。
|
||||
"hnswEfSearch": 100, // 向量搜索参数，仅对 PG 和 OB 生效。越大，搜索越精确，但是速度越慢。设置为100，有99%+精度。
|
||||
"customPdfParse": { // 4.9.0 新增配置
|
||||
"url": "", // 自定义 PDF 解析服务地址
|
||||
"key": "", // 自定义 PDF 解析服务密钥
|
||||
"doc2xKey": "", // doc2x 服务密钥
|
||||
"price": 0 // PDF 解析服务价格
|
||||
}
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
## 自定义 PDF 解析配置
|
||||
|
||||
自定义 PDF 服务解析的优先级高于 Doc2x 服务，所以如果使用 Doc2x 服务，请勿配置自定义 PDF 服务。
|
||||
|
||||
### 使用 Sealos PDF 解析服务
|
||||
|
||||
#### 1. 申请 Sealos AI proxy API Key
|
||||
|
||||
[点击打开 Sealos Pdf parser 官网](https://hzh.sealos.run/?uid=fnWRt09fZP&openapp=system-aiproxy)，并进行对应 API Key 的申请。
|
||||
|
||||
#### 2. 修改 FastGPT 配置文件
|
||||
|
||||
`systemEnv.customPdfParse.url`填写成`https://aiproxy.hzh.sealos.run/v1/parse/pdf?model=parse-pdf`
|
||||
`systemEnv.customPdfParse.key`填写成在 Sealos AI proxy 中申请的 API Key。
|
||||
|
||||
### 使用 Doc2x 解析 PDF 文件
|
||||
|
||||
`Doc2x`是一个国内提供专业 PDF 解析。
|
||||
|
||||
#### 1. 申请 Doc2x 服务
|
||||
|
||||
[点击打开 Doc2x 官网](https://doc2x.noedgeai.com?inviteCode=9EACN2)，并进行对应 API Key 的申请。
|
||||
|
||||
#### 2. 修改 FastGPT 配置文件
|
||||
|
||||
开源版用户在 `config.json` 文件中添加 `systemEnv.customPdfParse.doc2xKey` 配置，并填写上申请到的 API Key。并重启服务。
|
||||
|
||||
商业版用户在 Admin 后台根据表单指引填写 Doc2x 服务密钥。
|
||||
|
||||
#### 3. 开始使用
|
||||
|
||||
在知识库导入数据或应用文件上传配置中，可以勾选`PDF 增强解析`，则在对 PDF 解析时候，会使用 Doc2x 服务进行解析。
|
||||
|
||||
### 使用 Marker 解析 PDF 文件
|
||||
|
||||
[点击查看 Marker 接入教程](/docs/development/custom-models/marker)
|
||||
|
|
@ -0,0 +1,140 @@
|
|||
---
|
||||
title: 接入 bge-rerank 重排模型
|
||||
description: 接入 bge-rerank 重排模型
|
||||
---
|
||||
|
||||
## 不同模型推荐配置
|
||||
|
||||
推荐配置如下：
|
||||
|
||||
|
||||
| 模型名 | 内存 | 显存 | 硬盘空间 | 启动命令 |
|
||||
|------|---------|---------|----------|--------------------------|
|
||||
| bge-reranker-base | >=4GB | >=4GB | >=8GB | python app.py |
|
||||
| bge-reranker-large | >=8GB | >=8GB | >=8GB | python app.py |
|
||||
| bge-reranker-v2-m3 | >=8GB | >=8GB | >=8GB | python app.py |
|
||||
|
||||
|
||||
## 源码部署
|
||||
|
||||
### 1. 安装环境
|
||||
|
||||
- Python 3.9, 3.10
|
||||
- CUDA 11.7
|
||||
- 科学上网环境
|
||||
|
||||
### 2. 下载代码
|
||||
|
||||
3 个模型代码分别为：
|
||||
|
||||
1. [https://github.com/labring/FastGPT/tree/main/plugins/model/rerank-bge/bge-reranker-base](https://github.com/labring/FastGPT/tree/main/plugins/model/rerank-bge/bge-reranker-base)
|
||||
2. [https://github.com/labring/FastGPT/tree/main/plugins/model/rerank-bge/bge-reranker-large](https://github.com/labring/FastGPT/tree/main/plugins/model/rerank-bge/bge-reranker-large)
|
||||
3. [https://github.com/labring/FastGPT/tree/main/plugins/model/rerank-bge/bge-reranker-v2-m3](https://github.com/labring/FastGPT/tree/main/plugins/model/rerank-bge/bge-reranker-v2-m3)
|
||||
|
||||
### 3. 安装依赖
|
||||
|
||||
```sh
|
||||
pip install -r requirements.txt
|
||||
```
|
||||
|
||||
### 4. 下载模型
|
||||
|
||||
3个模型的 huggingface 仓库地址如下：
|
||||
|
||||
1. [https://huggingface.co/BAAI/bge-reranker-base](https://huggingface.co/BAAI/bge-reranker-base)
|
||||
2. [https://huggingface.co/BAAI/bge-reranker-large](https://huggingface.co/BAAI/bge-reranker-large)
|
||||
3. [https://huggingface.co/BAAI/bge-reranker-v2-m3](https://huggingface.co/BAAI/bge-reranker-v2-m3)
|
||||
|
||||
在对应代码目录下 clone 模型。目录结构：
|
||||
|
||||
```
|
||||
bge-reranker-base/
|
||||
app.py
|
||||
Dockerfile
|
||||
requirements.txt
|
||||
```
|
||||
|
||||
### 5. 运行代码
|
||||
|
||||
```bash
|
||||
python app.py
|
||||
```
|
||||
|
||||
启动成功后应该会显示如下地址：
|
||||
|
||||
|
||||
|
||||
> 这里的 `http://0.0.0.0:6006` 就是连接地址。
|
||||
|
||||
## docker 部署
|
||||
|
||||
**镜像名分别为:**
|
||||
|
||||
1. registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-base:v0.1 (4 GB+)
|
||||
2. registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-large:v0.1 (5 GB+)
|
||||
3. registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-v2-m3:v0.1 (5 GB+)
|
||||
|
||||
**端口**
|
||||
|
||||
6006
|
||||
|
||||
**环境变量**
|
||||
|
||||
```
|
||||
ACCESS_TOKEN=访问安全凭证，请求时，Authorization: Bearer ${ACCESS_TOKEN}
|
||||
```
|
||||
|
||||
**运行命令示例**
|
||||
|
||||
```sh
|
||||
# auth token 为mytoken
|
||||
docker run -d --name reranker -p 6006:6006 -e ACCESS_TOKEN=mytoken --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-base:v0.1
|
||||
```
|
||||
|
||||
**docker-compose.yml示例**
|
||||
```
|
||||
version: "3"
|
||||
services:
|
||||
reranker:
|
||||
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-base:v0.1
|
||||
container_name: reranker
|
||||
# GPU运行环境，如果宿主机未安装，将deploy配置隐藏即可
|
||||
deploy:
|
||||
resources:
|
||||
reservations:
|
||||
devices:
|
||||
- driver: nvidia
|
||||
count: all
|
||||
capabilities: [gpu]
|
||||
ports:
|
||||
- 6006:6006
|
||||
environment:
|
||||
- ACCESS_TOKEN=mytoken
|
||||
|
||||
```
|
||||
## 接入 FastGPT
|
||||
|
||||
1. 打开 FastGPT 模型配置，新增一个重排模型。
|
||||
2. 填写模型配置表单：模型 ID 为`bge-reranker-base`，地址填写`{{host}}/v1/rerank`，host 为你部署的域名/IP:Port。
|
||||
|
||||
|
||||
|
||||
## QA
|
||||
|
||||
### 403报错
|
||||
|
||||
FastGPT中，自定义请求 Token 和环境变量的 ACCESS_TOKEN 不一致。
|
||||
|
||||
### Docker 运行提示 `Bus error (core dumped)`
|
||||
|
||||
尝试增加 `docker-compose.yml` 配置项 `shm_size` ，以增加容器中的共享内存目录大小。
|
||||
|
||||
```
|
||||
...
|
||||
services:
|
||||
reranker:
|
||||
...
|
||||
container_name: reranker
|
||||
shm_size: '2gb'
|
||||
...
|
||||
```
|
||||
|
|
@ -0,0 +1,115 @@
|
|||
---
|
||||
title: 接入 ChatGLM2-m3e 模型
|
||||
description: ' 将 FastGPT 接入私有化模型 ChatGLM2和m3e-large'
|
||||
---
|
||||
|
||||
## 前言
|
||||
|
||||
FastGPT 默认使用了 OpenAI 的 LLM 模型和向量模型，如果想要私有化部署的话，可以使用 ChatGLM2 和 m3e-large 模型。以下是由用户@不做了睡大觉 提供的接入方法。该镜像直接集成了 M3E-Large 和 ChatGLM2-6B 模型，可以直接使用。
|
||||
|
||||
## 部署镜像
|
||||
|
||||
+ 镜像名: `stawky/chatglm2-m3e:latest`
|
||||
+ 国内镜像名: `registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/chatglm2-m3e:latest`
|
||||
+ 端口号: 6006
|
||||
|
||||
```
|
||||
# 设置安全凭证（即oneapi中的渠道密钥）
|
||||
默认值：sk-aaabbbcccdddeeefffggghhhiiijjjkkk
|
||||
也可以通过环境变量引入：sk-key。有关docker环境变量引入的方法请自寻教程，此处不再赘述。
|
||||
```
|
||||
|
||||
## 接入 OneAPI
|
||||
|
||||
文档链接：[One API](/docs/development/modelconfig/one-api/)
|
||||
|
||||
为 chatglm2 和 m3e-large 各添加一个渠道，参数如下：
|
||||
|
||||
|
||||
|
||||
这里我填入 m3e 作为向量模型，chatglm2 作为语言模型
|
||||
|
||||
## 测试
|
||||
|
||||
curl 例子：
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://domain/v1/embeddings' \
|
||||
--header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"model": "m3e",
|
||||
"input": ["laf是什么"]
|
||||
}'
|
||||
```
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://domain/v1/chat/completions' \
|
||||
--header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"model": "chatglm2",
|
||||
"messages": [{"role": "user", "content": "Hello!"}]
|
||||
}'
|
||||
```
|
||||
|
||||
Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 One API 填写的自定义模型。
|
||||
|
||||
## 接入 FastGPT
|
||||
|
||||
修改 config.json 配置文件，在 llmModels 中加入 chatglm2, 在 vectorModels 中加入 M3E 模型：
|
||||
|
||||
```json
|
||||
"llmModels": [
|
||||
//其他对话模型
|
||||
{
|
||||
"model": "chatglm2",
|
||||
"name": "chatglm2",
|
||||
"maxToken": 8000,
|
||||
"price": 0,
|
||||
"quoteMaxToken": 4000,
|
||||
"maxTemperature": 1.2,
|
||||
"defaultSystemChatPrompt": ""
|
||||
}
|
||||
],
|
||||
"vectorModels": [
|
||||
{
|
||||
"model": "text-embedding-ada-002",
|
||||
"name": "Embedding-2",
|
||||
"price": 0.2,
|
||||
"defaultToken": 500,
|
||||
"maxToken": 3000
|
||||
},
|
||||
{
|
||||
"model": "m3e",
|
||||
"name": "M3E（测试使用）",
|
||||
"price": 0.1,
|
||||
"defaultToken": 500,
|
||||
"maxToken": 1800
|
||||
}
|
||||
],
|
||||
```
|
||||
|
||||
## 测试使用
|
||||
|
||||
M3E 模型的使用方法如下：
|
||||
|
||||
1. 创建知识库时候选择 M3E 模型。
|
||||
|
||||
注意，一旦选择后，知识库将无法修改向量模型。
|
||||
|
||||
|
||||
|
||||
2. 导入数据
|
||||
3. 搜索测试
|
||||
|
||||
|
||||
|
||||
4. 应用绑定知识库
|
||||
|
||||
注意，应用只能绑定同一个向量模型的知识库，不能跨模型绑定。并且，需要注意调整相似度，不同向量模型的相似度（距离）会有所区别，需要自行测试实验。
|
||||
|
||||
|
||||
|
||||
chatglm2 模型的使用方法如下：
|
||||
模型选择 chatglm2 即可
|
||||
|
|
@ -0,0 +1,122 @@
|
|||
---
|
||||
title: 接入 ChatGLM2-6B
|
||||
description: ' 将 FastGPT 接入私有化模型 ChatGLM2-6B'
|
||||
---
|
||||
|
||||
import { Alert } from '@/components/docs/Alert';
|
||||
|
||||
## 前言
|
||||
|
||||
FastGPT 允许你使用自己的 OpenAI API KEY 来快速调用 OpenAI 接口，目前集成了 GPT-3.5, GPT-4 和 embedding，可构建自己的知识库。但考虑到数据安全的问题，我们并不能将所有的数据都交付给云端大模型。
|
||||
|
||||
那么如何在 FastGPT 上接入私有化模型呢？本文就以清华的 ChatGLM2 为例，为各位讲解如何在 FastGPT 中接入私有化模型。
|
||||
|
||||
## ChatGLM2-6B 简介
|
||||
|
||||
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，具体介绍可参阅 [ChatGLM2-6B 项目主页](https://github.com/THUDM/ChatGLM2-6B)。
|
||||
|
||||
<Alert context="warning">
|
||||
注意，ChatGLM2-6B 权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。本教程只是介绍了一种用法，无权给予任何授权！
|
||||
</Alert>
|
||||
|
||||
## 推荐配置
|
||||
|
||||
依据官方数据，同样是生成 8192 长度，量化等级为 FP16 要占用 12.8GB 显存、int8 为 8.1GB 显存、int4 为 5.1GB 显存，量化后会稍微影响性能，但不多。
|
||||
|
||||
因此推荐配置如下：
|
||||
|
||||
|
||||
| 类型 | 内存 | 显存 | 硬盘空间 | 启动命令 |
|
||||
|------|---------|---------|----------|--------------------------|
|
||||
| fp16 | >=16GB | >=16GB | >=25GB | python openai_api.py 16 |
|
||||
| int8 | >=16GB | >=9GB | >=25GB | python openai_api.py 8 |
|
||||
| int4 | >=16GB | >=6GB | >=25GB | python openai_api.py 4 |
|
||||
|
||||
|
||||
## 部署
|
||||
|
||||
### 环境要求
|
||||
|
||||
- Python 3.8.10
|
||||
- CUDA 11.8
|
||||
- 科学上网环境
|
||||
|
||||
### 源码部署
|
||||
|
||||
1. 根据上面的环境配置配置好环境，具体教程自行 GPT；
|
||||
2. 下载 [python 文件](https://github.com/labring/FastGPT/blob/main/plugins/model/llm-ChatGLM2/openai_api.py)
|
||||
3. 在命令行输入命令 `pip install -r requirements.txt`；
|
||||
4. 打开你需要启动的 py 文件，在代码的 `verify_token` 方法中配置 token，这里的 token 只是加一层验证，防止接口被人盗用；
|
||||
5. 执行命令 `python openai_api.py --model_name 16`。这里的数字根据上面的配置进行选择。
|
||||
|
||||
然后等待模型下载，直到模型加载完毕为止。如果出现报错先问 GPT。
|
||||
|
||||
启动成功后应该会显示如下地址：
|
||||
|
||||
|
||||
|
||||
> 这里的 `http://0.0.0.0:6006` 就是连接地址。
|
||||
|
||||
### docker 部署
|
||||
|
||||
**镜像和端口**
|
||||
|
||||
+ 镜像名: `stawky/chatglm2:latest`
|
||||
+ 国内镜像名: `registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/chatglm2:latest`
|
||||
+ 端口号: 6006
|
||||
|
||||
```
|
||||
# 设置安全凭证（即oneapi中的渠道密钥）
|
||||
默认值：sk-aaabbbcccdddeeefffggghhhiiijjjkkk
|
||||
也可以通过环境变量引入：sk-key。有关docker环境变量引入的方法请自寻教程，此处不再赘述。
|
||||
```
|
||||
|
||||
## 接入 One API
|
||||
|
||||
为 chatglm2 添加一个渠道，参数如下：
|
||||
|
||||
|
||||
|
||||
这里我填入 chatglm2 作为语言模型
|
||||
|
||||
## 测试
|
||||
|
||||
curl 例子：
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://domain/v1/chat/completions' \
|
||||
--header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"model": "chatglm2",
|
||||
"messages": [{"role": "user", "content": "Hello!"}]
|
||||
}'
|
||||
```
|
||||
|
||||
Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 One API 填写的自定义模型。
|
||||
|
||||
## 接入 FastGPT
|
||||
|
||||
修改 config.json 配置文件，在 llmModels 中加入 chatglm2 模型：
|
||||
|
||||
```json
|
||||
"llmModels": [
|
||||
//已有模型
|
||||
{
|
||||
"model": "chatglm2",
|
||||
"name": "chatglm2",
|
||||
"maxContext": 4000,
|
||||
"maxResponse": 4000,
|
||||
"quoteMaxToken": 2000,
|
||||
"maxTemperature": 1,
|
||||
"vision": false,
|
||||
"defaultSystemChatPrompt": ""
|
||||
}
|
||||
]
|
||||
```
|
||||
|
||||
## 测试使用
|
||||
|
||||
chatglm2 模型的使用方法如下：
|
||||
|
||||
模型选择 chatglm2 即可
|
||||
|
|
@ -0,0 +1,85 @@
|
|||
---
|
||||
title: 接入 M3E 向量模型
|
||||
description: ' 将 FastGPT 接入私有化模型 M3E'
|
||||
---
|
||||
|
||||
## 前言
|
||||
|
||||
FastGPT 默认使用了 openai 的 embedding 向量模型，如果你想私有部署的话，可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型，资源使用不高，CPU 也可以运行。下面教程是基于 “睡大觉” 同学提供的一个的镜像。
|
||||
|
||||
## 部署镜像
|
||||
|
||||
镜像名: `stawky/m3e-large-api:latest`
|
||||
国内镜像： `registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest`
|
||||
端口号: 6008
|
||||
环境变量：
|
||||
|
||||
```
|
||||
# 设置安全凭证（即oneapi中的渠道密钥）
|
||||
默认值：sk-aaabbbcccdddeeefffggghhhiiijjjkkk
|
||||
也可以通过环境变量引入：sk-key。有关docker环境变量引入的方法请自寻教程，此处不再赘述。
|
||||
```
|
||||
|
||||
## 接入 One API
|
||||
|
||||
添加一个渠道，参数如下：
|
||||
|
||||
|
||||
|
||||
## 测试
|
||||
|
||||
curl 例子：
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://domain/v1/embeddings' \
|
||||
--header 'Authorization: Bearer xxxx' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"model": "m3e",
|
||||
"input": ["laf是什么"]
|
||||
}'
|
||||
```
|
||||
|
||||
Authorization 为 sk-key。model 为刚刚在 One API 填写的自定义模型。
|
||||
|
||||
## 接入 FastGPT
|
||||
|
||||
修改 config.json 配置文件，在 vectorModels 中加入 M3E 模型：
|
||||
|
||||
```json
|
||||
"vectorModels": [
|
||||
{
|
||||
"model": "text-embedding-ada-002",
|
||||
"name": "Embedding-2",
|
||||
"price": 0.2,
|
||||
"defaultToken": 500,
|
||||
"maxToken": 3000
|
||||
},
|
||||
{
|
||||
"model": "m3e",
|
||||
"name": "M3E（测试使用）",
|
||||
"price": 0.1,
|
||||
"defaultToken": 500,
|
||||
"maxToken": 1800
|
||||
}
|
||||
]
|
||||
```
|
||||
|
||||
## 测试使用
|
||||
|
||||
1. 创建知识库时候选择 M3E 模型。
|
||||
|
||||
注意，一旦选择后，知识库将无法修改向量模型。
|
||||
|
||||
|
||||
|
||||
2. 导入数据
|
||||
3. 搜索测试
|
||||
|
||||
|
||||
|
||||
4. 应用绑定知识库
|
||||
|
||||
注意，应用只能绑定同一个向量模型的知识库，不能跨模型绑定。并且，需要注意调整相似度，不同向量模型的相似度（距离）会有所区别，需要自行测试实验。
|
||||
|
||||
|
||||
|
|
@ -0,0 +1,99 @@
|
|||
---
|
||||
title: 接入 Marker PDF 文档解析
|
||||
description: 使用 Marker 解析 PDF 文档，可实现图片提取和布局识别
|
||||
---
|
||||
|
||||
## 背景
|
||||
|
||||
PDF 是一个相对复杂的文件格式，在 FastGPT 内置的 pdf 解析器中，依赖的是 pdfjs 库解析，该库基于逻辑解析，无法有效的理解复杂的 pdf 文件。所以我们在解析 pdf 时候，如果遇到图片、表格、公式等非简单文本内容，会发现解析效果不佳。
|
||||
|
||||
市面上目前有多种解析 PDF 的方法，比如使用 [Marker](https://github.com/VikParuchuri/marker)，该项目使用了 Surya 模型，基于视觉解析，可以有效提取图片、表格、公式等复杂内容。
|
||||
|
||||
在 `FastGPT v4.9.0` 版本中，开源版用户可以在`config.json`文件中添加`systemEnv.customPdfParse`配置，来使用 Marker 解析 PDF 文件。商业版用户直接在 Admin 后台根据表单指引填写即可。需重新拉取 Marker 镜像，接口格式已变动。
|
||||
|
||||
## 使用教程
|
||||
|
||||
### 1. 安装 Marker
|
||||
|
||||
参考文档 [Marker 安装教程](https://github.com/labring/FastGPT/tree/main/plugins/model/pdf-marker)，安装 Marker 模型。封装的 API 已经适配了 FastGPT 自定义解析服务。
|
||||
|
||||
这里介绍快速 Docker 安装的方法：
|
||||
|
||||
```dockerfile
|
||||
docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2
|
||||
docker run --gpus all -itd -p 7231:7232 --name model_pdf_v2 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2
|
||||
```
|
||||
### 2. 添加 FastGPT 文件配置
|
||||
|
||||
```json
|
||||
{
|
||||
xxx
|
||||
"systemEnv": {
|
||||
xxx
|
||||
"customPdfParse": {
|
||||
"url": "http://xxxx.com/v2/parse/file", // 自定义 PDF 解析服务地址 marker v0.2
|
||||
"key": "", // 自定义 PDF 解析服务密钥
|
||||
"doc2xKey": "", // doc2x 服务密钥
|
||||
"price": 0 // PDF 解析服务价格
|
||||
}
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
需要重启服务。
|
||||
|
||||
### 3. 测试效果
|
||||
|
||||
通过知识库上传一个 pdf 文件，并勾选上 `PDF 增强解析`。
|
||||
|
||||
|
||||
|
||||
确认上传后，可以在日志中看到 LOG （LOG_LEVEL需要设置 info 或者 debug）：
|
||||
|
||||
```
|
||||
[Info] 2024-12-05 15:04:42 Parsing files from an external service
|
||||
[Info] 2024-12-05 15:07:08 Custom file parsing is complete, time: 1316ms
|
||||
```
|
||||
|
||||
然后你就可以发现，通过 Marker 解析出来的 pdf 会携带图片链接：
|
||||
|
||||
|
||||
|
||||
同样的，在应用中，你可以在文件上传配置里，勾选上 `PDF 增强解析`。
|
||||
|
||||
|
||||
|
||||
|
||||
## 效果展示
|
||||
|
||||
以清华的 [ChatDev Communicative Agents for Software Develop.pdf](https://arxiv.org/abs/2307.07924) 为例，展示 Marker 解析的效果：
|
||||
|
||||
| | | |
|
||||
| --- | --- | --- |
|
||||
|  |  |  |
|
||||
|  |  |  |
|
||||
|
||||
上图是分块后的结果，下图是 pdf 原文。整体图片、公式、表格都可以提取出来，效果还是杠杠的。
|
||||
|
||||
不过要注意的是，[Marker](https://github.com/VikParuchuri/marker) 的协议是`GPL-3.0 license`，请在遵守协议的前提下使用。
|
||||
|
||||
## 旧版 Marker 使用方法
|
||||
|
||||
FastGPT V4.9.0 版本之前，可以用以下方式，试用 Marker 解析服务。
|
||||
|
||||
安装和运行 Marker 服务：
|
||||
|
||||
```dockerfile
|
||||
docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1
|
||||
docker run --gpus all -itd -p 7231:7231 --name model_pdf_v1 -e PROCESSES_PER_GPU="2" crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.1
|
||||
```
|
||||
|
||||
并修改 FastGPT 环境变量：
|
||||
|
||||
```
|
||||
CUSTOM_READ_FILE_URL=http://xxxx.com/v1/parse/file
|
||||
CUSTOM_READ_FILE_EXTENSION=pdf
|
||||
```
|
||||
|
||||
* CUSTOM_READ_FILE_URL - 自定义解析服务的地址, host改成解析服务的访问地址，path 不能变动。
|
||||
* CUSTOM_READ_FILE_EXTENSION - 支持的文件后缀，多个文件类型，可用逗号隔开。
|
||||
|
|
@ -0,0 +1,4 @@
|
|||
{
|
||||
"title": "本地模型使用",
|
||||
"pages": ["marker","xinference","bge-rerank","chatglm2","m3e","chatglm2-m3e","ollama"]
|
||||
}
|
||||
|
|
@ -0,0 +1,180 @@
|
|||
---
|
||||
title: '使用 Ollama 接入本地模型 '
|
||||
description: ' 采用 Ollama 部署自己的模型'
|
||||
---
|
||||
|
||||
[Ollama](https://ollama.com/) 是一个开源的AI大模型部署工具，专注于简化大语言模型的部署和使用，支持一键下载和运行各种大模型。
|
||||
|
||||
## 安装 Ollama
|
||||
|
||||
Ollama 本身支持多种安装方式，但是推荐使用 Docker 拉取镜像部署。如果是个人设备上安装了 Ollama 后续需要解决如何让 Docker 中 FastGPT 容器访问宿主机 Ollama的问题，较为麻烦。
|
||||
|
||||
### Docker 安装（推荐）
|
||||
|
||||
你可以使用 Ollama 官方的 Docker 镜像来一键安装和启动 Ollama 服务（确保你的机器上已经安装了 Docker），命令如下：
|
||||
|
||||
```bash
|
||||
docker pull ollama/ollama
|
||||
docker run --rm -d --name ollama -p 11434:11434 ollama/ollama
|
||||
```
|
||||
|
||||
如果你的 FastGPT 是在 Docker 中进行部署的，建议在拉取 Ollama 镜像时保证和 FastGPT 镜像处于同一网络，否则可能出现 FastGPT 无法访问的问题，命令如下：
|
||||
|
||||
```bash
|
||||
docker run --rm -d --name ollama --network （你的 Fastgpt 容器所在网络） -p 11434:11434 ollama/ollama
|
||||
```
|
||||
|
||||
### 主机安装
|
||||
|
||||
如果你不想使用 Docker ，也可以采用主机安装，以下是主机安装的一些方式。
|
||||
|
||||
#### MacOS
|
||||
|
||||
如果你使用的是 macOS，且系统中已经安装了 Homebrew 包管理器，可通过以下命令来安装 Ollama：
|
||||
|
||||
```bash
|
||||
brew install ollama
|
||||
ollama serve #安装完成后，使用该命令启动服务
|
||||
```
|
||||
|
||||
#### Linux
|
||||
|
||||
在 Linux 系统上，你可以借助包管理器来安装 Ollama。以 Ubuntu 为例，在终端执行以下命令：
|
||||
|
||||
```bash
|
||||
curl https://ollama.com/install.sh | sh #此命令会从官方网站下载并执行安装脚本。
|
||||
ollama serve #安装完成后，同样启动服务
|
||||
```
|
||||
|
||||
#### Windows
|
||||
|
||||
在 Windows 系统中，你可以从 Ollama 官方网站 下载 Windows 版本的安装程序。下载完成后，运行安装程序，按照安装向导的提示完成安装。安装完成后，在命令提示符或 PowerShell 中启动服务：
|
||||
|
||||
```bash
|
||||
ollama serve #安装完成并启动服务后，你可以在浏览器中访问 http://localhost:11434 来验证 Ollama 是否安装成功。
|
||||
```
|
||||
|
||||
#### 补充说明
|
||||
|
||||
如果你是采用的主机应用 Ollama 而不是镜像，需要确保你的 Ollama 可以监听0.0.0.0。
|
||||
|
||||
##### 1. Linxu 系统
|
||||
|
||||
如果 Ollama 作为 systemd 服务运行，打开终端，编辑 Ollama 的 systemd 服务文件，使用命令sudo systemctl edit ollama.service，在[Service]部分添加Environment="OLLAMA_HOST=0.0.0.0"。保存并退出编辑器，然后执行sudo systemctl daemon - reload和sudo systemctl restart ollama使配置生效。
|
||||
|
||||
##### 2. MacOS 系统
|
||||
|
||||
打开终端，使用launchctl setenv ollama_host "0.0.0.0"命令设置环境变量，然后重启 Ollama 应用程序以使更改生效。
|
||||
|
||||
##### 3. Windows 系统
|
||||
|
||||
通过 “开始” 菜单或搜索栏打开 “编辑系统环境变量”，在 “系统属性” 窗口中点击 “环境变量”，在 “系统变量” 部分点击 “新建”，创建一个名为OLLAMA_HOST的变量，变量值设置为0.0.0.0，点击 “确定” 保存更改，最后从 “开始” 菜单重启 Ollama 应用程序。
|
||||
|
||||
### Ollama 拉取模型镜像
|
||||
|
||||
在安装 Ollama 后，本地是没有模型镜像的，需要自己去拉取 Ollama 中的模型镜像。命令如下：
|
||||
|
||||
```bash
|
||||
# Docker 部署需要先进容器，命令为： docker exec -it [ Ollama 容器名 ] /bin/sh
|
||||
ollama pull [模型名]
|
||||
```
|
||||
|
||||
|
||||
|
||||
|
||||
### 测试通信
|
||||
|
||||
在安装完成后，需要进行检测测试，首先进入 FastGPT 所在的容器，尝试访问自己的 Ollama ，命令如下：
|
||||
|
||||
```bash
|
||||
docker exec -it [ FastGPT 所在的容器名 ] /bin/sh
|
||||
curl http://XXX.XXX.XXX.XXX:11434 #容器部署地址为“http://[容器名]:[端口]”,主机安装地址为"http://[主机IP]:[端口]"，主机IP不可为localhost
|
||||
```
|
||||
|
||||
看到访问显示自己的 Ollama 服务以及启动，说明可以正常通信。
|
||||
|
||||
## 将 Ollama 接入 FastGPT
|
||||
|
||||
### 1. 查看 Ollama 所拥有的模型
|
||||
|
||||
首先采用下述命令查看 Ollama 中所拥有的模型，
|
||||
|
||||
```bash
|
||||
# Docker 部署 Ollama，需要此命令 docker exec -it [ Ollama 容器名 ] /bin/sh
|
||||
ollama ls
|
||||
```
|
||||
|
||||
|
||||
|
||||
### 2. AI Proxy 接入
|
||||
|
||||
如果你采用的是 FastGPT 中的默认配置文件部署[这里](/docs/development/docker.md)，即默认采用 AI Proxy 进行启动。
|
||||
|
||||
|
||||
|
||||
以及在确保你的 FastGPT 可以直接访问 Ollama 容器的情况下，无法访问，参考上文[点此跳转](#安装-ollama)的安装过程，检测是不是主机不能监测0.0.0.0，或者容器不在同一个网络。
|
||||
|
||||
|
||||
|
||||
在 FastGPT 中点击账号->模型提供商->模型配置->新增模型，添加自己的模型即可，添加模型时需要保证模型ID和 OneAPI 中的模型名称一致。详细参考[这里](/docs/development/modelConfig/intro.md)
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
运行 FastGPT ，在页面中选择账号->模型提供商->模型渠道->新增渠道。之后，在渠道选择中选择 Ollama ，然后加入自己拉取的模型，填入代理地址，如果是容器中安装 Ollama ，代理地址为http://地址:端口，补充：容器部署地址为“http://[容器名]:[端口]”,主机安装地址为"http://[主机IP]:[端口]"，主机IP不可为localhost
|
||||
|
||||
|
||||
|
||||
在工作台中创建一个应用，选择自己之前添加的模型，此处模型名称为自己当时设置的别名。注：同一个模型无法多次添加，系统会采取最新添加时设置的别名。
|
||||
|
||||
|
||||
|
||||
### 3. OneAPI 接入
|
||||
|
||||
如果你想使用 OneAPI ，首先需要拉取 OneAPI 镜像，然后将其在 FastGPT 容器的网络中运行。具体命令如下：
|
||||
|
||||
```bash
|
||||
# 拉取 oneAPI 镜像
|
||||
docker pull intel/oneapi-hpckit
|
||||
|
||||
# 运行容器并指定自定义网络和容器名
|
||||
docker run -it --network [ FastGPT 网络 ] --name 容器名 intel/oneapi-hpckit /bin/bash
|
||||
```
|
||||
|
||||
进入 OneAPI 页面，添加新的渠道，类型选择 Ollama ，在模型中填入自己 Ollama 中的模型，需要保证添加的模型名称和 Ollama 中一致，再在下方填入自己的 Ollama 代理地址，默认http://地址:端口，不需要填写/v1。添加成功后在 OneAPI 进行渠道测试，测试成功则说明添加成功。此处演示采用的是 Docker 部署 Ollama 的效果，主机 Ollama需要修改代理地址为http://[主机IP]:[端口]
|
||||
|
||||
|
||||
|
||||
渠道添加成功后，点击令牌，点击添加令牌，填写名称，修改配置。
|
||||
|
||||
|
||||
|
||||
修改部署 FastGPT 的 docker-compose.yml 文件，在其中将 AI Proxy 的使用注释，在 OPENAI_BASE_URL 中加入自己的 OneAPI 开放地址，默认是http://地址:端口/v1，v1必须填写。KEY 中填写自己在 OneAPI 的令牌。
|
||||
|
||||
|
||||
|
||||
[直接跳转5](#5-模型添加和使用)添加模型，并使用。
|
||||
|
||||
### 4. 直接接入
|
||||
|
||||
如果你既不想使用 AI Proxy，也不想使用 OneAPI，也可以选择直接接入，修改部署 FastGPT 的 docker-compose.yml 文件，在其中将 AI Proxy 的使用注释，采用和 OneAPI 的类似配置。注释掉 AIProxy 相关代码，在OPENAI_BASE_URL中加入自己的 Ollama 开放地址，默认是http://地址:端口/v1，强调:v1必须填写。在KEY中随便填入，因为 Ollama 默认没有鉴权，如果开启鉴权，请自行填写。其他操作和在 OneAPI 中加入 Ollama 一致，只需在 FastGPT 中加入自己的模型即可使用。此处演示采用的是 Docker 部署 Ollama 的效果，主机 Ollama需要修改代理地址为http://[主机IP]:[端口]
|
||||
|
||||
|
||||
|
||||
完成后[点击这里](#5-模型添加和使用)进行模型添加并使用。
|
||||
|
||||
### 5. 模型添加和使用
|
||||
|
||||
在 FastGPT 中点击账号->模型提供商->模型配置->新增模型，添加自己的模型即可，添加模型时需要保证模型ID和 OneAPI 中的模型名称一致。
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
在工作台中创建一个应用，选择自己之前添加的模型，此处模型名称为自己当时设置的别名。注：同一个模型无法多次添加，系统会采取最新添加时设置的别名。
|
||||
|
||||
|
||||
|
||||
### 6. 补充
|
||||
上述接入 Ollama 的代理地址中，主机安装 Ollama 的地址为“http://[主机IP]:[端口]”，容器部署 Ollama 地址为“http://[容器名]:[端口]”
|
||||
|
|
@ -0,0 +1,161 @@
|
|||
---
|
||||
title: 使用 Xinference 接入本地模型
|
||||
description: 一站式本地 LLM 私有化部署
|
||||
---
|
||||
|
||||
[Xinference](https://github.com/xorbitsai/inference) 是一款开源模型推理平台，除了支持 LLM，它还可以部署 Embedding 和 ReRank 模型，这在企业级 RAG 构建中非常关键。同时，Xinference 还提供 Function Calling 等高级功能。还支持分布式部署，也就是说，随着未来应用调用量的增长，它可以进行水平扩展。
|
||||
|
||||
## 安装 Xinference
|
||||
|
||||
Xinference 支持多种推理引擎作为后端，以满足不同场景下部署大模型的需要，下面会分使用场景来介绍一下这三种推理后端，以及他们的使用方法。
|
||||
|
||||
### 1. 服务器
|
||||
|
||||
如果你的目标是在一台 Linux 或者 Window 服务器上部署大模型，可以选择 Transformers 或 vLLM 作为 Xinference 的推理后端：
|
||||
|
||||
+ [Transformers](https://huggingface.co/docs/transformers/index)：通过集成 Huggingface 的 Transformers 库作为后端，Xinference 可以最快地 集成当今自然语言处理（NLP）领域的最前沿模型（自然也包括 LLM）。
|
||||
+ [vLLM](https://vllm.ai/): vLLM 是由加州大学伯克利分校开发的一个开源库，专为高效服务大型语言模型（LLM）而设计。它引入了 PagedAttention 算法， 通过有效管理注意力键和值来改善内存管理，吞吐量能够达到 Transformers 的 24 倍，因此 vLLM 适合在生产环境中使用，应对高并发的用户访问。
|
||||
|
||||
假设你服务器配备 NVIDIA 显卡，可以参考[这篇文章中的指令来安装 CUDA](https://xorbits.cn/blogs/langchain-streamlit-doc-chat)，从而让 Xinference 最大限度地利用显卡的加速功能。
|
||||
|
||||
#### Docker 部署
|
||||
|
||||
你可以使用 Xinference 官方的 Docker 镜像来一键安装和启动 Xinference 服务（确保你的机器上已经安装了 Docker），命令如下：
|
||||
|
||||
```bash
|
||||
docker run -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0
|
||||
```
|
||||
|
||||
#### 直接部署
|
||||
|
||||
首先我们需要准备一个 3.9 以上的 Python 环境运行来 Xinference，建议先根据 conda 官网文档安装 conda。 然后使用以下命令来创建 3.11 的 Python 环境：
|
||||
|
||||
```bash
|
||||
conda create --name py311 python=3.11
|
||||
conda activate py311
|
||||
```
|
||||
|
||||
以下两条命令在安装 Xinference 时，将安装 Transformers 和 vLLM 作为 Xinference 的推理引擎后端：
|
||||
|
||||
```bash
|
||||
pip install "xinference[transformers]"
|
||||
pip install "xinference[vllm]"
|
||||
pip install "xinference[transformers,vllm]" # 同时安装
|
||||
```
|
||||
|
||||
PyPi 在 安装 Transformers 和 vLLM 时会自动安装 PyTorch，但自动安装的 CUDA 版本可能与你的环境不匹配，此时你可以根据 PyTorch 官网中的[安装指南](https://pytorch.org/get-started/locally/)来手动安装。
|
||||
|
||||
只需要输入如下命令，就可以在服务上启动 Xinference 服务：
|
||||
|
||||
```bash
|
||||
xinference-local -H 0.0.0.0
|
||||
```
|
||||
|
||||
Xinference 默认会在本地启动服务，端口默认为 9997。因为这里配置了-H 0.0.0.0参数，非本地客户端也可以通过机器的 IP 地址来访问 Xinference 服务。
|
||||
|
||||
### 2. 个人设备
|
||||
|
||||
如果你想在自己的 Macbook 或者个人电脑上部署大模型，推荐安装 CTransformers 作为 Xinference 的推理后端。CTransformers 是用 GGML 实现的 C++ 版本 Transformers。
|
||||
|
||||
[GGML](https://ggml.ai/) 是一个能让大语言模型在[消费级硬件上运行](https://github.com/ggerganov/llama.cpp/discussions/205)的 C++ 库。 GGML 最大的特色在于模型量化。量化一个大语言模型其实就是降低权重表示精度的过程，从而减少使用模型所需的资源。 例如，表示一个高精度浮点数（例如 0.0001）比表示一个低精度浮点数（例如 0.1）需要更多空间。由于 LLM 在推理时需要加载到内存中的，因此你需要花费硬盘空间来存储它们，并且在执行期间有足够大的 RAM 来加载它们，GGML 支持许多不同的量化策略，每种策略在效率和性能之间提供不同的权衡。
|
||||
|
||||
通过以下命令来安装 CTransformers 作为 Xinference 的推理后端：
|
||||
|
||||
```bash
|
||||
pip install xinference
|
||||
pip install ctransformers
|
||||
```
|
||||
|
||||
因为 GGML 是一个 C++ 库，Xinference 通过 `llama-cpp-python` 这个库来实现语言绑定。对于不同的硬件平台，我们需要使用不同的编译参数来安装：
|
||||
|
||||
- Apple Metal（MPS）：`CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python`
|
||||
- Nvidia GPU：`CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python`
|
||||
- AMD GPU：`CMAKE_ARGS="-DLLAMA_HIPBLAS=on" pip install llama-cpp-python`
|
||||
|
||||
安装后只需要输入 `xinference-local`，就可以在你的 Mac 上启动 Xinference 服务。
|
||||
|
||||
## 创建并部署模型（以 Qwen-14B 模型为例）
|
||||
|
||||
### 1. WebUI 方式启动模型
|
||||
|
||||
Xinference 启动之后，在浏览器中输入: `http://127.0.0.1:9997`，我们可以访问到本地 Xinference 的 Web UI。
|
||||
|
||||
打开“Launch Model”标签，搜索到 qwen-chat，选择模型启动的相关参数，然后点击模型卡片左下方的小火箭🚀按钮，就可以部署该模型到 Xinference。 默认 Model UID 是 qwen-chat（后续通过将通过这个 ID 来访问模型）。
|
||||
|
||||
|
||||
|
||||
当你第一次启动 Qwen 模型时，Xinference 会从 HuggingFace 下载模型参数，大概需要几分钟的时间。Xinference 将模型文件缓存在本地，这样之后启动时就不需要重新下载了。 Xinference 还支持从其他模型站点下载模型文件，例如 [modelscope](https://inference.readthedocs.io/en/latest/models/sources/sources.html)。
|
||||
|
||||
### 2. 命令行方式启动模型
|
||||
|
||||
我们也可以使用 Xinference 的命令行工具来启动模型，默认 Model UID 是 qwen-chat（后续通过将通过这个 ID 来访问模型）。
|
||||
|
||||
```bash
|
||||
xinference launch -n qwen-chat -s 14 -f pytorch
|
||||
```
|
||||
|
||||
除了 WebUI 和命令行工具， Xinference 还提供了 Python SDK 和 RESTful API 等多种交互方式， 更多用法可以参考 [Xinference 官方文档](https://inference.readthedocs.io/en/latest/getting_started/index.html)。
|
||||
|
||||
## 将本地模型接入 One API
|
||||
|
||||
One API 的部署和接入请参考[这里](/docs/development/modelconfig/one-api/)。
|
||||
|
||||
为 qwen1.5-chat 添加一个渠道，这里的 Base URL 需要填 Xinference 服务的端点，并且注册 qwen-chat (模型的 UID) 。
|
||||
|
||||
|
||||
|
||||
可以使用以下命令进行测试：
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://[oneapi_url]/v1/chat/completions' \
|
||||
--header 'Authorization: Bearer [oneapi_token]' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"model": "qwen-chat",
|
||||
"messages": [{"role": "user", "content": "Hello!"}]
|
||||
}'
|
||||
```
|
||||
|
||||
将 [oneapi_url] 替换为你的 One API 地址，[oneapi_token] 替换为你的 One API 令牌。model 为刚刚在 One API 填写的自定义模型。
|
||||
|
||||
## 将本地模型接入 FastGPT
|
||||
|
||||
修改 FastGPT 的 `config.json` 配置文件的 llmModels 部分加入 qwen-chat 模型：
|
||||
|
||||
```json
|
||||
...
|
||||
"llmModels": [
|
||||
{
|
||||
"model": "qwen-chat", // 模型名(对应OneAPI中渠道的模型名)
|
||||
"name": "Qwen", // 模型别名
|
||||
"avatar": "/imgs/model/Qwen.svg", // 模型的logo
|
||||
"maxContext": 125000, // 最大上下文
|
||||
"maxResponse": 4000, // 最大回复
|
||||
"quoteMaxToken": 120000, // 最大引用内容
|
||||
"maxTemperature": 1.2, // 最大温度
|
||||
"charsPointsPrice": 0, // n积分/1k token（商业版）
|
||||
"censor": false, // 是否开启敏感校验（商业版）
|
||||
"vision": true, // 是否支持图片输入
|
||||
"datasetProcess": true, // 是否设置为知识库处理模型（QA），务必保证至少有一个为true，否则知识库会报错
|
||||
"usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为true）
|
||||
"usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为true）
|
||||
"usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为true）
|
||||
"toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。）
|
||||
"functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为false，则使用 functionCall，如果仍为 false，则使用提示词模式）
|
||||
"customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
|
||||
"customExtractPrompt": "", // 自定义内容提取提示词
|
||||
"defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
|
||||
"defaultConfig": {} // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
|
||||
}
|
||||
],
|
||||
...
|
||||
```
|
||||
|
||||
然后重启 FastGPT 就可以在应用配置中选择 Qwen 模型进行对话：
|
||||
|
||||
|
||||
---
|
||||
|
||||
+ 参考：[FastGPT + Xinference：一站式本地 LLM 私有化部署和应用开发](https://xorbits.cn/blogs/fastgpt-weather-chat)
|
||||
|
||||
|
||||
|
|
@ -0,0 +1,21 @@
|
|||
---
|
||||
title: 数据集
|
||||
description: FastGPT 数据集中文件与数据的设计方案
|
||||
---
|
||||
|
||||
## 文件与数据的关系
|
||||
|
||||
在 FastGPT 中，文件会通过 MongoDB 的 FS 存储，而具体的数据会通过 PostgreSQL 存储，PG 中的数据会有一列 file_id，关联对应的文件。考虑到旧版本的兼容，以及手动输入、标注数据等，我们给 file_id 增加了一些特殊的值，如下：
|
||||
|
||||
- manual: 手动输入
|
||||
- mark: 手动标注的数据
|
||||
|
||||
注意，file_id 仅在插入数据时会写入，变更时无法修改。
|
||||
|
||||
## 文件导入流程
|
||||
|
||||
1. 上传文件到 MongoDB 的 FS 中，获取 file_id，此时文件标记为 `unused` 状态
|
||||
2. 浏览器解析文件，获取对应的文本和 chunk
|
||||
3. 给每个 chunk 打上 file_id
|
||||
4. 点击上传数据：将文件的状态改为 `used`，并将数据推送到 mongo `training` 表中等待训练
|
||||
5. 由训练线程从 mongo 中取数据，并在获取向量后插入到 pg。
|
||||
|
|
@ -0,0 +1,86 @@
|
|||
---
|
||||
title: 系统插件设计
|
||||
description: FastGPT 系统插件设计方案
|
||||
---
|
||||
|
||||
## 背景
|
||||
|
||||
原先 FastGPT 的各项功能均在 FastGPT 的 Next.js 的框架内，通过 Monorepo 的方式进行组织。
|
||||
系统插件也作为一个 sub-repo 存在于 FastGPT/packages/plugin 下。
|
||||
|
||||
然而随着用户的增加，这种组织模式的弊端凸显：
|
||||
|
||||
1. 虽然 FastGPT 以每周一次的频率进行发版，但同样，系统插件必须伴随 FastGPT 的发版而发版，极大限制了系统插件的迭代速率。
|
||||
2. 如果社区希望为 FastGPT 提供插件，则需要将 FastGPT 整个应用运行起来，并且直接向主仓库发起 PR。
|
||||
3. 如果社区希望使用自定义的插件，则需要维护一个 FastGPT 的 fork 版本，并且手动维护更新和代码的合并，增加了开发的难度。
|
||||
4. 由于 Next.js/webpack 的限制，无法在运行时挂载新的插件，实现热插拔。
|
||||
|
||||
## 设计方案
|
||||
|
||||
因而，我们决定将系统插件拆分出来，到一个独立的 repo 中。
|
||||
|
||||
[FastGPT-plugin](https://github.com/labring/fastgpt-plugin)
|
||||
|
||||
拆分出来，主要有如下的目的：
|
||||
1. 解耦合，模块化：不只是 系统工具可以作为热加载的模块，也可以是其他的插件，例如知识库的插件，RAG 等等。
|
||||
2. FastGPT-plugin 可以快速迭代，版本不依赖于 FastGPT：FastGPT-plugin 可以更高频率的发版，支持热插拔可以在不发版的情况下更新插件。
|
||||
3. 降低开发复杂度（不需要运行 FastGPT 环境）：贡献插件时只需要独立运行 FastGPT-plugin 中提供的调试套件即可。
|
||||
4. 插件市场：后续可以实现插件市场，用户可以通过插件市场发布、获取自己需要的插件。
|
||||
|
||||
## 技术选型
|
||||
|
||||
|
||||
1. 使用 ts-rest 作为 RPC 框架进行交互，提供 sdk 供 FastGPT 主项目调用
|
||||
2. 使用 zod 进行类型验证
|
||||
3. 用 bun 进行编译，每个工具编译为单一的 `.js` 文件，支持热插拔。
|
||||
|
||||
## 项目结构
|
||||
|
||||
- **modules**
|
||||
- **tool** FastGPT 系统工具
|
||||
- **api** 接口实现逻辑
|
||||
- **packages** 系统工具目录（每一个都是一个 package）
|
||||
- getTime
|
||||
- dalle3
|
||||
- ...
|
||||
- **type** 类型定义
|
||||
- **utils** 工具
|
||||
- **scripts** 脚本（编译、创建新工具）
|
||||
- **sdk**: SDK 定义，供外部调用，发布到了 npm
|
||||
- **src**: 运行时，express 服务
|
||||
- **test**: 测试相关
|
||||
|
||||
系统工具的结构可以参考 [如何开发系统工具](/docs/guide/plugins/dev_system_tool)。
|
||||
|
||||
## 技术细节
|
||||
|
||||
### ts-rest 构建 contract，自动构建 openapi 对象，导出 client
|
||||
|
||||
[ts-rest](https://ts-rest.com/) 是一个 ts 的 restful api 框架。构建 contract 后，可以根据 contract 的定义
|
||||
编写处理逻辑，自动生成 openapi 对象、通过 createClient 导出 client 进行请求。
|
||||
|
||||
类似的 `tRPC` 也是一个 ts 的 RPC 框架。
|
||||
然而 tRPC 使用自己的一套请求格式，导致其他工具不方便接入。而使用 ts-rest 本质就是对 RESTful API 的简单封装，也能直接生成 openapi 对象。
|
||||
|
||||
### zod 类型校验
|
||||
|
||||
我们使用 zod 来实现类型校验。
|
||||
zod 可以实现在运行时的类型校验，也可以提供更高级的功能，例如参数转换，对象合并等。
|
||||
|
||||
### 使用 worker 实现插件的并行运行以及环境隔离
|
||||
|
||||
为了保证插件之间不会相互干扰，同时提高并发处理能力，FastGPT-plugin 采用 Worker 线程来实现插件的执行。每个工具在被调用时都会在独立的 Worker 中运行，
|
||||
这带来几个重要的优势：
|
||||
|
||||
1. 环境隔离：每个插件都是一个独立的 Worker 进程，插件之间不会影响。
|
||||
2. 并行处理：每个插件可以并行处理，提高整体性能。
|
||||
|
||||
### 使用 bun 进行打包
|
||||
|
||||
将插件 bundle 为一个单一的 `.js` 文件是一个重要的设计。这样可以将插件发布出来直接通过网络挂载等的形式使用。
|
||||
|
||||
## 未来规划
|
||||
|
||||
1. 可视化开发工具：提供可视化的插件开发和调试工具，降低开发门槛。
|
||||
2. 插件市场：建立插件市场，允许开发者发布和分享自己的插件。
|
||||
3. 更多插件类型：除了系统工具外，扩展到知识库插件、模型插件、RAG 插件等更多类型。
|
||||
|
|
@ -0,0 +1,4 @@
|
|||
{
|
||||
"title": "设计方案",
|
||||
"pages": ["dataset","design_plugin"]
|
||||
}
|
||||
|
|
@ -0,0 +1,364 @@
|
|||
---
|
||||
title: Docker Compose 快速部署
|
||||
description: 使用 Docker Compose 快速部署 FastGPT
|
||||
---
|
||||
|
||||
import { Alert } from '@/components/docs/Alert';
|
||||
|
||||
## 前置知识
|
||||
|
||||
1. 基础的网络知识：端口，防火墙……
|
||||
2. Docker 和 Docker Compose 基础知识
|
||||
3. 大模型相关接口和参数
|
||||
4. RAG 相关知识：向量模型，向量数据库，向量检索
|
||||
|
||||
## 部署架构图
|
||||
|
||||
|
||||
|
||||
<Alert icon="🤖" context="success">
|
||||
|
||||
- MongoDB：用于存储除了向量外的各类数据
|
||||
- PostgreSQL/Milvus：存储向量数据
|
||||
- OneAPI: 聚合各类 AI API，支持多模型调用 （任何模型问题，先自行通过 OneAPI 测试校验）
|
||||
|
||||
</Alert>
|
||||
|
||||
## 推荐配置
|
||||
|
||||
### PgVector版本
|
||||
|
||||
非常轻量，适合知识库索引量在 5000 万以下。
|
||||
|
||||
|
||||
| 环境 | 最低配置（单节点） | 推荐配置 |
|
||||
| ---- | ---- | ---- |
|
||||
| 测试（可以把计算进程设置少一些） | 2c4g | 2c8g |
|
||||
| 100w 组向量 | 4c8g 50GB | 4c16g 50GB |
|
||||
| 500w 组向量 | 8c32g 200GB | 16c64g 200GB |
|
||||
|
||||
|
||||
### Milvus版本
|
||||
|
||||
对于亿级以上向量性能更优秀。
|
||||
|
||||
[点击查看 Milvus 官方推荐配置](https://milvus.io/docs/prerequisite-docker.md)
|
||||
|
||||
|
||||
| 环境 | 最低配置（单节点） | 推荐配置 |
|
||||
| ---- | ---- | ---- |
|
||||
| 测试 | 2c8g | 4c16g |
|
||||
| 100w 组向量 | 未测试 | |
|
||||
| 500w 组向量 | | |
|
||||
|
||||
|
||||
### zilliz cloud版本
|
||||
|
||||
Zilliz Cloud 由 Milvus 原厂打造，是全托管的 SaaS 向量数据库服务，性能优于 Milvus 并提供 SLA，点击使用 [Zilliz Cloud](https://zilliz.com.cn/)。
|
||||
|
||||
由于向量库使用了 Cloud，无需占用本地资源，无需太关注。
|
||||
|
||||
## 前置工作
|
||||
|
||||
### 1. 确保网络环境
|
||||
|
||||
如果使用`OpenAI`等国外模型接口，请确保可以正常访问，否则会报错：`Connection error` 等。 方案可以参考：[代理方案](/docs/development/proxy/)
|
||||
|
||||
### 2. 准备 Docker 环境
|
||||
|
||||
<Tabs items={['Linux','MacOS','Windows']}>
|
||||
<Tab value="Linux">
|
||||
```bash
|
||||
# 安装 Docker
|
||||
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
|
||||
systemctl enable --now docker
|
||||
# 安装 docker-compose
|
||||
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
|
||||
chmod +x /usr/local/bin/docker-compose
|
||||
# 验证安装
|
||||
docker -v
|
||||
docker-compose -v
|
||||
# 如失效，自行百度~
|
||||
```
|
||||
</Tab>
|
||||
<Tab value="MacOS">
|
||||
推荐直接使用 [Orbstack](https://orbstack.dev/)。可直接通过 Homebrew 来安装：
|
||||
|
||||
```bash
|
||||
brew install orbstack
|
||||
```
|
||||
|
||||
或者直接[下载安装包](https://orbstack.dev/download)进行安装。
|
||||
</Tab>
|
||||
<Tab value="Windows">
|
||||
我们建议将源代码和其他数据绑定到 Linux 容器中时，将其存储在 Linux 文件系统中，而不是 Windows 文件系统中。
|
||||
|
||||
可以选择直接[使用 WSL 2 后端在 Windows 中安装 Docker Desktop](https://docs.docker.com/desktop/wsl/)。
|
||||
|
||||
也可以直接[在 WSL 2 中安装命令行版本的 Docker](https://nickjanetakis.com/blog/install-docker-in-wsl-2-without-docker-desktop)。
|
||||
</Tab>
|
||||
</Tabs>
|
||||
|
||||
## 开始部署
|
||||
|
||||
### 1. 下载 docker-compose.yml
|
||||
|
||||
非 Linux 环境或无法访问外网环境，可手动创建一个目录，并下载配置文件和对应版本的`docker-compose.yml`，在这个文件夹中依据下载的配置文件运行docker，若作为本地开发使用推荐`docker-compose-pgvector`版本，并且自行拉取并运行`sandbox`和`fastgpt`，并在docker配置文件中注释掉`sandbox`和`fastgpt`的部分
|
||||
|
||||
- [config.json](https://raw.githubusercontent.com/labring/FastGPT/refs/heads/main/projects/app/data/config.json)
|
||||
- [docker-compose.yml](https://github.com/labring/FastGPT/blob/main/deploy/docker) (注意，不同向量库版本的文件不一样)
|
||||
|
||||
<Alert icon="🤖" context="success">
|
||||
|
||||
所有 `docker-compose.yml` 配置文件中 `MongoDB` 为 5.x，需要用到AVX指令集，部分 CPU 不支持，需手动更改其镜像版本为 4.4.24**（需要自己在docker hub下载，阿里云镜像没做备份）
|
||||
|
||||
</Alert>
|
||||
|
||||
**Linux 快速脚本**
|
||||
|
||||
```bash
|
||||
mkdir fastgpt
|
||||
cd fastgpt
|
||||
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
|
||||
|
||||
# pgvector 版本(测试推荐，简单快捷)
|
||||
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-pgvector.yml
|
||||
# oceanbase 版本（需要将init.sql和docker-compose.yml放在同一个文件夹，方便挂载）
|
||||
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-oceanbase/docker-compose.yml
|
||||
# curl -o init.sql https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-oceanbase/init.sql
|
||||
# milvus 版本
|
||||
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-milvus.yml
|
||||
# zilliz 版本
|
||||
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-zilliz.yml
|
||||
```
|
||||
|
||||
### 2. 修改环境变量
|
||||
|
||||
找到 yml 文件中，fastgpt 容器的环境变量进行下面操作：
|
||||
|
||||
<Tabs items={['PgVector版本','Oceanbase版本','Milvus版本','Zilliz版本']}>
|
||||
<Tab value="PgVector版本">
|
||||
无需操作
|
||||
</Tab>
|
||||
<Tab value="Oceanbase版本">
|
||||
无需操作
|
||||
</Tab>
|
||||
<Tab value="Milvus版本">
|
||||
无需操作
|
||||
</Tab>
|
||||
<Tab value="Zilliz版本">
|
||||
打开 [Zilliz Cloud](https://zilliz.com.cn/), 创建实例并获取相关秘钥。
|
||||
|
||||
|
||||
|
||||
<Alert icon="🤖" context="success">
|
||||
|
||||
1. 修改`MILVUS_ADDRESS`和`MILVUS_TOKEN`链接参数，分别对应 `zilliz` 的 `Public Endpoint` 和 `Api key`，记得把自己ip加入白名单。
|
||||
|
||||
</Alert>
|
||||
</Tab>
|
||||
</Tabs>
|
||||
|
||||
### 3. 修改 config.json 配置文件
|
||||
|
||||
修改`config.json`文件中的`mcpServerProxyEndpoint`值，设置成`mcp server`的公网可访问地址，yml 文件中默认给出了映射到 3005 端口，如通过 IP 访问，则可能是：`120.172.2.10:3005`。
|
||||
|
||||
### 4. 启动容器
|
||||
|
||||
在 docker-compose.yml 同级目录下执行。请确保`docker-compose`版本最好在2.17以上，否则可能无法执行自动化命令。
|
||||
|
||||
```bash
|
||||
# 启动容器
|
||||
docker-compose up -d
|
||||
```
|
||||
|
||||
### 5. 访问 FastGPT
|
||||
|
||||
目前可以通过 `ip:3000` 直接访问(注意开放防火墙)。登录用户名为 `root`，密码为`docker-compose.yml`环境变量里设置的 `DEFAULT_ROOT_PSW`。
|
||||
|
||||
如果需要域名访问，请自行安装并配置 Nginx。
|
||||
|
||||
首次运行，会自动初始化 root 用户，密码为 `1234`（与环境变量中的`DEFAULT_ROOT_PSW`一致），日志可能会提示一次`MongoServerError: Unable to read from a snapshot due to pending collection catalog changes;`可忽略。
|
||||
|
||||
### 6. 配置模型
|
||||
|
||||
- 首次登录FastGPT后，系统会提示未配置`语言模型`和`索引模型`，并自动跳转模型配置页面。系统必须至少有这两类模型才能正常使用。
|
||||
- 如果系统未正常跳转，可以在`账号-模型提供商`页面，进行模型配置。[点击查看相关教程](/docs/development/modelconfig/ai-proxy)
|
||||
- 目前已知可能问题：首次进入系统后，整个浏览器 tab 无法响应。此时需要删除该tab，重新打开一次即可。
|
||||
|
||||
## FAQ
|
||||
|
||||
### 登录系统后，浏览器无法响应
|
||||
|
||||
无法点击任何内容，刷新也无效。此时需要删除该tab，重新打开一次即可。
|
||||
|
||||
### Mongo 副本集自动初始化失败
|
||||
|
||||
最新的 docker-compose 示例优化 Mongo 副本集初始化，实现了全自动。目前在 unbuntu20,22 centos7, wsl2, mac, window 均通过测试。仍无法正常启动，大部分是因为 cpu 不支持 AVX 指令集，可以切换 Mongo4.x 版本。
|
||||
|
||||
如果是由于，无法自动初始化副本集合，可以手动初始化副本集：
|
||||
|
||||
1. 终端中执行下面命令，创建mongo密钥：
|
||||
|
||||
```bash
|
||||
openssl rand -base64 756 > ./mongodb.key
|
||||
chmod 600 ./mongodb.key
|
||||
# 修改密钥权限，部分系统是admin，部分是root
|
||||
chown 999:root ./mongodb.key
|
||||
```
|
||||
|
||||
2. 修改 docker-compose.yml，挂载密钥
|
||||
|
||||
```yml
|
||||
mongo:
|
||||
# image: mongo:5.0.18
|
||||
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
|
||||
container_name: mongo
|
||||
ports:
|
||||
- 27017:27017
|
||||
networks:
|
||||
- fastgpt
|
||||
command: mongod --keyFile /data/mongodb.key --replSet rs0
|
||||
environment:
|
||||
# 默认的用户名和密码，只有首次允许有效
|
||||
- MONGO_INITDB_ROOT_USERNAME=myusername
|
||||
- MONGO_INITDB_ROOT_PASSWORD=mypassword
|
||||
volumes:
|
||||
- ./mongo/data:/data/db
|
||||
- ./mongodb.key:/data/mongodb.key
|
||||
```
|
||||
|
||||
3. 重启服务
|
||||
|
||||
```bash
|
||||
docker-compose down
|
||||
docker-compose up -d
|
||||
```
|
||||
|
||||
4. 进入容器执行副本集合初始化
|
||||
|
||||
```bash
|
||||
# 查看 mongo 容器是否正常运行
|
||||
docker ps
|
||||
# 进入容器
|
||||
docker exec -it mongo bash
|
||||
|
||||
# 连接数据库（这里要填Mongo的用户名和密码）
|
||||
mongo -u myusername -p mypassword --authenticationDatabase admin
|
||||
|
||||
# 初始化副本集。如果需要外网访问，mongo:27017 。如果需要外网访问，需要增加Mongo连接参数：directConnection=true
|
||||
rs.initiate({
|
||||
_id: "rs0",
|
||||
members: [
|
||||
{ _id: 0, host: "mongo:27017" }
|
||||
]
|
||||
})
|
||||
# 检查状态。如果提示 rs0 状态，则代表运行成功
|
||||
rs.status()
|
||||
```
|
||||
|
||||
### 如何修改API地址和密钥
|
||||
|
||||
默认是写了OneAPi的连接地址和密钥，可以通过修改`docker-compose.yml`中，fastgpt容器的环境变量实现。
|
||||
|
||||
`OPENAI_BASE_URL`（API 接口的地址，需要加/v1）
|
||||
`CHAT_API_KEY`（API 接口的凭证）。
|
||||
|
||||
修改完后重启：
|
||||
|
||||
```bash
|
||||
docker-compose down
|
||||
docker-compose up -d
|
||||
```
|
||||
|
||||
### 如何更新版本？
|
||||
|
||||
1. 查看[更新文档](/docs/development/upgrading/intro/)，确认要升级的版本，避免跨版本升级。
|
||||
2. 修改镜像 tag 到指定版本
|
||||
3. 执行下面命令会自动拉取镜像：
|
||||
|
||||
```bash
|
||||
docker-compose pull
|
||||
docker-compose up -d
|
||||
```
|
||||
|
||||
4. 执行初始化脚本（如果有）
|
||||
|
||||
### 如何自定义配置文件？
|
||||
|
||||
修改`config.json`文件，并执行`docker-compose down`再执行`docker-compose up -d`重起容器。具体配置，参考[配置详解](/docs/development/configuration)。
|
||||
|
||||
### 如何检查自定义配置文件是否挂载
|
||||
|
||||
1. `docker logs fastgpt` 可以查看日志，在启动容器后，第一次请求网页，会进行配置文件读取，可以看看有没有读取成功以及有无错误日志。
|
||||
2. `docker exec -it fastgpt sh` 进入 FastGPT 容器，可以通过`ls data`查看目录下是否成功挂载`config.json`文件。可通过`cat data/config.json`查看配置文件。
|
||||
|
||||
**可能不生效的原因**
|
||||
|
||||
1. 挂载目录不正确
|
||||
2. 配置文件不正确，日志中会提示`invalid json`，配置文件需要是标准的 JSON 文件。
|
||||
3. 修改后，没有`docker-compose down`再`docker-compose up -d`，restart是不会重新挂载文件的。
|
||||
|
||||
### 如何检查环境变量是否正常加载
|
||||
|
||||
1. `docker exec -it fastgpt sh` 进入 FastGPT 容器。
|
||||
2. 直接输入`env`命令查看所有环境变量。
|
||||
|
||||
### 为什么无法连接`本地模型`镜像
|
||||
|
||||
`docker-compose.yml`中使用了桥接的模式建立了`fastgpt`网络，如想通过0.0.0.0或镜像名访问其它镜像，需将其它镜像也加入到网络中。
|
||||
|
||||
### 端口冲突怎么解决？
|
||||
|
||||
docker-compose 端口定义为：`映射端口:运行端口`。
|
||||
|
||||
桥接模式下，容器运行端口不会有冲突，但是会有映射端口冲突，只需将映射端口修改成不同端口即可。
|
||||
|
||||
如果`容器1`需要连接`容器2`，使用`容器2:运行端口`来进行连接即可。
|
||||
|
||||
（自行补习 docker 基本知识）
|
||||
|
||||
### relation "modeldata" does not exist
|
||||
|
||||
PG 数据库没有连接上/初始化失败，可以查看日志。FastGPT 会在每次连接上 PG 时进行表初始化，如果报错会有对应日志。
|
||||
|
||||
1. 检查数据库容器是否正常启动
|
||||
2. 非 docker 部署的，需要手动安装 pg vector 插件
|
||||
3. 查看 fastgpt 日志，有没有相关报错
|
||||
|
||||
### Illegal instruction
|
||||
|
||||
可能原因：
|
||||
|
||||
1. arm架构。需要使用 Mongo 官方镜像： mongo:5.0.18
|
||||
2. cpu 不支持 AVX，无法用 mongo5，需要换成 mongo4.x。把 mongo 的 image 换成: mongo:4.4.29
|
||||
|
||||
### Operation `auth_codes.findOne()` buffering timed out after 10000ms
|
||||
|
||||
mongo连接失败，查看mongo的运行状态**对应日志**。
|
||||
|
||||
可能原因：
|
||||
|
||||
1. mongo 服务有没有起来（有些 cpu 不支持 AVX，无法用 mongo5，需要换成 mongo4.x，可以docker hub找个最新的4.x，修改镜像版本，重新运行）
|
||||
2. 连接数据库的环境变量填写错误（账号密码，注意host和port，非容器网络连接，需要用公网ip并加上 directConnection=true）
|
||||
3. 副本集启动失败。导致容器一直重启。
|
||||
4. `Illegal instruction.... Waiting for MongoDB to start`: cpu 不支持 AVX，无法用 mongo5，需要换成 mongo4.x
|
||||
|
||||
### 首次部署，root用户提示未注册
|
||||
|
||||
日志会有错误提示。大概率是没有启动 Mongo 副本集模式。
|
||||
|
||||
### 无法导出知识库、无法使用语音输入/播报
|
||||
|
||||
没配置 SSL 证书，无权使用部分功能。
|
||||
|
||||
### 登录提示 Network Error
|
||||
|
||||
由于服务初始化错误，系统重启导致。
|
||||
|
||||
- 90%是由于配置文件写不对，导致 JSON 解析报错
|
||||
- 剩下的基本是因为向量数据库连不上
|
||||
|
||||
### 如何修改密码
|
||||
|
||||
修改`docker-compose.yml`文件中`DEFAULT_ROOT_PSW`并重启即可，密码会自动更新。
|
||||
|
|
@ -0,0 +1,397 @@
|
|||
---
|
||||
title: 私有部署常见问题
|
||||
description: FastGPT 私有部署常见问题
|
||||
---
|
||||
|
||||
## 一、错误排查方式
|
||||
|
||||
可以先找找[Issue](https://github.com/labring/FastGPT/issues)，或新提 Issue，私有部署错误，务必提供详细的操作步骤、日志、截图，否则很难排查。
|
||||
|
||||
### 获取后端错误
|
||||
|
||||
1. `docker ps -a` 查看所有容器运行状态，检查是否全部 running，如有异常，尝试`docker logs 容器名`查看对应日志。
|
||||
2. 容器都运行正常的，`docker logs 容器名` 查看报错日志
|
||||
|
||||
### 前端错误
|
||||
|
||||
前端报错时，页面会出现崩溃，并提示检查控制台日志。可以打开浏览器控制台，并查看`console`中的 log 日志。还可以点击对应 log 的超链接，会提示到具体错误文件，可以把这些详细错误信息提供，方便排查。
|
||||
|
||||
### OneAPI 错误
|
||||
|
||||
带有`requestId`的，都是 OneAPI 提示错误，大部分都是因为模型接口报错。可以参考 [OneAPI 常见错误](/docs/development/faq/#三常见的-oneapi-错误)
|
||||
|
||||
## 二、通用问题
|
||||
|
||||
### 前端页面崩溃
|
||||
|
||||
1. 90% 情况是模型配置不正确：确保每类模型都至少有一个启用；检查模型中一些`对象`参数是否异常（数组和对象），如果为空，可以尝试给个空数组或空对象。
|
||||
2. 少部分是由于浏览器兼容问题，由于项目中包含一些高阶语法，可能低版本浏览器不兼容，可以将具体操作步骤和控制台中错误信息提供 issue。
|
||||
3. 关闭浏览器翻译功能，如果浏览器开启了翻译，可能会导致页面崩溃。
|
||||
|
||||
### 通过sealos部署的话，是否没有本地部署的一些限制？
|
||||
|
||||
|
||||
这是索引模型的长度限制，通过任何方式部署都一样的，但不同索引模型的配置不一样，可以在后台修改参数。
|
||||
|
||||
### 怎么挂载小程序配置文件
|
||||
|
||||
将验证文件，挂载到指定位置：/app/projects/app/public/xxxx.txt
|
||||
|
||||
然后重启。例如:
|
||||
|
||||
|
||||
|
||||
### 数据库3306端口被占用了，启动服务失败
|
||||
|
||||
|
||||
|
||||
把端口映射改成 3307 之类的，例如 3307:3306。
|
||||
|
||||
### 本地部署的限制
|
||||
|
||||
具体内容参考https://fael3z0zfze.feishu.cn/wiki/OFpAw8XzAi36Guk8dfucrCKUnjg。
|
||||
|
||||
### 能否纯本地运行
|
||||
|
||||
可以。需要准备好向量模型和LLM模型。
|
||||
|
||||
### 其他模型没法进行问题分类/内容提取
|
||||
|
||||
1. 看日志。如果提示 JSON invalid，not support tool 之类的，说明该模型不支持工具调用或函数调用，需要设置`toolChoice=false`和`functionCall=false`，就会默认走提示词模式。目前内置提示词仅针对了商业模型API进行测试。问题分类基本可用，内容提取不太行。
|
||||
2. 如果已经配置正常，并且没有错误日志，则说明可能提示词不太适合该模型，可以通过修改`customCQPrompt`来自定义提示词。
|
||||
|
||||
### 页面崩溃
|
||||
|
||||
1. 关闭翻译
|
||||
2. 检查配置文件是否正常加载，如果没有正常加载会导致缺失系统信息，在某些操作下会导致空指针。
|
||||
* 95%情况是配置文件不对。会提示 xxx undefined
|
||||
* 提示`URI malformed`，请 Issue 反馈具体操作和页面，这是由于特殊字符串编码解析报错。
|
||||
3. 某些api不兼容问题（较少）
|
||||
|
||||
### 开启内容补全后，响应速度变慢
|
||||
|
||||
1. 问题补全需要经过一轮AI生成。
|
||||
2. 会进行3~5轮的查询，如果数据库性能不足，会有明显影响。
|
||||
|
||||
### 页面中可以正常回复，API 报错
|
||||
|
||||
页面中是用 stream=true 模式，所以API也需要设置 stream=true 来进行测试。部分模型接口（国产居多）非 Stream 的兼容有点垃圾。
|
||||
和上一个问题一样，curl 测试。
|
||||
|
||||
### 知识库索引没有进度/索引很慢
|
||||
|
||||
先看日志报错信息。有以下几种情况：
|
||||
|
||||
1. 可以对话，但是索引没有进度：没有配置向量模型（vectorModels）
|
||||
2. 不能对话，也不能索引：API调用失败。可能是没连上OneAPI或OpenAI
|
||||
3. 有进度，但是非常慢：api key不行，OpenAI的免费号，一分钟只有3次还是60次。一天上限200次。
|
||||
|
||||
### Connection error
|
||||
|
||||
网络异常。国内服务器无法请求OpenAI，自行检查与AI模型的连接是否正常。
|
||||
|
||||
或者是FastGPT请求不到 OneAPI（没放同一个网络）
|
||||
|
||||
### 修改了 vectorModels 但是没有生效
|
||||
|
||||
1. 重启容器，确保模型配置已经加载（可以在日志或者新建知识库时候看到新模型）
|
||||
2. 记得刷新一次浏览器。
|
||||
3. 如果是已经创建的知识库，需要删除重建。向量模型是创建时候绑定的，不会动态更新。
|
||||
|
||||
## 三、常见的 OneAPI 错误
|
||||
|
||||
带有 requestId 的都是 OneAPI 的报错。
|
||||
|
||||
### insufficient_user_quota user quota is not enough
|
||||
|
||||
OneAPI 账号的余额不足，默认 root 用户只有 200 刀，可以手动修改。
|
||||
|
||||
路径：打开OneAPI -> 用户 -> root用户右边的编辑 -> 剩余余额调大
|
||||
|
||||
### xxx渠道找不到
|
||||
|
||||
FastGPT 模型配置文件中的 model 必须与 OneAPI 渠道中的模型对应上，否则就会提示这个错误。可检查下面内容：
|
||||
|
||||
1. OneAPI 中没有配置该模型渠道，或者被禁用了。
|
||||
2. FastGPT 配置文件有 OneAPI 没有配置的模型。如果 OneAPI 没有配置对应模型的，配置文件中也不要写。
|
||||
3. 使用旧的向量模型创建了知识库，后又更新了向量模型。这时候需要删除以前的知识库，重建。
|
||||
|
||||
如果OneAPI中，没有配置对应的模型，`config.json`中也不要配置，否则容易报错。
|
||||
|
||||
### 点击模型测试失败
|
||||
|
||||
OneAPI 只会测试渠道的第一个模型，并且只会测试对话模型，向量模型无法自动测试，需要手动发起请求进行测试。[查看测试模型命令示例](/docs/development/faq/#如何检查模型问题)
|
||||
### get request url failed: Post `"https://xxx"` dial tcp: xxxx
|
||||
|
||||
OneAPI 与模型网络不通，需要检查网络配置。
|
||||
|
||||
### Incorrect API key provided: sk-xxxx.You can find your api Key at xxx
|
||||
|
||||
OneAPI 的 API Key 配置错误，需要修改`OPENAI_API_KEY`环境变量，并重启容器（先 docker-compose down 然后再 docker-compose up -d 运行一次）。
|
||||
|
||||
可以`exec`进入容器，`env`查看环境变量是否生效。
|
||||
|
||||
### bad_response_status_code bad response status code 503
|
||||
|
||||
1. 模型服务不可用
|
||||
2. 模型接口参数异常（温度、max token等可能不适配）
|
||||
3. ....
|
||||
|
||||
|
||||
### Tiktoken 下载失败
|
||||
|
||||
由于 OneAPI 会在启动时从网络下载一个 tiktoken 的依赖，如果网络异常，就会导致启动失败。可以参考[OneAPI 离线部署](https://blog.csdn.net/wanh/article/details/139039216)解决。
|
||||
|
||||
## 四、常见模型问题
|
||||
|
||||
### 如何检查模型可用性问题
|
||||
|
||||
1. 私有部署模型，先确认部署的模型是否正常。
|
||||
2. 通过 CURL 请求，直接测试上游模型是否正常运行（云端模型或私有模型均进行测试）
|
||||
3. 通过 CURL 请求，请求 OneAPI 去测试模型是否正常。
|
||||
4. 在 FastGPT 中使用该模型进行测试。
|
||||
|
||||
下面是几个测试 CURL 示例：
|
||||
|
||||
<Tabs items={['LLM模型','Embedding模型','Rerank 模型','TTS 模型','Whisper 模型']}>
|
||||
<Tab value="LLM模型">
|
||||
```bash
|
||||
curl https://api.openai.com/v1/chat/completions \
|
||||
-H "Content-Type: application/json" \
|
||||
-H "Authorization: Bearer $OPENAI_API_KEY" \
|
||||
-d '{
|
||||
"model": "gpt-4o",
|
||||
"messages": [
|
||||
{
|
||||
"role": "system",
|
||||
"content": "You are a helpful assistant."
|
||||
},
|
||||
{
|
||||
"role": "user",
|
||||
"content": "Hello!"
|
||||
}
|
||||
]
|
||||
}'
|
||||
```
|
||||
</Tab>
|
||||
<Tab value="Embedding模型">
|
||||
```bash
|
||||
curl https://api.openai.com/v1/embeddings \
|
||||
-H "Authorization: Bearer $OPENAI_API_KEY" \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{
|
||||
"input": "The food was delicious and the waiter...",
|
||||
"model": "text-embedding-ada-002",
|
||||
"encoding_format": "float"
|
||||
}'
|
||||
```
|
||||
</Tab>
|
||||
<Tab value="Rerank 模型">
|
||||
```bash
|
||||
curl --location --request POST 'https://xxxx.com/api/v1/rerank' \
|
||||
--header 'Authorization: Bearer {{ACCESS_TOKEN}}' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"model": "bge-rerank-m3",
|
||||
"query": "导演是谁",
|
||||
"documents": [
|
||||
"你是谁？\n我是电影《铃芽之旅》助手"
|
||||
]
|
||||
}'
|
||||
```
|
||||
</Tab>
|
||||
<Tab value="TTS 模型">
|
||||
```bash
|
||||
curl https://api.openai.com/v1/audio/speech \
|
||||
-H "Authorization: Bearer $OPENAI_API_KEY" \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{
|
||||
"model": "tts-1",
|
||||
"input": "The quick brown fox jumped over the lazy dog.",
|
||||
"voice": "alloy"
|
||||
}' \
|
||||
--output speech.mp3
|
||||
```
|
||||
</Tab>
|
||||
<Tab value="Whisper 模型">
|
||||
```bash
|
||||
curl https://api.openai.com/v1/audio/transcriptions \
|
||||
-H "Authorization: Bearer $OPENAI_API_KEY" \
|
||||
-H "Content-Type: multipart/form-data" \
|
||||
-F file="@/path/to/file/audio.mp3" \
|
||||
-F model="whisper-1"
|
||||
```
|
||||
</Tab>
|
||||
</Tabs>
|
||||
|
||||
### 报错 - 模型响应为空/模型报错
|
||||
|
||||
该错误是由于 stream 模式下，oneapi 直接结束了流请求，并且未返回任何内容导致。
|
||||
|
||||
4.8.10 版本新增了错误日志，报错时，会在日志中打印出实际发送的 Body 参数，可以复制该参数后，通过 curl 向 oneapi 发起请求测试。
|
||||
|
||||
由于 oneapi 在 stream 模式下，无法正确捕获错误，有时候可以设置成 `stream=false` 来获取到精确的错误。
|
||||
|
||||
可能的报错问题：
|
||||
|
||||
1. 国内模型命中风控
|
||||
2. 不支持的模型参数：只保留 messages 和必要参数来测试，删除其他参数测试。
|
||||
3. 参数不符合模型要求：例如有的模型 temperature 不支持 0，有些不支持两位小数。max_tokens 超出，上下文超长等。
|
||||
4. 模型部署有问题，stream 模式不兼容。
|
||||
|
||||
测试示例如下，可复制报错日志中的请求体进行测试：
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://api.openai.com/v1/chat/completions' \
|
||||
--header 'Authorization: Bearer sk-xxxx' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"model": "xxx",
|
||||
"temperature": 0.01,
|
||||
"max_tokens": 1000,
|
||||
"stream": true,
|
||||
"messages": [
|
||||
{
|
||||
"role": "user",
|
||||
"content": " 你是饿"
|
||||
}
|
||||
]
|
||||
}'
|
||||
```
|
||||
|
||||
### 如何测试模型是否支持工具调用
|
||||
|
||||
需要模型提供商和 oneapi 同时支持工具调用才可使用，测试方法如下：
|
||||
|
||||
##### 1. 通过 `curl` 向 `oneapi` 发起第一轮 stream 模式的 tool 测试。
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://oneapi.xxx/v1/chat/completions' \
|
||||
--header 'Authorization: Bearer sk-xxxx' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"model": "gpt-4o-mini",
|
||||
"temperature": 0.01,
|
||||
"max_tokens": 8000,
|
||||
"stream": true,
|
||||
"messages": [
|
||||
{
|
||||
"role": "user",
|
||||
"content": "几点了"
|
||||
}
|
||||
],
|
||||
"tools": [
|
||||
{
|
||||
"type": "function",
|
||||
"function": {
|
||||
"name": "hCVbIY",
|
||||
"description": "获取用户当前时区的时间。",
|
||||
"parameters": {
|
||||
"type": "object",
|
||||
"properties": {},
|
||||
"required": []
|
||||
}
|
||||
}
|
||||
}
|
||||
],
|
||||
"tool_choice": "auto"
|
||||
}'
|
||||
```
|
||||
|
||||
##### 2. 检查响应参数
|
||||
|
||||
如果能正常调用工具，会返回对应 `tool_calls` 参数。
|
||||
|
||||
```json
|
||||
{
|
||||
"id": "chatcmpl-A7kwo1rZ3OHYSeIFgfWYxu8X2koN3",
|
||||
"object": "chat.completion.chunk",
|
||||
"created": 1726412126,
|
||||
"model": "gpt-4o-mini-2024-07-18",
|
||||
"system_fingerprint": "fp_483d39d857",
|
||||
"choices": [
|
||||
{
|
||||
"index": 0,
|
||||
"delta": {
|
||||
"role": "assistant",
|
||||
"content": null,
|
||||
"tool_calls": [
|
||||
{
|
||||
"index": 0,
|
||||
"id": "call_0n24eiFk8OUyIyrdEbLdirU7",
|
||||
"type": "function",
|
||||
"function": {
|
||||
"name": "mEYIcFl84rYC",
|
||||
"arguments": ""
|
||||
}
|
||||
}
|
||||
],
|
||||
"refusal": null
|
||||
},
|
||||
"logprobs": null,
|
||||
"finish_reason": null
|
||||
}
|
||||
],
|
||||
"usage": null
|
||||
}
|
||||
```
|
||||
|
||||
##### 3. 通过 `curl` 向 `oneapi` 发起第二轮 stream 模式的 tool 测试。
|
||||
|
||||
第二轮请求是把工具结果发送给模型。发起后会得到模型回答的结果。
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://oneapi.xxxx/v1/chat/completions' \
|
||||
--header 'Authorization: Bearer sk-xxx' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"model": "gpt-4o-mini",
|
||||
"temperature": 0.01,
|
||||
"max_tokens": 8000,
|
||||
"stream": true,
|
||||
"messages": [
|
||||
{
|
||||
"role": "user",
|
||||
"content": "几点了"
|
||||
},
|
||||
{
|
||||
"role": "assistant",
|
||||
"tool_calls": [
|
||||
{
|
||||
"id": "kDia9S19c4RO",
|
||||
"type": "function",
|
||||
"function": {
|
||||
"name": "hCVbIY",
|
||||
"arguments": "{}"
|
||||
}
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"tool_call_id": "kDia9S19c4RO",
|
||||
"role": "tool",
|
||||
"name": "hCVbIY",
|
||||
"content": "{\n \"time\": \"2024-09-14 22:59:21 Sunday\"\n}"
|
||||
}
|
||||
],
|
||||
"tools": [
|
||||
{
|
||||
"type": "function",
|
||||
"function": {
|
||||
"name": "hCVbIY",
|
||||
"description": "获取用户当前时区的时间。",
|
||||
"parameters": {
|
||||
"type": "object",
|
||||
"properties": {},
|
||||
"required": []
|
||||
}
|
||||
}
|
||||
}
|
||||
],
|
||||
"tool_choice": "auto"
|
||||
}'
|
||||
```
|
||||
|
||||
### 向量检索得分大于 1
|
||||
|
||||
由于模型没有归一化导致的。目前仅支持归一化的模型。
|
||||
|
|
@ -0,0 +1,209 @@
|
|||
---
|
||||
title: 快速开始本地开发
|
||||
description: 对 FastGPT 进行开发调试
|
||||
---
|
||||
|
||||
import { Alert } from '@/components/docs/Alert';
|
||||
import FastGPTLink from '@/components/docs/linkFastGPT';
|
||||
|
||||
本文档介绍了如何设置开发环境以构建和测试 <FastGPTLink>FastGPT</FastGPTLink>。
|
||||
|
||||
## 前置依赖项
|
||||
|
||||
您需要在计算机上安装和配置以下依赖项才能构建 <FastGPTLink>FastGPT</FastGPTLink>：
|
||||
|
||||
- [Git](http://git-scm.com/)
|
||||
- [Docker](https://www.docker.com/)（构建镜像）
|
||||
- [Node.js v20.14.0](http://nodejs.org)（版本尽量一样，可以使用nvm管理node版本）
|
||||
- [pnpm](https://pnpm.io/) 推荐版本 9.4.0 (目前官方的开发环境)
|
||||
- make命令: 根据不同平台，百度安装 (官方是GNU Make 4.3)
|
||||
|
||||
## 开始本地开发
|
||||
|
||||
<Alert context="success">
|
||||
|
||||
1. 用户默认的时区为 `Asia/Shanghai`,非 linux 环境时候，获取系统时间会异常，本地开发时候，可以将用户的时区调整成 UTC（+0）。
|
||||
2. 建议先服务器装好**数据库**，再进行本地开发。
|
||||
</Alert>
|
||||
|
||||
### 1. Fork 存储库
|
||||
|
||||
您需要 Fork [存储库](https://github.com/labring/FastGPT)。
|
||||
|
||||
### 2. 克隆存储库
|
||||
|
||||
克隆您在 GitHub 上 Fork 的存储库：
|
||||
|
||||
```
|
||||
git clone git@github.com:<github_username>/FastGPT.git
|
||||
```
|
||||
|
||||
**目录简要说明**
|
||||
|
||||
1. `projects` 目录下为 FastGPT 应用代码。其中 `app` 为 FastGPT 核心应用。（后续可能会引入其他应用）
|
||||
2. NextJS 框架前后端放在一起，API 服务位于 `src/pages/api` 目录内。
|
||||
3. `packages` 目录为共用代码，通过 workspace 被注入到 `projects` 中，已配置 monorepo 自动注入，无需额外打包。
|
||||
|
||||
### 3. 安装数据库
|
||||
|
||||
第一次开发，需要先部署数据库，建议本地开发可以随便找一台 2C2G 的轻量小数据库实践，或者新建文件夹并配置相关文件用以运行docker。数据库部署教程：[Docker 快速部署](/docs/development/docker/)。部署完了，可以本地访问其数据库。
|
||||
<Alert context="warning">
|
||||
Mongo 数据库需要注意，需要注意在连接地址中增加 `directConnection=true` 参数，才能连接上副本集的数据库。
|
||||
</Alert>
|
||||
|
||||
### 4. 初始配置
|
||||
|
||||
以下文件均在 `projects/app` 路径下。
|
||||
|
||||
**1. 环境变量**
|
||||
|
||||
复制`.env.template`文件，在同级目录下生成一个`.env.local` 文件，修改`.env.local` 里内容才是有效的变量。变量说明见 .env.template，主要需要修改`API_KEY`和数据库的地址与端口以及数据库账号的用户名和密码，具体配置需要和docker配置文件相同，其中用户名和密码如需修改需要修改docker配置文件、数据库和`.env.local`文件，不能只改一处。
|
||||
|
||||
**2. config 配置文件**
|
||||
|
||||
复制 `data/config.json` 文件，生成一个 `data/config.local.json` 配置文件，具体配置参数说明，可参考 [config 配置说明](/docs/development/configuration)
|
||||
|
||||
**注意：json 配置文件不能包含注释，介绍中为了方便看才加入的注释**
|
||||
|
||||
这个文件大部分时候不需要修改。只需要关注 `systemEnv` 里的参数：
|
||||
|
||||
- `vectorMaxProcess`: 向量生成最大进程，根据数据库和 key 的并发数来决定，通常单个 120 号，2c4g 服务器设置 10~15。
|
||||
- `qaMaxProcess`: QA 生成最大进程
|
||||
- `vlmMaxProcess`: 图片理解模型最大进程
|
||||
- `hnswEfSearch`: 向量搜索参数，仅对 PG 和 OB 生效，越大搜索精度越高但是速度越慢。
|
||||
|
||||
### 5. 运行
|
||||
|
||||
可参考项目根目录下的 `dev.md`，第一次编译运行可能会有点慢，需要点耐心哦
|
||||
|
||||
```bash
|
||||
# 代码根目录下执行，会安装根 package、projects 和 packages 内所有依赖
|
||||
# 如果提示 isolate-vm 安装失败，可以参考：https://github.com/laverdet/isolated-vm?tab=readme-ov-file#requirements
|
||||
pnpm i
|
||||
|
||||
# 非 Make 运行
|
||||
cd projects/app
|
||||
pnpm dev
|
||||
|
||||
# Make 运行
|
||||
make dev name=app
|
||||
```
|
||||
|
||||
### 6. 部署打包
|
||||
|
||||
```bash
|
||||
# Docker cmd: Build image, not proxy
|
||||
docker build -f ./projects/app/Dockerfile -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 . --build-arg name=app
|
||||
# Make cmd: Build image, not proxy
|
||||
make build name=app image=registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1
|
||||
|
||||
# Docker cmd: Build image with proxy
|
||||
docker build -f ./projects/app/Dockerfile -t registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 . --build-arg name=app --build-arg proxy=taobao
|
||||
# Make cmd: Build image with proxy
|
||||
make build name=app image=registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 proxy=taobao
|
||||
```
|
||||
|
||||
如果不使用 `docker` 打包，需要手动把 `Dockerfile` 里 run 阶段的内容全部手动执行一遍（非常不推荐）。
|
||||
|
||||
## 提交代码至开源仓库
|
||||
|
||||
1. 确保你的代码是 Fork [FastGPT](https://github.com/labring/FastGPT) 仓库
|
||||
2. 尽可能少量的提交代码，每次提交仅解决一个问题。
|
||||
3. 向 FastGPT 的 main 分支提交一个 PR，提交请求后，FastGPT 团队/社区的其他人将与您一起审查它。
|
||||
|
||||
如果遇到问题，比如合并冲突或不知道如何打开拉取请求，请查看 GitHub 的[拉取请求教程](https://docs.github.com/en/pull-requests/collaborating-with-pull-requests)，了解如何解决合并冲突和其他问题。一旦您的 PR 被合并，您将自豪地被列为[贡献者表](https://github.com/labring/FastGPT/graphs/contributors)中的一员。
|
||||
|
||||
## QA
|
||||
|
||||
### 本地数据库无法连接
|
||||
|
||||
1. 如果你是连接远程的数据库，先检查对应的端口是否开放。
|
||||
2. 如果是本地运行的数据库，可尝试`host`改成`localhost`或`127.0.0.1`
|
||||
3. 本地连接远程的 Mongo，需要增加 `directConnection=true` 参数，才能连接上副本集的数据库。
|
||||
4. mongo使用`mongocompass`客户端进行连接测试和可视化管理。
|
||||
5. pg使用`navicat`进行连接和管理。
|
||||
|
||||
### sh ./scripts/postinstall.sh 没权限
|
||||
|
||||
FastGPT 在`pnpm i`后会执行`postinstall`脚本，用于自动生成`ChakraUI`的`Type`。如果没有权限，可以先执行`chmod -R +x ./scripts/`，再执行`pnpm i`。
|
||||
|
||||
仍不可行的话，可以手动执行`./scripts/postinstall.sh`里的内容。
|
||||
*如果是Windows下的话，可以使用git bash给`postinstall`脚本添加执行权限并执行sh脚本*
|
||||
|
||||
### TypeError: Cannot read properties of null (reading 'useMemo' )
|
||||
|
||||
删除所有的`node_modules`，用 Node18 重新 install 试试，可能最新的 Node 有问题。 本地开发流程：
|
||||
|
||||
1. 根目录: `pnpm i`
|
||||
2. 复制 `config.json` -> `config.local.json`
|
||||
3. 复制 `.env.template` -> `.env.local`
|
||||
4. `cd projects/app`
|
||||
5. `pnpm dev`
|
||||
|
||||
### Error response from daemon: error while creating mount source path 'XXX': mkdir XXX: file exists
|
||||
|
||||
这个错误可能是之前停止容器时有文件残留导致的，首先需要确认相关镜像都全部关闭，然后手动删除相关文件或者重启docker即可
|
||||
|
||||
## 加入社区
|
||||
|
||||
遇到困难了吗？有任何问题吗? 加入飞书群与开发者和用户保持沟通。
|
||||
|
||||
<img width="400px" src="https://oss.laf.run/otnvvf-imgs/fastgpt-feishu1.png" className="medium-zoom-image" />
|
||||
|
||||
## 代码结构说明
|
||||
|
||||
### nextjs
|
||||
|
||||
FastGPT 使用了 nextjs 的 page route 作为框架。为了区分好前后端代码，在目录分配上会分成 global, service, web 3个自目录，分别对应着 `前后端共用`、`后端专用`、`前端专用`的代码。
|
||||
|
||||
### monorepo
|
||||
|
||||
FastGPT 采用 pnpm workspace 方式构建 monorepo 项目，主要分为两个部分：
|
||||
|
||||
- projects/app - FastGPT 主项目
|
||||
- packages/ - 子模块
|
||||
- global - 共用代码，通常是放一些前后端都能执行的函数、类型声明、常量。
|
||||
- service - 服务端代码
|
||||
- web - 前端代码
|
||||
- plugin - 工作流自定义插件的代码
|
||||
|
||||
### 领域驱动模式（DDD）
|
||||
|
||||
FastGPT 在代码模块划分时，按DDD的思想进行划分，主要分为以下几个领域：
|
||||
|
||||
core - 核心功能（知识库，工作流，应用，对话）
|
||||
support - 支撑功能（用户体系，计费，鉴权等）
|
||||
common - 基础功能（日志管理，文件读写等）
|
||||
|
||||
<details>
|
||||
<summary>代码结构说明</summary>
|
||||
|
||||
```
|
||||
.
|
||||
├── .github // github 相关配置
|
||||
├── .husky // 格式化配置
|
||||
├── docSite // 文档
|
||||
├── files // 一些外部文件，例如 docker-compose, helm
|
||||
├── packages // 子包
|
||||
│ ├── global // 前后端通用子包
|
||||
│ ├── plugins // 工作流插件（需要自定义包时候使用到）
|
||||
│ ├── service // 后端子包
|
||||
│ └── web // 前端子包
|
||||
├── projects
|
||||
│ └── app // FastGPT 主项目
|
||||
├── python // 存放一些模型代码，和 FastGPT 本身无关
|
||||
└── scripts // 一些自动化脚本
|
||||
├── icon // icon预览脚本，可以在顶层 pnpm initIcon(把svg写入到代码中), pnpm previewIcon（预览icon）
|
||||
└── postinstall.sh // chakraUI自定义theme初始化 ts 类型
|
||||
├── package.json // 顶层monorepo
|
||||
├── pnpm-lock.yaml
|
||||
├── pnpm-workspace.yaml // monorepo 声明
|
||||
├── Dockerfile
|
||||
├── LICENSE
|
||||
├── README.md
|
||||
├── README_en.md
|
||||
├── README_ja.md
|
||||
├── dev.md
|
||||
```
|
||||
|
||||
</details>
|
||||
|
|
@ -0,0 +1,6 @@
|
|||
{
|
||||
"title": "开发与部署指南",
|
||||
"description": "FastGPT 开发与部署指南",
|
||||
"icon": "🔧",
|
||||
"pages": ["intro","sealos","configuration","docker","faq","modelConfig","upgrading","openapi","custom-models","proxy","migration","design"]
|
||||
}
|
||||
|
|
@ -0,0 +1,20 @@
|
|||
---
|
||||
title: Docker 数据库迁移(无脑操作)
|
||||
description: FastGPT Docker 数据库备份和迁移
|
||||
---
|
||||
|
||||
## 1. 停止服务
|
||||
|
||||
```bash
|
||||
docker-compose down
|
||||
```
|
||||
|
||||
|
||||
## 2. Copy文件夹
|
||||
|
||||
Docker 部署数据库都会通过 volume 挂载本地的目录进入容器，如果要迁移，直接复制这些目录即可。
|
||||
|
||||
`PG 数据`: pg/data
|
||||
`Mongo 数据`: mongo/data
|
||||
|
||||
直接把pg 和 mongo目录全部复制走即可。
|
||||
|
|
@ -0,0 +1,183 @@
|
|||
---
|
||||
title: Docker Mongo迁移(dump模式)
|
||||
description: FastGPT Docker Mongo迁移
|
||||
---
|
||||
|
||||
## 作者
|
||||
|
||||
[https://github.com/samqin123](https://github.com/samqin123)
|
||||
|
||||
[相关PR。有问题可打开这里与作者交流](https://github.com/labring/FastGPT/pull/1426)
|
||||
|
||||
## 介绍
|
||||
|
||||
如何使用Mongodump来完成从A环境到B环境的Fastgpt的mongodb迁移
|
||||
|
||||
前提说明：
|
||||
|
||||
A环境：我在阿里云上部署的fastgpt，现在需要迁移到B环境。
|
||||
B环境：是新环境比如腾讯云新部署的fastgpt，更特殊一点的是，NAS（群晖或者QNAP）部署了fastgpt，mongo必须改成4.2或者4.4版本（其实云端更方便，支持fastgpt mongo默认版本）
|
||||
C环境：妥善考虑，用本地电脑作为C环境过渡，保存相关文件并分离操作
|
||||
|
||||
|
||||
## 1. 环境准备：进入 docker mongo 【A环境】
|
||||
```
|
||||
docker exec -it mongo sh
|
||||
mongo -u 'username' -p 'password'
|
||||
>> show dbs
|
||||
```
|
||||
看到fastgpt数据库，以及其它几个，确定下导出数据库名称
|
||||
准备：
|
||||
检查数据库，容器和宿主机都创建一下 backup 目录 【A环境 + C环境】
|
||||
|
||||
##### 准备：
|
||||
|
||||
检查数据库，容器和宿主机都创建一下"数据导出导入"临时目录 ，比如data/backup 【A环境建目录 + C环境建目录用于同步到容器中】
|
||||
|
||||
#### 先在【A环境】创建文件目录，用于dump导出操作
|
||||
容器：（先进入fastgpt docker容器）
|
||||
```
|
||||
docker exec -it fastgpt sh
|
||||
mkdir -p /data/backup
|
||||
```
|
||||
|
||||
建好后，未来导出mongo的数据，会在A环境本地fastgpt的安装目录/Data/下看到自动同步好的目录，数据会在data\backup中，然后可以衔接后续的压缩和下载转移动作。如果没有同步到本地，也可以手动建一下，配合docker cp 把文件拷到本地用（基本不会发生）
|
||||
|
||||
#### 然后，【C环境】宿主机目录类似操作，用于把上传的文件自动同步到C环境部署的fastgpt容器里。
|
||||
到fastgpt目录，进入mongo目录，有data目录，下面建backup
|
||||
```
|
||||
mkdir -p /fastgpt/data/backup
|
||||
```
|
||||
准备好后，后续上传
|
||||
```
|
||||
### 新fastgpt环境【B】中也需要建一个，比如/fastgpt/mongobackup目录，注意不要在fastgpt/data目录下建立目录
|
||||
```
|
||||
mkdir -p /fastgpt/mongobackup
|
||||
```
|
||||
|
||||
###2. 正题开始，从fastgpt老环境【A】中导出数据
|
||||
进入A环境，使用mongodump 导出mongo数据库。
|
||||
|
||||
#### 2.1 导出
|
||||
可以使用mongodump在源头容器中导出数据文件, 导出路径为上面指定临时目录，即"data\backup"
|
||||
|
||||
[导出的文件在代码中指定为/data/backup，因为fastgpt配置文件已经建立了data的持久化，所以会同步到容器所在环境本地fast/mongo/data应该就能看到这个导出的目录：backup，里面有文件]
|
||||
|
||||
一行指令导出代码，在服务器本地环境运行，不需要进入容器。
|
||||
```
|
||||
docker exec -it mongo bash -c "mongodump --db fastgpt -u 'username' -p 'password' --authenticationDatabase admin --out /data/backup"
|
||||
```
|
||||
|
||||
也可以进入环境，熟手可以结合建目录，一次性完成建导出目录，以及使用mongodump导出数据到该目录
|
||||
```
|
||||
1.docker exec -it fastgpt sh
|
||||
|
||||
2.mkdir -p /data/backup
|
||||
|
||||
3. mongodump --host 127.0.0.1:27017 --db fastgpt -u "username" -p "password" --authenticationDatabase admin --out /data/backup
|
||||
|
||||
|
||||
##### 补充：万一没自动同步，也可以将mongodump导出的文件，手工导出到宿主机【A环境】，备用指令如下：
|
||||
```
|
||||
docker cp mongo:/data/backup [A环境本地fastgpt目录]:/fastgpt/data/backup>
|
||||
```
|
||||
|
||||
2.2 对新手，建议稳妥起见，压缩这个文件目录，并将压缩文件下载到本地过渡环境【A环境 -> C环境】；原因是因为留存一份，并且检查文件数量是否一致。
|
||||
|
||||
熟手可以直接复制到新部署服务器（腾讯云或者NAS）【A环境-> B环境】
|
||||
|
||||
|
||||
2.2.1 先进入 【A环境】源头系统的本地环境 fastgpt/mongo/data 目录
|
||||
|
||||
```
|
||||
cd /usr/fastgpt/mongo/data
|
||||
```
|
||||
|
||||
#执行，压缩文件命令
|
||||
```
|
||||
tar -czvf ../fastgpt-mongo-backup-$(date +%Y-%m-%d).tar.gz ./ 【A环境】
|
||||
```
|
||||
#接下来，把压缩包下载到本地 【A环境-> C环境】，以便于检查和留存版本。熟手，直接将该压缩包同步到B环境中新fastgpt目录data目录下备用。
|
||||
|
||||
```
|
||||
scp -i /Users/path/[user.pem换成你自己的pem文件链接] root@[fastgpt所在云服务器地址]:/usr/fastgpt/mongo/fastgptbackup-2024-05-03.tar.gz /[本地电脑路径]/Downloads/fastgpt
|
||||
|
||||
```
|
||||
熟手直接换成新环境地址
|
||||
|
||||
```
|
||||
scp -i /Users/path/[user.pem换成你自己的pem文件链接] root@[老环境fastgpt服务器地址]:/usr/fastgpt/mongo/fastgptbackup-2024-05-03.tar.gz root@[新环境fastgpt服务器地址]:/Downloads/fastgpt2
|
||||
|
||||
```
|
||||
|
||||
2.2 【C环境】检查压缩文件是否完整，如果不完整，重新导出。事实上，我也出现过问题，因为跨环境scp会出现丢数据的情况。
|
||||
|
||||
压缩数据包导入到C环境本地后，可以考虑在宿主机目录解压缩，放在一个自定义目录比如. [ user/fastgpt/mongobackup/data]
|
||||
|
||||
```
|
||||
tar -xvzf fastgptbackup-2024-05-03.tar.gz -C user/fastgpt/mongobackup/data
|
||||
```
|
||||
解压缩后里面是bson文件，这里可以检查下，压缩文件数量是否一致。如果不一致，后续启动新环境的fastgpt容器，也不会有任何数据。
|
||||
|
||||
<img width="1561" alt="image" src="https://github.com/labring/FastGPT/assets/103937568/cbb8a93c-5834-4a0d-be6c-c45c701f593e" />
|
||||
|
||||
|
||||
如果没问题，准备进入下一步，将压缩包文件上传到B环境，也就是新fastgpt环境里的指定目录，比如/fastgpt/mongobackup, 注意不要放到fastgpt/data目录下，因为下面会先清空一次这个目录，否则导入会报错。
|
||||
```
|
||||
scp -rfv [本地电脑路径]/Downloads/fastgpt/fastgptbackup-2024-05-03.tar.gz root@[新环境fastgpt服务器地址]:/Downloads/fastgpt/backup
|
||||
```
|
||||
|
||||
## 3 导入恢复： 实际恢复和导入步骤
|
||||
|
||||
### 3.1. 进入新fastgpt本地环境的安装目录后，找到迁移的压缩文件包fastgptbackup-2024-05-03.tar.gz，解压缩到指定目录
|
||||
|
||||
```
|
||||
tar -xvzf fastgptbackup-2024-05-03.tar.gz -C user/fastgpt/mongobackup/data
|
||||
```
|
||||
再次核对文件数量，和上面对比一下。
|
||||
|
||||
熟手可以用tar指令检查文件完整性，上面是给新手准备的，便于比对核查。
|
||||
|
||||
|
||||
### 3.2 手动上传新fastgpt docker容器里备用 【C环境】
|
||||
说明：因为没有放在data里，所以不会自动同步到容器里。而且要确保容器的data目录被清理干净，否则导入时会报错。
|
||||
|
||||
```
|
||||
docker cp user/fastgpt/mongobackup/data mongo:/tmp/backup
|
||||
```
|
||||
|
||||
### 3.3 建议初始化一次docker compose ，运行后建立新的 mongo/data 持久化目录
|
||||
如果不是初始化的 mongo/db 目录， mongorestore 导入可能会报错。如果报错，建议尝试初始化mongo。
|
||||
|
||||
操作指令
|
||||
```
|
||||
cd /fastgpt安装目录/mongo/data
|
||||
rm -rf *
|
||||
```
|
||||
|
||||
|
||||
4.恢复： mongorestore 恢复 【C环境】
|
||||
简单一点，退回到本地环境，用 docker 命令一键导入，当然你也可以在容器里操作
|
||||
|
||||
```
|
||||
docker exec -it mongo mongorestore -u "username" -p "password" --authenticationDatabase admin /tmp/backup/ --db fastgpt
|
||||
```
|
||||
<img width="1668" alt="image" src="https://github.com/labring/FastGPT/assets/103937568/32c2cdb8-bf80-4d31-9269-4bf3909cf04e" />
|
||||
注意：导入文件数量量级太少，大概率是没导入成功的表现。如果导入不成功，新环境fastgpt可以登入，但是一片空白。
|
||||
|
||||
|
||||
5.重启容器 【C环境】
|
||||
```
|
||||
docker compose restart
|
||||
docker logs -f mongo **强烈建议先检查mongo运行情况，在去做登录动作，如果mongo报错，访问web也会报错"
|
||||
```
|
||||
|
||||
如果mongo启动正常，显示的是类似这样的，而不是 "mongo is restarting"，后者就是错误
|
||||
<img width="1736" alt="iShot_2024-05-09_19 21 26" src="https://github.com/labring/FastGPT/assets/103937568/94ee00db-43de-48bd-a1fc-22dfe86aaa90" />
|
||||
|
||||
报错情况
|
||||
<img width="508" alt="iShot_2024-05-09_19 23 13" src="https://github.com/labring/FastGPT/assets/103937568/2e2afc9f-484c-4b63-93ee-1c14aef03de0" />
|
||||
|
||||
|
||||
6. 启动fastgpt容器服务后，登录新fastgpt web，能看到原来的数据库内容完整显示，说明已经导入系统了。
|
||||
<img width="1728" alt="iShot_2024-05-09_19 23 51" src="https://github.com/labring/FastGPT/assets/103937568/846b6157-6b6a-4468-a1d9-c44d681ebf7c" />
|
||||
|
|
@ -0,0 +1,4 @@
|
|||
{
|
||||
"title": "迁移&备份",
|
||||
"pages": ["docker_db","docker_mongo"]
|
||||
}
|
||||
|
|
@ -0,0 +1,125 @@
|
|||
---
|
||||
title: 通过 AI Proxy 接入模型
|
||||
description: 通过 AI Proxy 接入模型
|
||||
---
|
||||
|
||||
从 `FastGPT 4.8.23` 版本开始，引入 AI Proxy 来进一步方便模型的配置。
|
||||
|
||||
AI Proxy 与 One API 类似，也是作为一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。
|
||||
|
||||
## 部署
|
||||
|
||||
### Docker 版本
|
||||
|
||||
`docker-compose.yml` 文件已加入了 AI Proxy 配置，可直接使用。[点击查看最新的 yml 配置](https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose-pgvector.yml)
|
||||
|
||||
从旧版升级的用户，可以复制 yml 里，ai proxy 的配置，加入到旧的 yml 文件中。
|
||||
|
||||
## 运行原理
|
||||
|
||||
AI proxy 核心模块:
|
||||
|
||||
1. 渠道管理：管理各家模型提供商的 API Key 和可用模型列表。
|
||||
2. 模型调用：根据请求的模型，选中对应的渠道；根据渠道的 API 格式，构造请求体，发送请求；格式化响应体成标准格式返回。
|
||||
3. 调用日志：详细记录模型调用的日志，并在错误时候可以记录其入参和报错信息，方便排查。
|
||||
|
||||
运行流程：
|
||||
|
||||
|
||||
|
||||
## 在 FastGPT 中使用
|
||||
|
||||
AI proxy 相关功能，可以在`账号-模型提供商`页面找到。
|
||||
|
||||
### 1. 创建渠道
|
||||
|
||||
在`模型提供商`的配置页面，点击`模型渠道`，进入渠道配置页面
|
||||
|
||||
|
||||
|
||||
点击右上角的“新增渠道”，即可进入渠道配置页面
|
||||
|
||||
|
||||
|
||||
以阿里云的模型为例，进行如下配置
|
||||
|
||||
|
||||
|
||||
1. 渠道名：展示在外部的渠道名称，仅作标识;
|
||||
2. 厂商：模型对应的厂商，不同厂商对应不同的默认地址和 API 密钥格式;
|
||||
3. 模型：当前渠道具体可以使用的模型，系统内置了主流的一些模型，如果下拉框中没有想要的选项，可以点击“新增模型”，[增加自定义模型](/docs/development/modelconfig/intro/#新增自定义模型);
|
||||
4. 模型映射：将 FastGPT 请求的模型，映射到具体提供的模型上。例如：
|
||||
|
||||
```json
|
||||
{
|
||||
"gpt-4o-test": "gpt-4o",
|
||||
}
|
||||
```
|
||||
|
||||
FatGPT 中的模型为 `gpt-4o-test`，向 AI Proxy 发起请求时也是 `gpt-4o-test`。AI proxy 在向上游发送请求时，实际的`model`为 `gpt-4o`。
|
||||
|
||||
5. 代理地址：具体请求的地址，系统给每个主流渠道配置了默认的地址，如果无需改动则不用填。
|
||||
6. API 密钥：从模型厂商处获取的 API 凭证。注意部分厂商需要提供多个密钥组合，可以根据提示进行输入。
|
||||
|
||||
最后点击“新增”，就能在“模型渠道”下看到刚刚配置的渠道
|
||||
|
||||
|
||||
|
||||
### 2. 渠道测试
|
||||
|
||||
然后可以对渠道进行测试，确保配置的模型有效
|
||||
|
||||
|
||||
|
||||
点击“模型测试”，可以看到配置的模型列表，点击“开始测试”
|
||||
|
||||
|
||||
|
||||
等待模型测试完成后，会输出每个模型的测试结果以及请求时长
|
||||
|
||||
|
||||
|
||||
### 3. 启用模型
|
||||
|
||||
最后在`模型配置`中，可以选择启用对应的模型，这样就能在平台中使用了，更多模型配置可以参考[模型配置](/docs/development/modelconfig/intro)
|
||||
|
||||
|
||||
|
||||
## 其他功能介绍
|
||||
|
||||
### 优先级
|
||||
|
||||
范围1～100。数值越大，越容易被优先选中。
|
||||
|
||||
|
||||
|
||||
### 启用/禁用
|
||||
|
||||
在渠道右侧的控制菜单中，还可以控制渠道的启用或禁用，被禁用的渠道将无法再提供模型服务
|
||||
|
||||
|
||||
|
||||
### 调用日志
|
||||
|
||||
在 `调用日志` 页面，会展示发送到模型处的请求记录，包括具体的输入输出 tokens、请求时间、请求耗时、请求地址等等。错误的请求，则会详细的入参和错误信息，方便排查，但仅会保留 1 小时(环境变量里可配置)。
|
||||
|
||||
|
||||
|
||||
## 从 OneAPI 迁移到 AI Proxy
|
||||
|
||||
可以从任意终端，发起 1 个 HTTP 请求。其中 `{{host}}` 替换成 AI Proxy 地址，`{{admin_key}}` 替换成 AI Proxy 中 `ADMIN_KEY` 的值。
|
||||
|
||||
Body 参数 `dsn` 为 OneAPI 的 mysql 连接串。
|
||||
|
||||
```bash
|
||||
curl --location --request POST '{{host}}/api/channels/import/oneapi' \
|
||||
--header 'Authorization: Bearer {{admin_key}}' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"dsn": "mysql://root:s5mfkwst@tcp(dbconn.sealoshzh.site:33123)/mydb"
|
||||
}'
|
||||
```
|
||||
|
||||
执行成功的情况下会返回 "success": true
|
||||
|
||||
脚本目前不是完全准，仅是简单的做数据映射，主要是迁移`代理地址`、`模型`和`API 密钥`，建议迁移后再进行手动检查。
|
||||
|
|
@ -0,0 +1,464 @@
|
|||
---
|
||||
title: FastGPT 模型配置说明
|
||||
description: FastGPT 模型配置说明
|
||||
---
|
||||
|
||||
import { Alert } from '@/components/docs/Alert';
|
||||
|
||||
在 4.8.20 版本以前，FastGPT 模型配置在 `config.json` 文件中声明，你可以在 https://github.com/labring/FastGPT/blob/main/projects/app/data/model.json 中找到旧版的配置文件示例。
|
||||
|
||||
从 4.8.20 版本开始，你可以直接在 FastGPT 页面中进行模型配置，并且系统内置了大量模型，无需从 0 开始配置。下面介绍模型配置的基本流程：
|
||||
|
||||
## 配置模型
|
||||
|
||||
### 1. 对接模型提供商
|
||||
|
||||
#### AI Proxy
|
||||
|
||||
从 4.8.23 版本开始， FastGPT 支持在页面上配置模型提供商，即使用 [AI Proxy 接入教程](/docs/development/modelconfig/ai-proxy) 来进行模型聚合，从而可以对接更多模型提供商。
|
||||
|
||||
#### One API
|
||||
|
||||
也可以使用 [OneAPI 接入教程](/docs/development/modelconfig/one-api)。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下：
|
||||
|
||||
|
||||
|
||||
除了各模型官方的服务外，还有一些第三方服务商提供模型接入服务，当然你也可以用 Ollama 等来部署本地模型，最终都需要接入 OneAPI，下面是一些第三方服务商：
|
||||
|
||||
<Alert icon=" " context="info">
|
||||
- [SiliconCloud(硅基流动)](https://cloud.siliconflow.cn/i/TR9Ym0c4): 提供开源模型调用的平台。
|
||||
- [Sealos AIProxy](https://hzh.sealos.run/?uid=fnWRt09fZP&openapp=system-aiproxy): 提供国内各家模型代理，无需逐一申请 api。
|
||||
</Alert>
|
||||
|
||||
在 OneAPI 配置好模型后，你就可以打开 FastGPT 页面，启用对应模型了。
|
||||
|
||||
### 2. 配置介绍
|
||||
|
||||
<Alert icon="🤖" context="success">
|
||||
注意：
|
||||
1. 目前语音识别模型和重排模型仅会生效一个，所以配置时候，只需要配置一个即可。
|
||||
2. 系统至少需要一个语言模型和一个索引模型才能正常使用。
|
||||
</Alert>
|
||||
|
||||
#### 核心配置
|
||||
|
||||
- 模型 ID：接口请求时候，Body 中`model`字段的值，全局唯一。
|
||||
- 自定义请求地址/Key：如果需要绕过`OneAPI`，可以设置自定义请求地址和 Token。一般情况下不需要，如果 OneAPI 不支持某些模型，可以使用该特性。
|
||||
|
||||
#### 模型类型
|
||||
|
||||
1. 语言模型 - 进行文本对话，多模态模型支持图片识别。
|
||||
2. 索引模型 - 对文本块进行索引，用于相关文本检索。
|
||||
3. 重排模型 - 对检索结果进行重排，用于优化检索排名。
|
||||
4. 语音合成 - 将文本转换为语音。
|
||||
5. 语音识别 - 将语音转换为文本。
|
||||
|
||||
#### 启用模型
|
||||
|
||||
系统内置了目前主流厂商的模型，如果你不熟悉配置，直接点击`启用`即可，需要注意的是，`模型 ID`需要和 OneAPI 中渠道的`模型`一致。
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
|  |  |
|
||||
|
||||
#### 修改模型配置
|
||||
|
||||
点击模型右侧的齿轮即可进行模型配置，不同类型模型的配置有区别。
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
|  |  |
|
||||
|
||||
## 新增自定义模型
|
||||
|
||||
如果系统内置的模型无法满足你的需求，你可以添加自定义模型。自定义模型中，如果`模型 ID`与系统内置的模型 ID 一致，则会被认为是修改系统模型。
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
|  |  |
|
||||
|
||||
#### 通过配置文件配置
|
||||
|
||||
如果你觉得通过页面配置模型比较麻烦，你也可以通过配置文件来配置模型。或者希望快速将一个系统的配置，复制到另一个系统，也可以通过配置文件来实现。
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
|  |  |
|
||||
|
||||
**语言模型字段说明：**
|
||||
|
||||
```json
|
||||
{
|
||||
"model": "模型 ID",
|
||||
"metadata": {
|
||||
"isCustom": true, // 是否为自定义模型
|
||||
"isActive": true, // 是否启用
|
||||
"provider": "OpenAI", // 模型提供商，主要用于分类展示，目前已经内置提供商包括：https://github.com/labring/FastGPT/blob/main/packages/global/core/ai/provider.ts, 可 pr 提供新的提供商，或直接填写 Other
|
||||
"model": "gpt-4o-mini", // 模型ID(对应OneAPI中渠道的模型名)
|
||||
"name": "gpt-4o-mini", // 模型别名
|
||||
"maxContext": 125000, // 最大上下文
|
||||
"maxResponse": 16000, // 最大回复
|
||||
"quoteMaxToken": 120000, // 最大引用内容
|
||||
"maxTemperature": 1.2, // 最大温度
|
||||
"charsPointsPrice": 0, // n积分/1k token（商业版）
|
||||
"censor": false, // 是否开启敏感校验（商业版）
|
||||
"vision": true, // 是否支持图片输入
|
||||
"datasetProcess": true, // 是否设置为文本理解模型（QA），务必保证至少有一个为true，否则知识库会报错
|
||||
"usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为true）
|
||||
"usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为true）
|
||||
"usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为true）
|
||||
"toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。）
|
||||
"functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为false，则使用 functionCall，如果仍为 false，则使用提示词模式）
|
||||
"customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
|
||||
"customExtractPrompt": "", // 自定义内容提取提示词
|
||||
"defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
|
||||
"defaultConfig": {}, // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
|
||||
"fieldMap": {} // 字段映射（o1 模型需要把 max_tokens 映射为 max_completion_tokens）
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
**索引模型字段说明:**
|
||||
|
||||
```json
|
||||
{
|
||||
"model": "模型 ID",
|
||||
"metadata": {
|
||||
"isCustom": true, // 是否为自定义模型
|
||||
"isActive": true, // 是否启用
|
||||
"provider": "OpenAI", // 模型提供商
|
||||
"model": "text-embedding-3-small", // 模型ID
|
||||
"name": "text-embedding-3-small", // 模型别名
|
||||
"charsPointsPrice": 0, // n积分/1k token
|
||||
"defaultToken": 512, // 默认文本分割时候的 token
|
||||
"maxToken": 3000 // 最大 token
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
**重排模型字段说明:**
|
||||
|
||||
```json
|
||||
{
|
||||
"model": "模型 ID",
|
||||
"metadata": {
|
||||
"isCustom": true, // 是否为自定义模型
|
||||
"isActive": true, // 是否启用
|
||||
"provider": "BAAI", // 模型提供商
|
||||
"model": "bge-reranker-v2-m3", // 模型ID
|
||||
"name": "ReRanker-Base", // 模型别名
|
||||
"requestUrl": "", // 自定义请求地址
|
||||
"requestAuth": "", // 自定义请求认证
|
||||
"type": "rerank" // 模型类型
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
**语音合成模型字段说明:**
|
||||
|
||||
```json
|
||||
{
|
||||
"model": "模型 ID",
|
||||
"metadata": {
|
||||
"isActive": true, // 是否启用
|
||||
"isCustom": true, // 是否为自定义模型
|
||||
"type": "tts", // 模型类型
|
||||
"provider": "FishAudio", // 模型提供商
|
||||
"model": "fishaudio/fish-speech-1.5", // 模型ID
|
||||
"name": "fish-speech-1.5", // 模型别名
|
||||
"voices": [ // 音色
|
||||
{
|
||||
"label": "fish-alex", // 音色名称
|
||||
"value": "fishaudio/fish-speech-1.5:alex", // 音色ID
|
||||
},
|
||||
{
|
||||
"label": "fish-anna", // 音色名称
|
||||
"value": "fishaudio/fish-speech-1.5:anna", // 音色ID
|
||||
}
|
||||
],
|
||||
"charsPointsPrice": 0 // n积分/1k token
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
**语音识别模型字段说明:**
|
||||
|
||||
```json
|
||||
{
|
||||
"model": "whisper-1",
|
||||
"metadata": {
|
||||
"isActive": true, // 是否启用
|
||||
"isCustom": true, // 是否为自定义模型
|
||||
"provider": "OpenAI", // 模型提供商
|
||||
"model": "whisper-1", // 模型ID
|
||||
"name": "whisper-1", // 模型别名
|
||||
"charsPointsPrice": 0, // n积分/1k token
|
||||
"type": "stt" // 模型类型
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
## 模型测试
|
||||
|
||||
FastGPT 页面上提供了每类模型的简单测试，可以初步检查模型是否正常工作，会实际按模板发送一个请求。
|
||||
|
||||
|
||||
|
||||
## 特殊接入示例
|
||||
|
||||
### ReRank 模型接入
|
||||
|
||||
由于 OneAPI 不支持 Rerank 模型，所以需要单独配置。FastGPT 中，模型配置支持自定义请求地址，可以绕过 OneAPI，直接向提供商发起请求，可以利用这个特性来接入 Rerank 模型。
|
||||
|
||||
|
||||
#### 使用硅基流动的在线模型
|
||||
|
||||
有免费的 `bge-reranker-v2-m3` 模型可以使用。
|
||||
|
||||
1. [点击注册硅基流动账号](https://cloud.siliconflow.cn/i/TR9Ym0c4)
|
||||
2. 进入控制台，获取 API key: https://cloud.siliconflow.cn/account/ak
|
||||
3. 打开 FastGPT 模型配置，新增一个`BAAI/bge-reranker-v2-m3`的重排模型（如果系统内置了，也可以直接变更,无需新增）。
|
||||
|
||||
|
||||
|
||||
#### 私有部署模型
|
||||
|
||||
[点击查看部署 ReRank 模型教程](/docs/development/custom-models/bge-rerank/)
|
||||
|
||||
### 接入语音识别模型
|
||||
|
||||
OneAPI 的语言识别接口，无法正确的识别其他模型（会始终识别成 whisper-1），所以如果想接入其他模型，可以通过自定义请求地址来实现。例如，接入硅基流动的 `FunAudioLLM/SenseVoiceSmall` 模型，可以参考如下配置：
|
||||
|
||||
点击模型编辑：
|
||||
|
||||
|
||||
|
||||
填写硅基流动的地址：`https://api.siliconflow.cn/v1/audio/transcriptions`，并填写硅基流动的 API Key。
|
||||
|
||||
|
||||
|
||||
## 其他配置项说明
|
||||
|
||||
### 自定义请求地址
|
||||
|
||||
如果填写了该值，则可以允许你绕过 OneAPI，直接向自定义请求地址发起请求。需要填写完整的请求地址，例如：
|
||||
|
||||
- LLM: [host]/v1/chat/completions
|
||||
- Embedding: [host]/v1/embeddings
|
||||
- STT: [host]/v1/audio/transcriptions
|
||||
- TTS: [host]/v1/audio/speech
|
||||
- Rerank: [host]/v1/rerank
|
||||
|
||||
自定义请求 Key，则是向自定义请求地址发起请求时候，携带请求头：Authorization: Bearer xxx 进行请求。
|
||||
|
||||
所有接口均遵循 OpenAI 提供的模型格式，可参考 [OpenAI API 文档](https://platform.openai.com/docs/api-reference/introduction) 进行配置。
|
||||
|
||||
由于 OpenAI 没有提供 ReRank 模型，遵循的是 Cohere 的格式。[点击查看接口请求示例](/docs/development/faq/#如何检查模型问题)
|
||||
|
||||
|
||||
### 模型价格配置
|
||||
|
||||
商业版用户可以通过配置模型价格，来进行账号计费。系统包含两种计费模式：按总 tokens 计费和输入输出 Tokens 分开计费。
|
||||
|
||||
如果需要配置`输入输出 Tokens 分开计费模式`，则填写`模型输入价格`和`模型输出价格`两个值。
|
||||
如果需要配置`按总 tokens 计费模式`，则填写`模型综合价格`一个值。
|
||||
|
||||
## 如何提交内置模型
|
||||
|
||||
由于模型更新非常频繁，官方不一定及时更新，如果未能找到你期望的内置模型，你可以[提交 Issue](https://github.com/labring/FastGPT/issues)，提供模型的名字和对应官网。或者直接[提交 PR](https://github.com/labring/FastGPT/pulls)，提供模型配置。
|
||||
|
||||
|
||||
### 添加模型提供商
|
||||
|
||||
如果你需要添加模型提供商，需要修改以下代码：
|
||||
|
||||
1. FastGPT/packages/web/components/common/Icon/icons/model - 在此目录下，添加模型提供商的 svg 头像地址。
|
||||
2. 在 FastGPT 根目录下，运行`pnpm initIcon`，将图片加载到配置文件中。
|
||||
3. FastGPT/packages/global/core/ai/provider.ts - 在此文件中，追加模型提供商的配置。
|
||||
|
||||
### 添加模型
|
||||
|
||||
你可以在`FastGPT/packages/service/core/ai/config/provider`目录下，找对应模型提供商的配置文件，并追加模型配置。请自行全文检查，`model`字段，必须在所有模型中唯一。具体配置字段说明，参考[模型配置字段说明](/docs/development/modelconfig/intro/#通过配置文件配置)
|
||||
|
||||
## 旧版模型配置说明
|
||||
|
||||
配置好 OneAPI 后，需要在`config.json`文件中，手动的增加模型配置，并重启。
|
||||
|
||||
由于环境变量不利于配置复杂的内容，FastGPT 采用了 ConfigMap 的形式挂载配置文件，你可以在 `projects/app/data/config.json` 看到默认的配置文件。可以参考 [docker-compose 快速部署](/docs/development/docker/) 来挂载配置文件。
|
||||
|
||||
**开发环境下**，你需要将示例配置文件 `config.json` 复制成 `config.local.json` 文件才会生效。
|
||||
**Docker部署**，修改`config.json` 文件，需要重启容器。
|
||||
|
||||
下面配置文件示例中包含了系统参数和各个模型配置：
|
||||
|
||||
```json
|
||||
{
|
||||
"feConfigs": {
|
||||
"lafEnv": "https://laf.dev" // laf环境。 https://laf.run （杭州阿里云） ,或者私有化的laf环境。如果使用 Laf openapi 功能，需要最新版的 laf 。
|
||||
},
|
||||
"systemEnv": {
|
||||
"vectorMaxProcess": 15, // 向量处理线程数量
|
||||
"qaMaxProcess": 15, // 问答拆分线程数量
|
||||
"tokenWorkers": 50, // Token 计算线程保持数，会持续占用内存，不能设置太大。
|
||||
"hnswEfSearch": 100 // 向量搜索参数，仅对 PG 和 OB 生效。越大，搜索越精确，但是速度越慢。设置为100，有99%+精度。
|
||||
},
|
||||
"llmModels": [
|
||||
{
|
||||
"provider": "OpenAI", // 模型提供商，主要用于分类展示，目前已经内置提供商包括：https://github.com/labring/FastGPT/blob/main/packages/global/core/ai/provider.ts, 可 pr 提供新的提供商，或直接填写 Other
|
||||
"model": "gpt-4o-mini", // 模型名(对应OneAPI中渠道的模型名)
|
||||
"name": "gpt-4o-mini", // 模型别名
|
||||
"maxContext": 125000, // 最大上下文
|
||||
"maxResponse": 16000, // 最大回复
|
||||
"quoteMaxToken": 120000, // 最大引用内容
|
||||
"maxTemperature": 1.2, // 最大温度
|
||||
"charsPointsPrice": 0, // n积分/1k token（商业版）
|
||||
"censor": false, // 是否开启敏感校验（商业版）
|
||||
"vision": true, // 是否支持图片输入
|
||||
"datasetProcess": true, // 是否设置为文本理解模型（QA），务必保证至少有一个为true，否则知识库会报错
|
||||
"usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为true）
|
||||
"usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为true）
|
||||
"usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为true）
|
||||
"toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。）
|
||||
"functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为false，则使用 functionCall，如果仍为 false，则使用提示词模式）
|
||||
"customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
|
||||
"customExtractPrompt": "", // 自定义内容提取提示词
|
||||
"defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
|
||||
"defaultConfig": {}, // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
|
||||
"fieldMap": {} // 字段映射（o1 模型需要把 max_tokens 映射为 max_completion_tokens）
|
||||
},
|
||||
{
|
||||
"provider": "OpenAI",
|
||||
"model": "gpt-4o",
|
||||
"name": "gpt-4o",
|
||||
"maxContext": 125000,
|
||||
"maxResponse": 4000,
|
||||
"quoteMaxToken": 120000,
|
||||
"maxTemperature": 1.2,
|
||||
"charsPointsPrice": 0,
|
||||
"censor": false,
|
||||
"vision": true,
|
||||
"datasetProcess": true,
|
||||
"usedInClassify": true,
|
||||
"usedInExtractFields": true,
|
||||
"usedInToolCall": true,
|
||||
"toolChoice": true,
|
||||
"functionCall": false,
|
||||
"customCQPrompt": "",
|
||||
"customExtractPrompt": "",
|
||||
"defaultSystemChatPrompt": "",
|
||||
"defaultConfig": {},
|
||||
"fieldMap": {}
|
||||
},
|
||||
{
|
||||
"provider": "OpenAI",
|
||||
"model": "o1-mini",
|
||||
"name": "o1-mini",
|
||||
"maxContext": 125000,
|
||||
"maxResponse": 65000,
|
||||
"quoteMaxToken": 120000,
|
||||
"maxTemperature": 1.2,
|
||||
"charsPointsPrice": 0,
|
||||
"censor": false,
|
||||
"vision": false,
|
||||
"datasetProcess": true,
|
||||
"usedInClassify": true,
|
||||
"usedInExtractFields": true,
|
||||
"usedInToolCall": true,
|
||||
"toolChoice": false,
|
||||
"functionCall": false,
|
||||
"customCQPrompt": "",
|
||||
"customExtractPrompt": "",
|
||||
"defaultSystemChatPrompt": "",
|
||||
"defaultConfig": {
|
||||
"temperature": 1,
|
||||
"max_tokens": null,
|
||||
"stream": false
|
||||
}
|
||||
},
|
||||
{
|
||||
"provider": "OpenAI",
|
||||
"model": "o1-preview",
|
||||
"name": "o1-preview",
|
||||
"maxContext": 125000,
|
||||
"maxResponse": 32000,
|
||||
"quoteMaxToken": 120000,
|
||||
"maxTemperature": 1.2,
|
||||
"charsPointsPrice": 0,
|
||||
"censor": false,
|
||||
"vision": false,
|
||||
"datasetProcess": true,
|
||||
"usedInClassify": true,
|
||||
"usedInExtractFields": true,
|
||||
"usedInToolCall": true,
|
||||
"toolChoice": false,
|
||||
"functionCall": false,
|
||||
"customCQPrompt": "",
|
||||
"customExtractPrompt": "",
|
||||
"defaultSystemChatPrompt": "",
|
||||
"defaultConfig": {
|
||||
"temperature": 1,
|
||||
"max_tokens": null,
|
||||
"stream": false
|
||||
}
|
||||
}
|
||||
],
|
||||
"vectorModels": [
|
||||
{
|
||||
"provider": "OpenAI",
|
||||
"model": "text-embedding-3-small",
|
||||
"name": "text-embedding-3-small",
|
||||
"charsPointsPrice": 0,
|
||||
"defaultToken": 512,
|
||||
"maxToken": 3000,
|
||||
"weight": 100
|
||||
},
|
||||
{
|
||||
"provider": "OpenAI",
|
||||
"model": "text-embedding-3-large",
|
||||
"name": "text-embedding-3-large",
|
||||
"charsPointsPrice": 0,
|
||||
"defaultToken": 512,
|
||||
"maxToken": 3000,
|
||||
"weight": 100,
|
||||
"defaultConfig": {
|
||||
"dimensions": 1024
|
||||
}
|
||||
},
|
||||
{
|
||||
"provider": "OpenAI",
|
||||
"model": "text-embedding-ada-002", // 模型名（与OneAPI对应）
|
||||
"name": "Embedding-2", // 模型展示名
|
||||
"charsPointsPrice": 0, // n积分/1k token
|
||||
"defaultToken": 700, // 默认文本分割时候的 token
|
||||
"maxToken": 3000, // 最大 token
|
||||
"weight": 100, // 优先训练权重
|
||||
"defaultConfig": {}, // 自定义额外参数。例如，如果希望使用 embedding3-large 的话，可以传入 dimensions:1024，来返回1024维度的向量。（目前必须小于1536维度）
|
||||
"dbConfig": {}, // 存储时的额外参数（非对称向量模型时候需要用到）
|
||||
"queryConfig": {} // 参训时的额外参数
|
||||
}
|
||||
],
|
||||
"reRankModels": [],
|
||||
"audioSpeechModels": [
|
||||
{
|
||||
"provider": "OpenAI",
|
||||
"model": "tts-1",
|
||||
"name": "OpenAI TTS1",
|
||||
"charsPointsPrice": 0,
|
||||
"voices": [
|
||||
{ "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
|
||||
{ "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
|
||||
{ "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
|
||||
{ "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
|
||||
{ "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
|
||||
{ "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
|
||||
]
|
||||
}
|
||||
],
|
||||
"whisperModel": {
|
||||
"provider": "OpenAI",
|
||||
"model": "whisper-1",
|
||||
"name": "Whisper1",
|
||||
"charsPointsPrice": 0
|
||||
}
|
||||
}
|
||||
```
|
||||
|
|
@ -0,0 +1,4 @@
|
|||
{
|
||||
"title": "模型配置方案",
|
||||
"pages": ["ai-proxy","intro","one-api","siliconCloud","ppio"]
|
||||
}
|
||||
|
|
@ -0,0 +1,127 @@
|
|||
---
|
||||
title: 通过 OneAPI 接入模型
|
||||
description: 通过 OneAPI 接入模型
|
||||
---
|
||||
|
||||
FastGPT 目前采用模型分离的部署方案，FastGPT 中只兼容 OpenAI 的模型规范（OpenAI 不存在的模型采用一个较为通用的规范），并通过 [One API](https://github.com/songquanpeng/one-api) 来实现对不同模型接口的统一。
|
||||
|
||||
[One API](https://github.com/songquanpeng/one-api) 是一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。
|
||||
|
||||
|
||||
## FastGPT 与 One API 关系
|
||||
|
||||
可以把 One API 当做一个网关，FastGPT 与 One API 关系：
|
||||
|
||||
|
||||
|
||||
## 部署
|
||||
|
||||
### Sealos 版本
|
||||
|
||||
* 北京区: [点击部署 OneAPI](https://hzh.sealos.run/?openapp=system-template%3FtemplateName%3Done-api)
|
||||
* 新加坡区(可用 GPT) [点击部署 OneAPI](https://cloud.sealos.io/?openapp=system-template%3FtemplateName%3Done-api&uid=fnWRt09fZP)
|
||||
|
||||
|
||||
|
||||
部署完后，可以打开 OneAPI 访问链接，进行下一步操作。
|
||||
|
||||
## OneAPI 基础教程
|
||||
|
||||
### 概念
|
||||
|
||||
1. 渠道：
|
||||
1. OneApi 中一个渠道对应一个 `Api Key`，这个 `Api Key` 可以是GPT、微软、ChatGLM、文心一言的。一个`Api Key`通常可以调用同一个厂商的多个模型。
|
||||
2. One API 会根据请求传入的`模型`来决定使用哪一个`渠道`，如果一个模型对应了多个`渠道`，则会随机调用。
|
||||
2. 令牌：访问 One API 所需的凭证，只需要这`1`个凭证即可访问`One API`上配置的模型。因此`FastGPT`中，只需要配置`One API`的`baseurl`和`令牌`即可。令牌不要设置任何的模型范围权限，否则容易报错。
|
||||
|
||||
|
||||
|
||||
### 大致工作流程
|
||||
|
||||
1. 客户端请求 One API
|
||||
2. 根据请求中的 `model` 参数，匹配对应的渠道（根据渠道里的模型进行匹配，必须完全一致）。如果匹配到多个渠道，则随机选择一个（同优先级）。
|
||||
3. One API 向真正的地址发出请求。
|
||||
4. One API 将结果返回给客户端。
|
||||
|
||||
### 1. 登录 One API
|
||||
|
||||
|
||||
|
||||
### 2. 创建渠道
|
||||
|
||||
在 One API 中添加对应渠道，直接点击 【添加基础模型】，不要遗漏了向量模型（Embedding）
|
||||
|
||||
|
||||
|
||||
### 3. 创建令牌
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
|  |  |
|
||||
|
||||
### 4. 修改账号余额
|
||||
|
||||
One API 默认 root 用户只有 200刀，可以自行修改编辑。
|
||||
|
||||
|
||||
|
||||
### 5. 修改 FastGPT 的环境变量
|
||||
|
||||
有了 One API 令牌后，FastGPT 可以通过修改 `baseurl` 和 `key` 去请求到 One API，再由 One API 去请求不同的模型。修改下面两个环境变量：
|
||||
|
||||
```bash
|
||||
# 务必写上 v1。如果在同一个网络内，可改成内网地址。
|
||||
OPENAI_BASE_URL=https://xxxx.cloud.sealos.io/v1
|
||||
# 下面的 key 是由 One API 提供的令牌
|
||||
CHAT_API_KEY=sk-xxxxxx
|
||||
```
|
||||
|
||||
## 接入其他模型
|
||||
|
||||
**以添加文心一言为例:**
|
||||
|
||||
### 1. OneAPI 新增模型渠道
|
||||
|
||||
类型选择百度文心千帆。
|
||||
|
||||
|
||||
|
||||
### 2. 修改 FastGPT 模型配置
|
||||
|
||||
打开 FastGPT 模型配置，启动文心千帆模型，如果希望未内置，可以通过新增模型来配置。
|
||||
|
||||
|
||||
|
||||
|
||||
## 其他服务商接入参考
|
||||
|
||||
这章介绍一些提供商接入 OneAPI 的教程，配置后不要忘记在 FastGPT 模型配置中启用。
|
||||
|
||||
### 阿里通义千问
|
||||
|
||||
千问目前已经兼容 GPT 格式，可以直接选择 OpenAI 类型来接入即可。如下图，选择类型为`OpenAI`，代理填写阿里云的代理地址。
|
||||
|
||||
目前可以直接使用阿里云的语言模型和 `text-embedding-v3` 向量模型（实测已经归一化，可直接使用）
|
||||
|
||||
|
||||
|
||||
### 硅基流动 —— 开源模型大合集
|
||||
|
||||
[硅基流动](https://cloud.siliconflow.cn/i/TR9Ym0c4) 是一个专门提供开源模型调用平台，并拥有自己的加速引擎。模型覆盖面广，非常适合低成本来测试开源模型。接入教程：
|
||||
|
||||
1. [点击注册硅基流动账号](https://cloud.siliconflow.cn/i/TR9Ym0c4)
|
||||
2. 进入控制台，获取 API key: https://cloud.siliconflow.cn/account/ak
|
||||
3. 新增 OneAPI 渠道，选择`OpenAI`类型，代理填写：`https://api.siliconflow.cn`，密钥是第二步创建的密钥。
|
||||
|
||||
|
||||
|
||||
由于 OneAPI 未内置 硅基流动 的模型名，可以通过自定义模型名称来填入，下面是获取模型名称的教程：
|
||||
|
||||
1. 打开[硅基流动模型列表](https://siliconflow.cn/zh-cn/models)
|
||||
2. 单击模型后，会打开模型详情。
|
||||
3. 复制模型名到 OneAPI 中。
|
||||
|
||||
| | | |
|
||||
| --- | --- | --- |
|
||||
|  | |  |
|
||||
|
||||
|
|
@ -0,0 +1,100 @@
|
|||
---
|
||||
title: 通过 PPIO LLM API 接入模型
|
||||
description: 通过 PPIO LLM API 接入模型
|
||||
---
|
||||
|
||||
import { Alert } from '@/components/docs/Alert';
|
||||
|
||||
FastGPT 还可以通过 PPIO LLM API 接入模型。
|
||||
|
||||
<Alert context="warning">
|
||||
以下内容搬运自 [FastGPT 接入 PPIO LLM API](https://ppinfra.com/docs/third-party/fastgpt-use)，可能会有更新不及时的情况。
|
||||
</Alert>
|
||||
|
||||
FastGPT 是一个将 AI 开发、部署和使用全流程简化为可视化操作的平台。它使开发者不需要深入研究算法，
|
||||
用户也不需要掌握复杂技术，通过一站式服务将人工智能技术变成易于使用的工具。
|
||||
|
||||
PPIO 派欧云提供简单易用的 API 接口，让开发者能够轻松调用 DeepSeek 等模型。
|
||||
|
||||
- 对开发者：无需重构架构，3 个接口完成从文本生成到决策推理的全场景接入，像搭积木一样设计 AI 工作流；
|
||||
- 对生态：自动适配从中小应用到企业级系统的资源需求，让智能随业务自然生长。
|
||||
|
||||
下方教程提供完整接入方案（含密钥配置），帮助您快速将 FastGPT 与 PPIO API 连接起来。
|
||||
|
||||
## 1. 配置前置条件
|
||||
|
||||
(1) 获取 API 接口地址
|
||||
|
||||
固定为: `https://api.ppinfra.com/v3/openai/chat/completions`。
|
||||
|
||||
(2) 获取 【API 密钥】
|
||||
|
||||
登录派欧云控制台 [API 秘钥管理](https://www.ppinfra.com/settings/key-management) 页面，点击创建按钮。
|
||||
注册账号填写邀请码【VOJL20】得 50 代金券
|
||||
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/BKWqbzI5PoYG6qxwAPxcinQDnob.png" alt="创建 API 密钥" />
|
||||
|
||||
(3) 生成并保存 【API 密钥】
|
||||
<Alert context="warning">
|
||||
秘钥在服务端是加密存储，请在生成时保存好秘钥；若遗失可以在控制台上删除并创建一个新的秘钥。
|
||||
</Alert>
|
||||
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/OkUwbbWrcoCY2SxwVMIcM2aZnrs.png" alt="生成 API 密钥" />
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/GExfbvcosoJhVKxpzKVczlsdn3d.png" alt="保存 API 密钥" />
|
||||
|
||||
(4) 获取需要使用的模型 ID
|
||||
|
||||
deepseek 系列：
|
||||
|
||||
- DeepSeek R1：deepseek/deepseek-r1/community
|
||||
|
||||
- DeepSeek V3：deepseek/deepseek-v3/community
|
||||
|
||||
其他模型 ID、最大上下文及价格可参考：[模型列表](https://ppinfra.com/model-api/pricing)
|
||||
|
||||
## 2. 部署最新版 FastGPT 到本地环境
|
||||
|
||||
<Alert context="warning">
|
||||
请使用 v4.8.22 以上版本，部署参考: https://doc.tryfastgpt.ai/docs/development/intro/
|
||||
</Alert>
|
||||
|
||||
## 3. 模型配置（下面两种方式二选其一）
|
||||
|
||||
（1）通过 OneAPI 接入模型 PPIO 模型： 参考 OneAPI 使用文档，修改 FastGPT 的环境变量 在 One API 生成令牌后，FastGPT 可以通过修改 baseurl 和 key 去请求到 One API，再由 One API 去请求不同的模型。修改下面两个环境变量： 务必写上 v1。如果在同一个网络内，可改成内网地址。
|
||||
|
||||
OPENAI_BASE_URL= http://OneAPI-IP:OneAPI-PORT/v1
|
||||
|
||||
下面的 key 是由 One API 提供的令牌 CHAT_API_KEY=sk-UyVQcpQWMU7ChTVl74B562C28e3c46Fe8f16E6D8AeF8736e
|
||||
|
||||
- 修改后重启 FastGPT，按下图在模型提供商中选择派欧云
|
||||
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/Fvqzb3kTroys5Uxkjlzco7kwnsb.png" alt="选择派欧云" />
|
||||
|
||||
- 测试连通性
|
||||
以 deepseek 为例，在模型中选择使用 deepseek/deepseek-r1/community，点击图中②的位置进行连通性测试，出现图中绿色的的成功显示证明连通成功，可以进行后续的配置对话了
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/FzKGbGsSPoX4Eexobj2cxcaTnib.png" alt="测试连通性" />
|
||||
|
||||
（2）不使用 OneAPI 接入 PPIO 模型
|
||||
|
||||
按照下图在模型提供商中选择派欧云
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/QbcdbPqRsoAmuyx2nlycQWFanrc.png" alt="选择派欧云" />
|
||||
|
||||
- 配置模型 自定义请求地址中输入：`https://api.ppinfra.com/v3/openai/chat/completions`
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/ZVyAbDIaxo7ksAxLI3HcexYYnZf.png" alt="配置模型" />
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/Ha9YbggkwoQsVdx1Z4Gc9zUSnle.png" alt="配置模型" />
|
||||
|
||||
- 测试连通性
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/V1f0b89uloab9uxxj7IcKT0rn3e.png" alt="测试连通性" />
|
||||
|
||||
出现图中绿色的的成功显示证明连通成功，可以进行对话配置
|
||||
|
||||
## 4. 配置对话
|
||||
（1）新建工作台
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/ZaGpbBH6QoVubIx2TsLcwYEInfe.png" alt="新建工作台" />
|
||||
（2）开始聊天
|
||||
<img src="https://static.ppinfra.com/docs/image/llm/HzcTb4gobokVRQxTlU7cD5OunMf.png" alt="开始聊天" />
|
||||
|
||||
## PPIO 全新福利重磅来袭 🔥
|
||||
顺利完成教程配置步骤后，您将解锁两大权益：1. 畅享 PPIO 高速通道与 FastGPT 的效能组合；2.立即激活 **「新用户邀请奖励」** ————通过专属邀请码邀好友注册，您与好友可各领 50 元代金券，硬核福利助力 AI 工具效率倍增！
|
||||
|
||||
🎁 新手专享：立即使用邀请码【VOJL20】完成注册，50 元代金券奖励即刻到账！
|
||||
|
|
@ -0,0 +1,90 @@
|
|||
---
|
||||
title: 通过 SiliconCloud 体验开源模型
|
||||
description: 通过 SiliconCloud 体验开源模型
|
||||
---
|
||||
|
||||
[SiliconCloud(硅基流动)](https://cloud.siliconflow.cn/i/TR9Ym0c4) 是一个以提供开源模型调用为主的平台，并拥有自己的加速引擎。帮助用户低成本、快速的进行开源模型的测试和使用。实际体验下来，他们家模型的速度和稳定性都非常不错，并且种类丰富，覆盖语言、向量、重排、TTS、STT、绘图、视频生成模型，可以满足 FastGPT 中所有模型需求。
|
||||
|
||||
如果你想部分模型使用 SiliconCloud 的模型，可额外参考[OneAPI接入硅基流动](/docs/development/modelconfig/one-api/#硅基流动--开源模型大合集)。
|
||||
|
||||
本文会介绍完全使用 SiliconCloud 模型来部署 FastGPT 的方案。
|
||||
|
||||
|
||||
## 1. 注册 SiliconCloud 账号
|
||||
|
||||
1. [点击注册硅基流动账号](https://cloud.siliconflow.cn/i/TR9Ym0c4)
|
||||
2. 进入控制台，获取 API key: https://cloud.siliconflow.cn/account/ak
|
||||
|
||||
## 2. 修改 FastGPT 环境变量
|
||||
|
||||
```bash
|
||||
OPENAI_BASE_URL=https://api.siliconflow.cn/v1
|
||||
# 填写 SiliconCloud 控制台提供的 Api Key
|
||||
CHAT_API_KEY=sk-xxxxxx
|
||||
```
|
||||
|
||||
## 3. 修改 FastGPT 模型配置
|
||||
|
||||
系统内置了几个硅基流动的模型进行体验，如果需要其他模型，可以手动添加。
|
||||
|
||||
这里启动了 `Qwen2.5 72b` 的纯语言和视觉模型；选择 `bge-m3` 作为向量模型；选择 `bge-reranker-v2-m3` 作为重排模型。选择 `fish-speech-1.5` 作为语音模型；选择 `SenseVoiceSmall` 作为语音输入模型。
|
||||
|
||||
|
||||
|
||||
## 4. 体验测试
|
||||
|
||||
### 测试对话和图片识别
|
||||
|
||||
随便新建一个简易应用，选择对应模型，并开启图片上传后进行测试：
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
|  |  |
|
||||
|
||||
可以看到，72B 的模型，性能还是非常快的，这要是本地没几个 4090，不说配置环境，输出怕都要 30s 了。
|
||||
|
||||
### 测试知识库导入和知识库问答
|
||||
|
||||
新建一个知识库（由于只配置了一个向量模型，页面上不会展示向量模型选择）
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
|  |  |
|
||||
|
||||
导入本地文件，直接选择文件，然后一路下一步即可。79 个索引，大概花了 20s 的时间就完成了。现在我们去测试一下知识库问答。
|
||||
|
||||
首先回到我们刚创建的应用，选择知识库，调整一下参数后即可开始对话：
|
||||
|
||||
| | | |
|
||||
| --- | --- | --- |
|
||||
|  |  |  |
|
||||
|
||||
对话完成后，点击底部的引用，可以查看引用详情，同时可以看到具体的检索和重排得分：
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
|  |  |
|
||||
|
||||
### 测试语音播放
|
||||
|
||||
继续在刚刚的应用中，左侧配置中找到语音播放，点击后可以从弹窗中选择语音模型，并进行试听：
|
||||
|
||||
|
||||
|
||||
### 测试语言输入
|
||||
|
||||
继续在刚刚的应用中，左侧配置中找到语音输入，点击后可以从弹窗中开启语言输入
|
||||
|
||||
|
||||
|
||||
开启后，对话输入框中，会增加一个话筒的图标，点击可进行语音输入：
|
||||
|
||||
| | |
|
||||
| --- | --- |
|
||||
|  |  |
|
||||
|
||||
## 总结
|
||||
|
||||
如果你想快速的体验开源模型或者快速的使用 FastGPT，不想在不同服务商申请各类 Api Key，那么可以选择 SiliconCloud 的模型先进行快速体验。
|
||||
|
||||
如果你决定未来私有化部署模型和 FastGPT，前期可通过 SiliconCloud 进行测试验证，后期再进行硬件采购，减少 POC 时间和成本。
|
||||
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
|
|
@ -0,0 +1,79 @@
|
|||
---
|
||||
title: OpenAPI 介绍
|
||||
description: FastGPT OpenAPI 介绍
|
||||
---
|
||||
|
||||
## 使用说明
|
||||
|
||||
FasGPT OpenAPI 接口允许你使用 Api Key 进行鉴权，从而操作 FastGPT 上的相关服务和资源，例如：调用应用对话接口、上传知识库数据、搜索测试等等。出于兼容性和安全考虑，并不是所有的接口都允许通过 Api Key 访问。
|
||||
|
||||
## 如何查看 BaseURL
|
||||
|
||||
**注意：BaseURL 不是接口地址，而是所有接口的根地址，直接请求 BaseURL 是没有用的。**
|
||||
|
||||
|
||||
|
||||
## 如何获取 Api Key
|
||||
|
||||
FastGPT 的 API Key **有 2 类**，一类是全局通用的 key (无法直接调用应用对话)；一类是携带了 AppId 也就是有应用标记的 key (可直接调用应用对话)。
|
||||
|
||||
我们建议，仅操作应用或者对话的相关接口使用 `应用特定key`，其他接口使用 `通用key`。
|
||||
|
||||
| 通用key | 应用特定 key |
|
||||
| --------------------- | --------------------- |
|
||||
|  |  |
|
||||
|
||||
|
||||
## 基本配置
|
||||
|
||||
OpenAPI 中，所有的接口都通过 Header.Authorization 进行鉴权。
|
||||
|
||||
```
|
||||
baseUrl: "https://api.fastgpt.in/api"
|
||||
headers: {
|
||||
Authorization: "Bearer {{apikey}}"
|
||||
}
|
||||
```
|
||||
|
||||
**发起应用对话示例**
|
||||
|
||||
```sh
|
||||
curl --location --request POST 'https://api.fastgpt.in/api/v1/chat/completions' \
|
||||
--header 'Authorization: Bearer fastgpt-xxxxxx' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"chatId": "111",
|
||||
"stream": false,
|
||||
"detail": false,
|
||||
"messages": [
|
||||
{
|
||||
"content": "导演是谁",
|
||||
"role": "user"
|
||||
}
|
||||
]
|
||||
}'
|
||||
```
|
||||
|
||||
## 自定义用户 ID
|
||||
|
||||
`v4.8.13`后支持传入自定义的用户 ID, 并且存入历史记录中。
|
||||
|
||||
```sh
|
||||
curl --location --request POST 'https://api.fastgpt.in/api/v1/chat/completions' \
|
||||
--header 'Authorization: Bearer fastgpt-xxxxxx' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"chatId": "111",
|
||||
"stream": false,
|
||||
"detail": false,
|
||||
"messages": [
|
||||
{
|
||||
"content": "导演是谁",
|
||||
"role": "user"
|
||||
}
|
||||
],
|
||||
"customUid": "xxxxxx"
|
||||
}'
|
||||
```
|
||||
|
||||
在历史记录中，该条记录的使用者会显示为 `xxxxxx`。
|
||||
|
|
@ -0,0 +1,4 @@
|
|||
{
|
||||
"title": "OpenAPI接口文档",
|
||||
"pages": ["intro","chat","dataset","share"]
|
||||
}
|
||||
|
|
@ -0,0 +1,402 @@
|
|||
---
|
||||
title: 分享链接身份鉴权
|
||||
description: FastGPT 分享链接身份鉴权
|
||||
---
|
||||
|
||||
import { Alert } from '@/components/docs/Alert';
|
||||
|
||||
## 介绍
|
||||
|
||||
在 FastGPT V4.6.4 中，我们修改了分享链接的数据读取方式，为每个用户生成一个 localId，用于标识用户，从云端拉取对话记录。但是这种方式仅能保障用户在同一设备同一浏览器中使用，如果切换设备或者清空浏览器缓存则会丢失这些记录。这种方式存在一定的风险，因此我们仅允许用户拉取近`30天`的`20条`记录。
|
||||
|
||||
分享链接身份鉴权设计的目的在于，将 FastGPT 的对话框快速、安全的接入到你现有的系统中，仅需 2 个接口即可实现。该功能目前只在商业版中提供。
|
||||
|
||||
## 使用说明
|
||||
|
||||
免登录链接配置中，你可以选择填写`身份验证`栏。这是一个`POST`请求的根地址。在填写该地址后，分享链接的初始化、开始对话以及对话结束都会向该地址的特定接口发送一条请求。下面以`host`来表示`凭身份验证根地址`。服务器接口仅需返回是否校验成功即可，不需要返回其他数据，格式如下：
|
||||
|
||||
### 接口统一响应格式
|
||||
|
||||
```json
|
||||
{
|
||||
"success": true,
|
||||
"message": "错误提示",
|
||||
"msg": "同message, 错误提示",
|
||||
"data": {
|
||||
"uid": "用户唯一凭证"
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
`FastGPT` 将会判断`success`是否为`true`决定是允许用户继续操作。`message`与`msg`是等同的，你可以选择返回其中一个，当`success`不为`true`时，将会提示这个错误。
|
||||
|
||||
`uid`是用户的唯一凭证，将会用于拉取对话记录以及保存对话记录。可参考下方实践案例。
|
||||
|
||||
### 触发流程
|
||||
|
||||
|
||||
|
||||
## 配置教程
|
||||
### 1. 配置身份校验地址
|
||||
|
||||
|
||||
|
||||
配置校验地址后，在每次分享链接使用时，都会向对应的地址发起校验和上报请求。
|
||||
|
||||
<Alert icon="🤖" >
|
||||
这里仅需配置根地址，无需具体到完整请求路径。
|
||||
</Alert>
|
||||
|
||||
### 2. 分享链接中增加额外 query
|
||||
|
||||
在分享链接的地址中，增加一个额外的参数: authToken。例如：
|
||||
|
||||
原始的链接：`https://share.tryfastgpt.ai/chat/share?shareId=648aaf5ae121349a16d62192`
|
||||
|
||||
完整链接: `https://share.tryfastgpt.ai/chat/share?shareId=648aaf5ae121349a16d62192&authToken=userid12345`
|
||||
|
||||
这个`authToken`通常是你系统生成的用户唯一凭证（Token之类的）。FastGPT 会在鉴权接口的`body`中携带 token=[authToken] 的参数。
|
||||
|
||||
### 3. 编写聊天初始化校验接口
|
||||
|
||||
<Tabs items={['请求示例','鉴权成功','鉴权失败']}>
|
||||
<Tab value="请求示例" >
|
||||
|
||||
|
||||
```bash
|
||||
curl --location --request POST '{{host}}/shareAuth/init' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"token": "[authToken]"
|
||||
}'
|
||||
```
|
||||
|
||||
|
||||
</Tab>
|
||||
|
||||
<Tab value="鉴权成功" >
|
||||
|
||||
|
||||
```json
|
||||
{
|
||||
"success": true,
|
||||
"data": {
|
||||
"uid": "用户唯一凭证"
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
系统会拉取该分享链接下，uid 为 username123 的对话记录。
|
||||
|
||||
|
||||
</Tab>
|
||||
|
||||
<Tab value="鉴权失败" >
|
||||
|
||||
|
||||
```json
|
||||
{
|
||||
"success": false,
|
||||
"message": "身份错误",
|
||||
}
|
||||
```
|
||||
|
||||
|
||||
</Tab>
|
||||
</Tabs>
|
||||
|
||||
|
||||
|
||||
### 4. 编写对话前校验接口
|
||||
|
||||
<Tabs items={['请求示例','鉴权成功','鉴权失败']}>
|
||||
<Tab value="请求示例" >
|
||||
|
||||
|
||||
```bash
|
||||
curl --location --request POST '{{host}}/shareAuth/start' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"token": "[authToken]",
|
||||
"question": "用户问题",
|
||||
}'
|
||||
```
|
||||
|
||||
|
||||
</Tab>
|
||||
|
||||
<Tab value="鉴权成功" >
|
||||
|
||||
|
||||
```json
|
||||
{
|
||||
"success": true,
|
||||
"data": {
|
||||
"uid": "用户唯一凭证"
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
|
||||
</Tab>
|
||||
|
||||
<Tab value="鉴权失败" >
|
||||
|
||||
|
||||
```json
|
||||
{
|
||||
"success": false,
|
||||
"message": "身份验证失败",
|
||||
}
|
||||
```
|
||||
|
||||
```json
|
||||
{
|
||||
"success": false,
|
||||
"message": "存在违规词",
|
||||
}
|
||||
```
|
||||
|
||||
|
||||
</Tab>
|
||||
</Tabs>
|
||||
|
||||
### 5. 编写对话结果上报接口（可选）
|
||||
|
||||
该接口无规定返回值。
|
||||
|
||||
响应值与[chat 接口格式相同](/docs/development/openapi/chat/#响应)，仅多了一个`token`。
|
||||
|
||||
重点关注：`totalPoints`(总消耗AI积分)，`token`(Token消耗总数)
|
||||
|
||||
```bash
|
||||
curl --location --request POST '{{host}}/shareAuth/finish' \
|
||||
--header 'Content-Type: application/json' \
|
||||
--data-raw '{
|
||||
"token": "[authToken]",
|
||||
"responseData": [
|
||||
{
|
||||
"moduleName": "core.module.template.Dataset search",
|
||||
"moduleType": "datasetSearchNode",
|
||||
"totalPoints": 1.5278,
|
||||
"query": "导演是谁\n《铃芽之旅》的导演是谁？\n这部电影的导演是谁？\n谁是《铃芽之旅》的导演？",
|
||||
"model": "Embedding-2(旧版，不推荐使用)",
|
||||
"tokens": 1524,
|
||||
"similarity": 0.83,
|
||||
"limit": 400,
|
||||
"searchMode": "embedding",
|
||||
"searchUsingReRank": false,
|
||||
"extensionModel": "FastAI-4k",
|
||||
"extensionResult": "《铃芽之旅》的导演是谁？\n这部电影的导演是谁？\n谁是《铃芽之旅》的导演？",
|
||||
"runningTime": 2.15
|
||||
},
|
||||
{
|
||||
"moduleName": "AI 对话",
|
||||
"moduleType": "chatNode",
|
||||
"totalPoints": 0.593,
|
||||
"model": "FastAI-4k",
|
||||
"tokens": 593,
|
||||
"query": "导演是谁",
|
||||
"maxToken": 2000,
|
||||
"quoteList": [
|
||||
{
|
||||
"id": "65bb346a53698398479a8854",
|
||||
"q": "导演是谁？",
|
||||
"a": "电影《铃芽之旅》的导演是新海诚。",
|
||||
"chunkIndex": 0,
|
||||
"datasetId": "65af9b947916ae0e47c834d2",
|
||||
"collectionId": "65bb345c53698398479a868f",
|
||||
"sourceName": "dataset - 2024-01-23T151114.198.csv",
|
||||
"sourceId": "65bb345b53698398479a868d",
|
||||
"score": [
|
||||
{
|
||||
"type": "embedding",
|
||||
"value": 0.9377183318138123,
|
||||
"index": 0
|
||||
},
|
||||
{
|
||||
"type": "rrf",
|
||||
"value": 0.06557377049180328,
|
||||
"index": 0
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"historyPreview": [
|
||||
{
|
||||
"obj": "Human",
|
||||
"value": "使用 <Data></Data> 标记中的内容作为本次对话的参考:\n\n<Data>\n导演是谁？\n电影《铃芽之旅》的导演是新海诚。\n------\n电影《铃芽之旅》的编剧是谁？22\n新海诚是本片的编剧。\n------\n电影《铃芽之旅》的女主角是谁？\n电影的女主角是铃芽。\n------\n电影《铃芽之旅》的制作团队中有哪位著名人士？2\n川村元气是本片的制作团队成员之一。\n------\n你是谁？\n我是电影《铃芽之旅》助手\n------\n电影《铃芽之旅》男主角是谁？\n电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。\n------\n电影《铃芽之旅》的作者新海诚写了一本小说，叫什么名字？\n小说名字叫《铃芽之旅》。\n------\n电影《铃芽之旅》的女主角是谁？\n电影《铃芽之旅》的女主角是岩户铃芽，由原菜乃华配音。\n------\n电影《铃芽之旅》的故事背景是什么？\n日本\n------\n谁担任电影《铃芽之旅》中岩户环的配音？\n深津绘里担任电影《铃芽之旅》中岩户环的配音。\n</Data>\n\n回答要求：\n- 如果你不清楚答案，你需要澄清。\n- 避免提及你是从 <Data></Data> 获取的知识。\n- 保持答案与 <Data></Data> 中描述的一致。\n- 使用 Markdown 语法优化回答格式。\n- 使用与问题相同的语言回答。\n\n问题:\"\"\"导演是谁\"\"\""
|
||||
},
|
||||
{
|
||||
"obj": "AI",
|
||||
"value": "电影《铃芽之旅》的导演是新海诚。"
|
||||
}
|
||||
],
|
||||
"contextTotalLen": 2,
|
||||
"runningTime": 1.32
|
||||
}
|
||||
]
|
||||
|
||||
|
||||
}'
|
||||
```
|
||||
|
||||
**responseData 完整字段说明：**
|
||||
|
||||
```ts
|
||||
type ResponseType = {
|
||||
moduleType: FlowNodeTypeEnum; // 模块类型
|
||||
moduleName: string; // 模块名
|
||||
moduleLogo?: string; // logo
|
||||
runningTime?: number; // 运行时间
|
||||
query?: string; // 用户问题/检索词
|
||||
textOutput?: string; // 文本输出
|
||||
|
||||
tokens?: number; // 上下文总Tokens
|
||||
model?: string; // 使用到的模型
|
||||
contextTotalLen?: number; // 上下文总长度
|
||||
totalPoints?: number; // 总消耗AI积分
|
||||
|
||||
temperature?: number; // 温度
|
||||
maxToken?: number; // 模型的最大token
|
||||
quoteList?: SearchDataResponseItemType[]; // 引用列表
|
||||
historyPreview?: ChatItemType[]; // 上下文预览（历史记录会被裁剪）
|
||||
|
||||
similarity?: number; // 最低相关度
|
||||
limit?: number; // 引用上限token
|
||||
searchMode?: `${DatasetSearchModeEnum}`; // 搜索模式
|
||||
searchUsingReRank?: boolean; // 是否使用rerank
|
||||
extensionModel?: string; // 问题扩展模型
|
||||
extensionResult?: string; // 问题扩展结果
|
||||
extensionTokens?: number; // 问题扩展总字符长度
|
||||
|
||||
cqList?: ClassifyQuestionAgentItemType[]; // 分类问题列表
|
||||
cqResult?: string; // 分类问题结果
|
||||
|
||||
extractDescription?: string; // 内容提取描述
|
||||
extractResult?: Record<string, any>; // 内容提取结果
|
||||
|
||||
params?: Record<string, any>; // HTTP模块params
|
||||
body?: Record<string, any>; // HTTP模块body
|
||||
headers?: Record<string, any>; // HTTP模块headers
|
||||
httpResult?: Record<string, any>; // HTTP模块结果
|
||||
|
||||
pluginOutput?: Record<string, any>; // 插件输出
|
||||
pluginDetail?: ChatHistoryItemResType[]; // 插件详情
|
||||
|
||||
isElseResult?: boolean; // 判断器结果
|
||||
}
|
||||
```
|
||||
|
||||
## 实践案例
|
||||
|
||||
我们以[Laf作为服务器为例](https://laf.dev/)，简单展示这 3 个接口的使用方式。
|
||||
|
||||
### 1. 创建3个Laf接口
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
<Tabs items={['/shareAuth/init','/shareAuth/start','/shareAuth/finish']}>
|
||||
<Tab value="/shareAuth/init" >
|
||||
|
||||
|
||||
这个接口中，我们设置了`token`必须等于`fastgpt`才能通过校验。（实际生产中不建议固定写死）
|
||||
|
||||
```ts
|
||||
import cloud from '@lafjs/cloud'
|
||||
|
||||
export default async function (ctx: FunctionContext) {
|
||||
const { token } = ctx.body
|
||||
|
||||
// 此处省略 token 解码过程
|
||||
if (token === 'fastgpt') {
|
||||
return { success: true, data: { uid: "user1" } }
|
||||
}
|
||||
|
||||
return { success: false,message:"身份错误" }
|
||||
}
|
||||
|
||||
```
|
||||
|
||||
|
||||
</Tab>
|
||||
|
||||
<Tab value="/shareAuth/start" >
|
||||
|
||||
|
||||
这个接口中，我们设置了`token`必须等于`fastgpt`才能通过校验。并且如果问题中包含了`你`字，则会报错，用于模拟敏感校验。
|
||||
|
||||
```ts
|
||||
import cloud from '@lafjs/cloud'
|
||||
|
||||
export default async function (ctx: FunctionContext) {
|
||||
const { token, question } = ctx.body
|
||||
|
||||
// 此处省略 token 解码过程
|
||||
if (token !== 'fastgpt') {
|
||||
return { success: false, message: "身份错误" }
|
||||
|
||||
}
|
||||
|
||||
if(question.includes("你")){
|
||||
return { success: false, message: "内容不合规" }
|
||||
}
|
||||
|
||||
return { success: true, data: { uid: "user1" } }
|
||||
}
|
||||
|
||||
```
|
||||
|
||||
|
||||
</Tab>
|
||||
|
||||
<Tab value="/shareAuth/finish" >
|
||||
|
||||
|
||||
结果上报接口可自行进行逻辑处理。
|
||||
|
||||
```ts
|
||||
import cloud from '@lafjs/cloud'
|
||||
|
||||
export default async function (ctx: FunctionContext) {
|
||||
const { token, responseData } = ctx.body
|
||||
|
||||
const total = responseData.reduce((sum,item) => sum + item.price,0)
|
||||
const amount = total / 100000
|
||||
|
||||
// 省略数据库操作
|
||||
|
||||
return { }
|
||||
}
|
||||
```
|
||||
|
||||
|
||||
</Tab>
|
||||
</Tabs>
|
||||
|
||||
|
||||
### 2. 配置校验地址
|
||||
|
||||
我们随便复制3个地址中一个接口: `https://d8dns0.laf.dev/shareAuth/finish`, 去除`/shareAuth/finish`后填入`身份校验`:`https://d8dns0.laf.dev`
|
||||
|
||||
|
||||
|
||||
### 3. 修改分享链接参数
|
||||
|
||||
源分享链接：`https://share.tryfastgpt.ai/chat/share?shareId=64be36376a438af0311e599c`
|
||||
|
||||
修改后：`https://share.tryfastgpt.ai/chat/share?shareId=64be36376a438af0311e599c&authToken=fastgpt`
|
||||
|
||||
### 4. 测试效果
|
||||
|
||||
1. 打开源链接或者`authToken`不等于`fastgpt`的链接会提示身份错误。
|
||||
2. 发送内容中包含你字，会提示内容不合规。
|
||||
|
||||
|
||||
## 使用场景
|
||||
|
||||
这个鉴权方式通常是帮助你直接嵌入`分享链接`到你的应用中，在你的应用打开分享链接前，应做`authToken`的拼接后再打开。
|
||||
|
||||
除了对接已有系统的用户外，你还可以对接`余额`功能，通过`结果上报`接口扣除用户余额，通过`对话前校验`接口检查用户的余额。
|
||||
|
|
@ -0,0 +1,50 @@
|
|||
---
|
||||
title: Cloudflare Worker 中转
|
||||
description: 使用 Cloudflare Worker 实现中转
|
||||
---
|
||||
|
||||
[参考 "不做了睡觉" 的教程](https://gravel-twister-d32.notion.site/FastGPT-API-ba7bb261d5fd4fd9bbb2f0607dacdc9e)
|
||||
|
||||
**workers 配置文件**
|
||||
|
||||
```js
|
||||
const TELEGRAPH_URL = 'https://api.openai.com';
|
||||
|
||||
addEventListener('fetch', (event) => {
|
||||
event.respondWith(handleRequest(event.request));
|
||||
});
|
||||
|
||||
async function handleRequest(request) {
|
||||
// 安全校验
|
||||
if (request.headers.get('auth') !== 'auth_code') {
|
||||
return new Response('UnAuthorization', { status: 403 });
|
||||
}
|
||||
|
||||
const url = new URL(request.url);
|
||||
url.host = TELEGRAPH_URL.replace(/^https?:\/\//, '');
|
||||
|
||||
const modifiedRequest = new Request(url.toString(), {
|
||||
headers: request.headers,
|
||||
method: request.method,
|
||||
body: request.body,
|
||||
redirect: 'follow'
|
||||
});
|
||||
|
||||
const response = await fetch(modifiedRequest);
|
||||
const modifiedResponse = new Response(response.body, response);
|
||||
|
||||
// 添加允许跨域访问的响应头
|
||||
modifiedResponse.headers.set('Access-Control-Allow-Origin', '*');
|
||||
|
||||
return modifiedResponse;
|
||||
}
|
||||
```
|
||||
|
||||
**修改 FastGPT 的环境变量**
|
||||
|
||||
> 务必别忘了填 v1！
|
||||
|
||||
```bash
|
||||
OPENAI_BASE_URL=https://xxxxxx/v1
|
||||
OPENAI_BASE_URL_AUTH=auth_code
|
||||
```
|
||||
|
|
@ -0,0 +1,43 @@
|
|||
---
|
||||
title: HTTP 代理中转
|
||||
description: 使用 HTTP 代理实现中转
|
||||
---
|
||||
|
||||
如果你有代理工具（例如 [Clash](https://github.com/Dreamacro/clash) 或者 [sing-box](https://github.com/SagerNet/sing-box)），也可以使用 HTTP 代理来访问 OpenAI。只需要添加以下两个环境变量即可：
|
||||
|
||||
```bash
|
||||
AXIOS_PROXY_HOST=
|
||||
AXIOS_PROXY_PORT=
|
||||
```
|
||||
|
||||
以 Clash 为例，建议指定 `api.openai.com` 走代理，其他请求都直连。示例配置如下：
|
||||
|
||||
```yaml
|
||||
mixed-port: 7890
|
||||
allow-lan: false
|
||||
bind-address: '*'
|
||||
mode: rule
|
||||
log-level: warning
|
||||
dns:
|
||||
enable: true
|
||||
ipv6: false
|
||||
nameserver:
|
||||
- 8.8.8.8
|
||||
- 8.8.4.4
|
||||
cache-size: 400
|
||||
proxies:
|
||||
-
|
||||
proxy-groups:
|
||||
- { name: '♻️ 自动选择', type: url-test, proxies: [香港V01×1.5], url: 'https://api.openai.com', interval: 3600}
|
||||
rules:
|
||||
- 'DOMAIN-SUFFIX,api.openai.com,♻️ 自动选择'
|
||||
- 'MATCH,DIRECT'
|
||||
```
|
||||
|
||||
然后给 FastGPT 添加两个环境变量：
|
||||
|
||||
```bash
|
||||
AXIOS_PROXY_HOST=127.0.0.1
|
||||
AXIOS_PROXY_PORT=7890
|
||||
```
|
||||
|
||||
|
|
@ -0,0 +1,5 @@
|
|||
{
|
||||
"title": "代理方案",
|
||||
"description": "FastGPT 私有化部署代理方案",
|
||||
"pages": ["nginx","http_proxy","cloudflare"]
|
||||
}
|
||||
|
|
@ -0,0 +1,101 @@
|
|||
---
|
||||
title: Nginx 中转
|
||||
description: 使用 Sealos 部署 Nginx 实现中转
|
||||
---
|
||||
|
||||
## 登录 Sealos
|
||||
|
||||
[Sealos](https://cloud.sealos.io?uid=fnWRt09fZP)
|
||||
|
||||
## 创建应用
|
||||
|
||||
打开 「应用管理」，点击「新建应用」：
|
||||
|
||||
|
||||
|
||||
|
||||
### 填写基本配置
|
||||
|
||||
务必开启外网访问，复制外网访问提供的地址。
|
||||
|
||||
|
||||
|
||||
### 添加配置文件
|
||||
|
||||
1. 复制下面这段配置文件，注意 `server_name` 后面的内容替换成第二步的外网访问地址。
|
||||
|
||||
```nginx
|
||||
user nginx;
|
||||
worker_processes auto;
|
||||
worker_rlimit_nofile 51200;
|
||||
|
||||
events {
|
||||
worker_connections 1024;
|
||||
}
|
||||
|
||||
http {
|
||||
resolver 8.8.8.8;
|
||||
proxy_ssl_server_name on;
|
||||
|
||||
access_log off;
|
||||
server_names_hash_bucket_size 512;
|
||||
client_header_buffer_size 64k;
|
||||
large_client_header_buffers 4 64k;
|
||||
client_max_body_size 50M;
|
||||
|
||||
proxy_connect_timeout 240s;
|
||||
proxy_read_timeout 240s;
|
||||
proxy_buffer_size 128k;
|
||||
proxy_buffers 4 256k;
|
||||
|
||||
server {
|
||||
listen 80;
|
||||
server_name tgohwtdlrmer.cloud.sealos.io; # 这个地方替换成 Sealos 提供的外网地址
|
||||
|
||||
location ~ /openai/(.*) {
|
||||
proxy_pass https://api.openai.com/$1$is_args$args;
|
||||
proxy_set_header Host api.openai.com;
|
||||
proxy_set_header X-Real-IP $remote_addr;
|
||||
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||
# 如果响应是流式的
|
||||
proxy_set_header Connection '';
|
||||
proxy_http_version 1.1;
|
||||
chunked_transfer_encoding off;
|
||||
proxy_buffering off;
|
||||
proxy_cache off;
|
||||
# 如果响应是一般的
|
||||
proxy_buffer_size 128k;
|
||||
proxy_buffers 4 256k;
|
||||
proxy_busy_buffers_size 256k;
|
||||
}
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
2. 点开高级配置。
|
||||
3. 点击「新增配置文件」。
|
||||
4. 文件名写: `/etc/nginx/nginx.conf`。
|
||||
5. 文件值为刚刚复制的那段代码。
|
||||
6. 点击确认。
|
||||
|
||||
|
||||
|
||||
### 部署应用
|
||||
|
||||
填写完毕后，点击右上角的「部署」，即可完成部署。
|
||||
|
||||
## 修改 FastGPT 环境变量
|
||||
|
||||
1. 进入刚刚部署应用的详情，复制外网地址
|
||||
|
||||
> 注意：这是个 API 地址，点击打开是无效的。如需验证，可以访问: `*.cloud.sealos.io/openai/api`，如果提示 `Invalid URL (GET /api)` 则代表成功。
|
||||
|
||||
|
||||
|
||||
2. 修改环境变量（是 FastGPT 的环境变量，不是 Sealos 的）：
|
||||
|
||||
```bash
|
||||
OPENAI_BASE_URL=https://tgohwtdlrmer.cloud.sealos.io/openai/v1
|
||||
```
|
||||
|
||||
**Done!**
|
||||
|
|
@ -0,0 +1,167 @@
|
|||
---
|
||||
title: Sealos 一键部署
|
||||
description: 使用 Sealos 一键部署 FastGPT
|
||||
---
|
||||
|
||||
import { Alert } from '@/components/docs/Alert';
|
||||
|
||||
## 部署架构图
|
||||
|
||||
|
||||
|
||||
## 多模型支持
|
||||
|
||||
FastGPT 使用了 one-api 项目来管理模型池，其可以兼容 OpenAI 、Azure 、国内主流模型和本地模型等。
|
||||
|
||||
可参考：[Sealos 快速部署 OneAPI](/docs/development/modelconfig/one-api)
|
||||
|
||||
|
||||
## 一键部署
|
||||
|
||||
使用 Sealos 服务，无需采购服务器、无需域名，支持高并发 & 动态伸缩，并且数据库应用采用 kubeblocks 的数据库，在 IO 性能方面，远超于简单的 Docker 容器部署。可以根据需求，再下面两个区域选择部署。
|
||||
|
||||
### 新加坡区
|
||||
|
||||
新加披区的服务器在国外，可以直接访问 OpenAI，但国内用户需要梯子才可以正常访问新加坡区。国际区价格稍贵，点击下面按键即可部署👇
|
||||
|
||||
<a href="https://template.cloud.sealos.io/deploy?templateName=fastgpt&uid=fnWRt09fZP" rel="external" target="_blank"><img src="https://cdn.jsdelivr.net/gh/labring-actions/templates@main/Deploy-on-Sealos.svg" alt="Deploy on Sealos"/></a>
|
||||
|
||||
### 北京区
|
||||
|
||||
北京区服务提供商为火山云，国内用户可以稳定访问，但无法访问 OpenAI 等境外服务，价格约为新加坡区的 1/4。点击下面按键即可部署👇
|
||||
|
||||
<a href="https://bja.sealos.run/?openapp=system-template%3FtemplateName%3Dfastgpt&uid=fnWRt09fZP" rel="external" target="_blank"><img src="https://raw.githubusercontent.com/labring-actions/templates/main/Deploy-on-Sealos.svg" alt="Deploy on Sealos"/></a>
|
||||
|
||||
### 1. 开始部署
|
||||
|
||||
由于需要部署数据库，部署完后需要等待 2~4 分钟才能正常访问。默认用了最低配置，首次访问时会有些慢。
|
||||
|
||||
根据提示，输入`root_password`，和 `openai`/`oneapi` 的地址和密钥。
|
||||
|
||||
|
||||
|
||||
点击部署后，会跳转到应用管理页面。可以点击`fastgpt`主应用右侧的详情按键（名字为 fastgpt-xxxx）， 如下图所示。
|
||||
|
||||
|
||||
|
||||
点击详情后，会跳转到 fastgpt 的部署管理页面，点击外网访问地址中的链接，即可打开 fastgpt 服务。
|
||||
|
||||
如需绑定自定义域名、修改部署参数，可以点击右上角变更，根据 sealos 的指引完成。
|
||||
|
||||
|
||||
|
||||
### 2. 登录
|
||||
|
||||
用户名：`root`
|
||||
|
||||
密码是刚刚一键部署时设置的`root_password`
|
||||
|
||||
### 3. 配置模型
|
||||
|
||||
### 4. 配置模型
|
||||
|
||||
务必先配置至少一组模型，否则系统无法正常使用。
|
||||
|
||||
[点击查看模型配置教程](/docs/development/modelConfig/intro/)
|
||||
|
||||
## 收费
|
||||
|
||||
Sealos 采用按量计费的方式，也就是申请了多少 cpu、内存、磁盘，就按该申请量进行计费。具体的计费标准，可以打开`sealos`控制面板中的`费用中心`进行查看。
|
||||
|
||||
## Sealos 使用
|
||||
|
||||
### 简介
|
||||
|
||||
FastGPT 商业版共包含了2个应用（fastgpt, fastgpt-plus）和2个数据库，使用多 Api Key 时候需要安装 OneAPI（一个应用和一个数据库），总计3个应用和3个数据库。
|
||||
|
||||
|
||||
|
||||
点击右侧的详情，可以查看对应应用的详细信息。
|
||||
|
||||
### 修改配置文件和环境变量
|
||||
|
||||
在 Sealos 中，你可以打开`应用管理`（App Launchpad）看到部署的 FastGPT，可以打开`数据库`（Database）看到对应的数据库。
|
||||
|
||||
在`应用管理`中，选中 FastGPT，点击变更，可以看到对应的环境变量和配置文件。
|
||||
|
||||
|
||||
|
||||
<Alert icon="🤖" context="success">
|
||||
在 Sealos 上，FastGPT 一共运行了 1 个服务和 2 个数据库，如暂停和删除请注意数据库一同操作。（你可以白天启动，晚上暂停它们，省钱大法）
|
||||
</Alert>
|
||||
|
||||
### 如何更新/升级 FastGPT
|
||||
|
||||
[升级脚本文档](https://doc.tryfastgpt.ai/docs/development/upgrading/)先看下文档，看下需要升级哪个版本。注意，不要跨版本升级！！！！！
|
||||
|
||||
例如，目前是4.5 版本，要升级到4.5.1，就先把镜像版本改成v4.5.1，执行一下升级脚本，等待完成后再继续升级。如果目标版本不需要执行初始化，则可以跳过。
|
||||
|
||||
升级步骤：
|
||||
|
||||
1. 查看[更新文档](/docs/development/upgrading/intro/)，确认要升级的版本，避免跨版本升级。
|
||||
2. 打开 sealos 的应用管理
|
||||
3. 有2个应用 fastgpt ， fastgpt-pro
|
||||
4. 点击对应应用右边3个点，变更。或者点详情后右上角的变更。
|
||||
5. 修改镜像的版本号
|
||||
|
||||
|
||||
|
||||
6. 点击变更/重启，会自动拉取最新镜像进行更新
|
||||
7. 执行对应版本的初始化脚本(如果有)
|
||||
|
||||
### 如何获取 FastGPT 访问链接
|
||||
|
||||
打开对应的应用，点击外网访问地址。
|
||||
|
||||
|
||||
|
||||
### 配置自定义域名
|
||||
|
||||
点击对应应用的变更->点击自定义域名->填写域名-> 操作域名 Cname -> 确认 -> 确认变。
|
||||
|
||||
|
||||
|
||||
### 如何修改配置文件
|
||||
|
||||
打开 Sealos 的应用管理 -> 找到对应的应用 -> 变更 -> 往下拉到高级配置，里面有个配置文件 -> 新增或点击对应的配置文件可以进行编辑 -> 点击右上角确认变。
|
||||
|
||||
|
||||
|
||||
[配置文件参考](https://doc.tryfastgpt.ai/docs/development/configuration/)
|
||||
|
||||
### 修改站点名称以及 favicon
|
||||
修改应用的环境变量，增加
|
||||
|
||||
```
|
||||
SYSTEM_NAME=FastGPT
|
||||
SYSTEM_DESCRIPTION=
|
||||
SYSTEM_FAVICON=/favicon.ico
|
||||
HOME_URL=/dashboard/apps
|
||||
```
|
||||
|
||||
SYSTEM_FAVICON 可以是一个网络地址
|
||||
|
||||
|
||||
|
||||
### 挂载logo
|
||||
目前暂时无法 把浏览器上的logo替换。仅支持svg，待后续可视化做了后可以全部替换。
|
||||
新增一个挂载文件，文件名为：/app/projects/app/public/icon/logo.svg ，值为 svg 对应的值。
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
### 商业版镜像配置文件
|
||||
|
||||
```
|
||||
{
|
||||
"license": "",
|
||||
"system": {
|
||||
"title": "" // 系统名称
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
### One API 使用
|
||||
|
||||
[参考 OneAPI 使用步骤](/docs/development/modelconfig/one-api/)
|
||||
|
|
@ -0,0 +1,64 @@
|
|||
---
|
||||
title: 升级到 V4.0
|
||||
description: FastGPT 从旧版本升级到 V4.0 操作指南
|
||||
---
|
||||
|
||||
import { Alert } from '@/components/docs/Alert';
|
||||
|
||||
如果您是**从旧版本升级到 V4**，由于新版 MongoDB 表变更比较大，需要按照本文档的说明执行一些初始化脚本。
|
||||
|
||||
## 重命名表名
|
||||
|
||||
需要连接上 MongoDB 数据库，执行两条命令：
|
||||
|
||||
```js
|
||||
db.models.renameCollection("apps")
|
||||
db.sharechats.renameCollection("outlinks")
|
||||
```
|
||||
|
||||
<Alert context="warning">
|
||||
注意：从旧版更新到 V4， MongoDB 会自动创建空表，你需要先手动删除这两个空表，再执行上面的操作。
|
||||
</Alert>
|
||||
|
||||
## 初始化几个表中的字段
|
||||
|
||||
依次执行下面 3 条命令，时间比较长，不成功可以重复执行（会跳过已经初始化的数据），直到所有数据更新完成。
|
||||
|
||||
```js
|
||||
db.chats.find({appId: {$exists: false}}).forEach(function(item){
|
||||
db.chats.updateOne(
|
||||
{
|
||||
_id: item._id,
|
||||
},
|
||||
{ "$set": {"appId":item.modelId}}
|
||||
)
|
||||
})
|
||||
|
||||
db.collections.find({appId: {$exists: false}}).forEach(function(item){
|
||||
db.collections.updateOne(
|
||||
{
|
||||
_id: item._id,
|
||||
},
|
||||
{ "$set": {"appId":item.modelId}}
|
||||
)
|
||||
})
|
||||
|
||||
db.outlinks.find({shareId: {$exists: false}}).forEach(function(item){
|
||||
db.outlinks.updateOne(
|
||||
{
|
||||
_id: item._id,
|
||||
},
|
||||
{ "$set": {"shareId":item._id.toString(),"appId":item.modelId}}
|
||||
)
|
||||
})
|
||||
```
|
||||
|
||||
## 初始化 API
|
||||
|
||||
部署新版项目，并发起 3 个 HTTP 请求（记得携带 `headers.rootkey`，这个值是环境变量里的）
|
||||
|
||||
1. https://xxxxx/api/admin/initv4
|
||||
2. https://xxxxx/api/admin/initChat
|
||||
3. https://xxxxx/api/admin/initOutlink
|
||||
|
||||
1 和 2 有可能会因为内存不足挂掉，可以重复执行。
|
||||
|
|
@ -0,0 +1,25 @@
|
|||
---
|
||||
title: 升级到 V4.1
|
||||
description: FastGPT 从旧版本升级到 V4.1 操作指南
|
||||
---
|
||||
|
||||
如果您是**从旧版本升级到 V4.1**，由于新版重新设置了对话存储结构，需要初始化原来的存储内容。
|
||||
|
||||
## 更新环境变量
|
||||
|
||||
V4.1 优化了 PostgreSQL 和 MongoDB 的连接变量，只需要填 1 个 URL 即可：
|
||||
|
||||
注意：/fastgpt 和 /postgres 是指数据库名称，需要和旧版的变量对应。
|
||||
|
||||
```bash
|
||||
# mongo 配置，不需要改. 如果连不上，可能需要去掉 ?authSource=admin
|
||||
- MONGODB_URI=mongodb://username:password@mongo:27017/fastgpt?authSource=admin
|
||||
# pg配置. 不需要改
|
||||
- PG_URL=postgresql://username:password@pg:5432/postgres
|
||||
```
|
||||
|
||||
## 初始化 API
|
||||
|
||||
部署新版项目，并发起 1 个 HTTP 请求（记得携带 `headers.rootkey`，这个值是环境变量里的）
|
||||
|
||||
- https://xxxxx/api/admin/initChatItem
|
||||
|
|
@ -0,0 +1,57 @@
|
|||
---
|
||||
title: 'V4.10.0'
|
||||
description: 'FastGPT V4.10.0 更新说明'
|
||||
---
|
||||
|
||||
## 更新指南
|
||||
|
||||
### Docker 版本
|
||||
|
||||
- 参考最新的[docker-compose.yml](https://github.com/labring/FastGPT/blob/main/deploy/docker/docker-compose-pgvector.yml)文件，加入`fastgpt-plugin`和`minio`服务。
|
||||
- 修改`fastgpt-plugin`环境变量`AUTH_TOKEN`为较复杂的值。
|
||||
- 修改`fastgpt-plugin`环境变量`MINIO_CUSTOM_ENDPOINT`为`http://ip:port` 或相关域名，要求fastgpt 用户可访问。
|
||||
- 更新`fastgpt`和`fastgpt-pro`(商业版)容器的环境变量:
|
||||
|
||||
```
|
||||
PLUGIN_BASE_URL=http://fastgpt-plugin:3000
|
||||
PLUGIN_TOKEN=刚修改的 AUTH_TOKEN 值
|
||||
```
|
||||
- 更新`fastgpt`和`fastgpt-pro`镜像 tag: v4.10.0-fix
|
||||
- `docker-compose up -d`启动/更新所有服务。
|
||||
|
||||
### Sealos 版本
|
||||
|
||||
- 在 Sealos 桌面的`对象存储`中，新建一个存储桶，设置`publicRead`权限。并获取相关密钥：
|
||||
|
||||
|
||||
|
||||
- 部署`fastgpt-plugin`服务，镜像`registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-plugin:v0.1.0`，内网暴露端口3000，无需公网访问，设置环境变量:
|
||||
|
||||
```
|
||||
AUTH_TOKEN=鉴权 token
|
||||
|
||||
# 日志等级: debug,info,warn,error
|
||||
LOG_LEVEL=info
|
||||
|
||||
# S3 配置
|
||||
MINIO_CUSTOM_ENDPOINT=External
|
||||
MINIO_ENDPOINT=Internal地址
|
||||
MINIO_PORT=443
|
||||
MINIO_USE_SSL=true
|
||||
MINIO_ACCESS_KEY=Access Key
|
||||
MINIO_SECRET_KEY=Secret Key
|
||||
MINIO_BUCKET=存储桶名
|
||||
```
|
||||
|
||||
- 更新`fastgpt`和`fastgpt-pro`(商业版)容器的环境变量以及镜像 tag: v4.10.0-fix
|
||||
|
||||
```
|
||||
PLUGIN_BASE_URL=fastgpt-plugin 服务的内网地址
|
||||
PLUGIN_TOKEN=刚修改的 AUTH_TOKEN 值
|
||||
```
|
||||
|
||||
## 🚀 新增内容
|
||||
|
||||
1. 独立系统工具服务，支持系统工具独立开发和调试。
|
||||
2. 更新系统工具开发指南[系统工具开发指南](/docs/guide/plugins/dev_system_tool/)。
|
||||
3. 更新[系统工具设计文档](/docs/guide/plugins/design_plugin/)。
|
||||
|
|
@ -0,0 +1,55 @@
|
|||
---
|
||||
title: 'V4.10.1'
|
||||
description: 'FastGPT V4.10.1 更新说明'
|
||||
---
|
||||
|
||||
## 更新指南
|
||||
|
||||
### 1. 更新镜像：
|
||||
|
||||
- 更新 FastGPT 镜像tag: v4.10.1-fix3
|
||||
- 更新 FastGPT 商业版镜像tag: v4.10.1
|
||||
- 更新 fastgpt-plugin 镜像 tag: v0.1.3
|
||||
- mcp_server 无需更新
|
||||
- Sandbox 无需更新
|
||||
- AIProxy 无需更新
|
||||
|
||||
### 2. 执行升级脚本
|
||||
|
||||
该脚本仅需商业版用户执行。
|
||||
|
||||
从任意终端，发起 1 个 HTTP 请求。其中 `{{rootkey}}` 替换成环境变量里的 `rootkey`；`{{host}}` 替换成**FastGPT 域名**。
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://{{host}}/api/admin/initv4101' \
|
||||
--header 'rootkey: {{rootkey}}' \
|
||||
--header 'Content-Type: application/json'
|
||||
```
|
||||
|
||||
- 给自动同步的知识库加入新的定时任务。
|
||||
|
||||
## 🚀 新增内容
|
||||
|
||||
1. 系统工具支持流输出。
|
||||
2. 商业版第三方知识库定时同步，支持全量同步，可以同步整个目录。
|
||||
|
||||
## ⚙️ 优化
|
||||
|
||||
1. 定时任务报错日志记录到对话日志。
|
||||
2. 封装应用动态form渲染组件。
|
||||
3. 目录面包屑导航溢出省略。
|
||||
|
||||
## 🐛 修复
|
||||
|
||||
1. 搜索类型系统工具无法正常显示。
|
||||
2. 部分系统工具向下兼容问题。
|
||||
3. AI 节点，手动选择历史记录时，会导致 system 记录重复。
|
||||
4. 知识库 tag 无法滚动到底。
|
||||
5. API 知识库通过 API 导入文件时，自定义 API 解析参数未生效。
|
||||
|
||||
## 🔨 工具更新
|
||||
|
||||
1. 新增 Flux 官方绘图工具。
|
||||
2. 新增 JinaAI 工具集。
|
||||
3. 新增阿里百炼 Flux 和通义万相绘图。
|
||||
4. 纠正硅基流动画图工具输出值类型。
|
||||
|
|
@ -0,0 +1,54 @@
|
|||
---
|
||||
title: 'V4.11.0'
|
||||
description: 'FastGPT V4.11.0 更新说明'
|
||||
---
|
||||
|
||||
## 升级说明
|
||||
|
||||
### 1. 修改环境变量
|
||||
|
||||
FastGPT 商业版用户，可以增加评估相关环境变量，并在更新后，在管理端点击一次保存。
|
||||
|
||||
```
|
||||
EVAL_CONCURRENCY=3 # 评估单节点并发数
|
||||
EVAL_LINE_LIMIT=1000 # 评估文件最大行数
|
||||
```
|
||||
|
||||
### 2. 更新镜像：
|
||||
|
||||
- 更新 FastGPT 镜像tag: v4.11.0
|
||||
- 更新 FastGPT 商业版镜像tag: v4.11.0
|
||||
- 更新 fastgpt-plugin 镜像 tag: v0.1.5
|
||||
- mcp_server 无需更新
|
||||
- Sandbox 无需更新
|
||||
- AIProxy 无需更新
|
||||
|
||||
## 项目调整
|
||||
|
||||
1. 移除所有**开源功能**的限制，包括：应用数量和知识库数量上限。
|
||||
2. 调整 RoadMap，增加`上下文管理`,`AI 生成工作流`,`高级编排 DeBug 调试模式`等计划。
|
||||
3. 海外版域名将`tryfastgpt.ai`调整成`fastgpt.io`。
|
||||
|
||||
## 🚀 新增内容
|
||||
|
||||
1. 商业版增加**应用评测(Beta 版)**，可对应用进行有监督评分。
|
||||
2. 工作流部分节点支持报错捕获分支。
|
||||
3. 对话页独立 tab 页面UX。
|
||||
4. 支持 Signoz traces 和 logs 系统追踪。
|
||||
5. 新增 Gemini2.5, grok4, kimi 模型配置。
|
||||
6. 模型调用日志增加首字响应时长和请求 IP。
|
||||
|
||||
## ⚙️ 优化
|
||||
|
||||
1. 优化代码，避免递归造成的内存堆积，尤其在高并发连续的进行知识库预处理时，可显著降低内存消耗。
|
||||
2. 知识库训练：支持全部重试当前集合异常数据。
|
||||
3. 工作流 valueTypeFormat，避免数据类型不一致。
|
||||
4. 知识库列表搜索时，正则未进行特殊词替换。
|
||||
|
||||
## 🐛 修复
|
||||
|
||||
1. 问题分类和内容提取节点，默认模型无法通过前端校验，导致工作流无法运行和保存发布。
|
||||
|
||||
## 🔨 工具更新
|
||||
|
||||
1. Markdown 文本转 Docx 和 Xlsx 文件。
|
||||
|
|
@ -0,0 +1,17 @@
|
|||
---
|
||||
title: 升级到 V4.2
|
||||
description: FastGPT 从旧版本升级到 V4.2 操作指南
|
||||
---
|
||||
|
||||
99.9%用户不影响，升级 4.2 主要是修改了配置文件中 QAModel 的格式。从原先的数组改成对象：
|
||||
|
||||
```json
|
||||
"QAModel": {
|
||||
"model": "gpt-3.5-turbo-16k",
|
||||
"name": "GPT35-16k",
|
||||
"maxToken": 16000,
|
||||
"price": 0
|
||||
}
|
||||
```
|
||||
|
||||
改动目的是，我们认为不需要留有选择余地，选择一个最合适的模型去进行任务即可。
|
||||
|
|
@ -0,0 +1,20 @@
|
|||
---
|
||||
title: 升级到 V4.2.1
|
||||
description: FastGPT 从旧版本升级到 V4.2.1 操作指南
|
||||
---
|
||||
|
||||
私有部署，如果添加了配置文件，需要在配置文件中修改 `VectorModels` 字段。增加 defaultToken 和 maxToken，分别对应直接分段时的默认 token 数量和该模型支持的 token 上限 (通常不建议超过 3000)
|
||||
|
||||
```json
|
||||
"VectorModels": [
|
||||
{
|
||||
"model": "text-embedding-ada-002",
|
||||
"name": "Embedding-2",
|
||||
"price": 0,
|
||||
"defaultToken": 500,
|
||||
"maxToken": 3000
|
||||
}
|
||||
]
|
||||
```
|
||||
|
||||
改动目的是，我们认为不需要留有选择余地，选择一个最合适的模型去进行任务即可。
|
||||
|
|
@ -0,0 +1,26 @@
|
|||
---
|
||||
title: 升级到 V4.3(包含升级脚本)
|
||||
description: FastGPT 从旧版本升级到 V4.3 操作指南
|
||||
---
|
||||
|
||||
## 执行初始化 API
|
||||
|
||||
发起 1 个 HTTP 请求 (记得携带 `headers.rootkey`，这个值是环境变量里的)
|
||||
|
||||
1. https://xxxxx/api/admin/initv43
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://{{host}}/api/admin/initv43' \
|
||||
--header 'rootkey: {{rootkey}}' \
|
||||
--header 'Content-Type: application/json'
|
||||
```
|
||||
|
||||
会给 PG 数据库的 modeldata 表插入一个新列 file_id，用于存储文件 ID。
|
||||
|
||||
## 增加环境变量
|
||||
|
||||
增加一个 `FILE_TOKEN_KEY` 环境变量，用于生成文件预览链接，过期时间为 30 分钟。
|
||||
|
||||
```
|
||||
FILE_TOKEN_KEY=filetokenkey
|
||||
```
|
||||
|
|
@ -0,0 +1,19 @@
|
|||
---
|
||||
title: 升级到 V4.4(包含升级脚本)
|
||||
description: FastGPT 从旧版本升级到 V4.4 操作指南
|
||||
---
|
||||
|
||||
## 执行初始化 API
|
||||
|
||||
发起 1 个 HTTP 请求 (记得携带 `headers.rootkey`，这个值是环境变量里的)
|
||||
|
||||
1. https://xxxxx/api/admin/initv44
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://{{host}}/api/admin/initv44' \
|
||||
--header 'rootkey: {{rootkey}}' \
|
||||
--header 'Content-Type: application/json'
|
||||
```
|
||||
|
||||
会给初始化 Mongo 的部分字段。
|
||||
|
||||
|
|
@ -0,0 +1,19 @@
|
|||
---
|
||||
title: 升级到 V4.4.1(包含升级脚本)
|
||||
description: FastGPT 从旧版本升级到 V4.4.1 操作指南
|
||||
---
|
||||
|
||||
## 执行初始化 API
|
||||
|
||||
发起 1 个 HTTP 请求（记得携带 `headers.rootkey`，这个值是环境变量里的）
|
||||
|
||||
1. https://xxxxx/api/admin/initv441
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://{{host}}/api/admin/initv441' \
|
||||
--header 'rootkey: {{rootkey}}' \
|
||||
--header 'Content-Type: application/json'
|
||||
```
|
||||
|
||||
会给初始化 Mongo 的 dataset.files，将所有数据设置为可用。
|
||||
|
||||
|
|
@ -0,0 +1,19 @@
|
|||
---
|
||||
title: 升级到 V4.4.2(包含升级脚本)
|
||||
description: FastGPT 从旧版本升级到 V4.4.2 操作指南
|
||||
---
|
||||
|
||||
## 执行初始化 API
|
||||
|
||||
发起 1 个 HTTP 请求 (记得携带 `headers.rootkey`，这个值是环境变量里的)
|
||||
|
||||
1. https://xxxxx/api/admin/initv442
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://{{host}}/api/admin/initv442' \
|
||||
--header 'rootkey: {{rootkey}}' \
|
||||
--header 'Content-Type: application/json'
|
||||
```
|
||||
|
||||
会给初始化 Mongo 的 Bill 表的索引，之前过期时间有误。
|
||||
|
||||
|
|
@ -0,0 +1,27 @@
|
|||
---
|
||||
title: V4.4.5(包含升级脚本)
|
||||
description: FastGPT V4.4.5 更新
|
||||
---
|
||||
|
||||
## 执行初始化 API
|
||||
|
||||
发起 1 个 HTTP 请求（记得携带 `headers.rootkey`，这个值是环境变量里的）
|
||||
|
||||
1. https://xxxxx/api/admin/initv445
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://{{host}}/api/admin/initv445' \
|
||||
--header 'rootkey: {{rootkey}}' \
|
||||
--header 'Content-Type: application/json'
|
||||
```
|
||||
|
||||
初始化了 variable 模块，将其合并到用户引导模块中。
|
||||
|
||||
## 功能介绍
|
||||
|
||||
### Fast GPT V4.4.5
|
||||
|
||||
1. 新增 - 下一步指引选项，可以通过模型生成 3 个预测问题。
|
||||
2. 商业版新增 - 分享链接限制及 hook 身份校验（可对接已有的用户系统）。
|
||||
3. 商业版新增 - Api Key 使用。增加别名、额度限制和过期时间。自带 appId，无需额外连接。
|
||||
4. 优化 - 全局变量与开场白合并成同一模块。
|
||||
|
|
@ -0,0 +1,10 @@
|
|||
---
|
||||
title: V4.4.6
|
||||
description: FastGPT V4.4.6 更新
|
||||
---
|
||||
|
||||
## 功能介绍
|
||||
|
||||
1. 高级编排新增模块 - 应用调用，可调用其他应用。
|
||||
2. 新增 - 必要连接校验
|
||||
3. 修复 - 下一步指引在免登录中身份问题。
|
||||
|
|
@ -0,0 +1,27 @@
|
|||
---
|
||||
title: V4.4.7（需执行升级脚本）
|
||||
description: FastGPT V4.4.7 更新（需执行升级脚本）
|
||||
---
|
||||
|
||||
## 执行初始化 API
|
||||
|
||||
发起 1 个 HTTP 请求（`{{rootkey}}` 替换成环境变量里的`rootkey`，`{{host}}`替换成自己域名）
|
||||
|
||||
1. https://xxxxx/api/admin/initv447
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://{{host}}/api/admin/initv447' \
|
||||
--header 'rootkey: {{rootkey}}' \
|
||||
--header 'Content-Type: application/json'
|
||||
```
|
||||
|
||||
初始化 pg 索引以及将 file_id 中空对象转成 manual 对象。如果数据多，可能需要较长时间，可以通过日志查看进度。
|
||||
|
||||
## 功能介绍
|
||||
|
||||
### Fast GPT V4.4.7
|
||||
|
||||
1. 优化了数据库文件 crud。
|
||||
2. 兼容链接读取，作为 source。
|
||||
3. 区分手动录入和标注，可追数据至某个文件。
|
||||
4. 升级 openai sdk。
|
||||
|
|
@ -0,0 +1,89 @@
|
|||
---
|
||||
title: V4.5(需进行较为复杂更新)
|
||||
description: FastGPT V4.5 更新
|
||||
---
|
||||
|
||||
FastGPT V4.5 引入 PgVector0.5 版本的 HNSW 索引，极大的提高了知识库检索的速度，比起`IVFFlat`索引大致有3~10倍的性能提升，可轻松实现百万数据毫秒级搜索。缺点在于构建索引的速度非常慢，4c16g 500w 组数据使用`并行构建`大约花了 48 小时。具体参数配置可参考 [PgVector官方](https://github.com/pgvector/pgvector)
|
||||
|
||||
下面需要对数据库进行一些操作升级：
|
||||
|
||||
## PgVector升级：Sealos 部署方案
|
||||
|
||||
1. 点击[Sealos桌面](https://cloud.sealos.io?uid=fnWRt09fZP)的数据库应用。
|
||||
2. 点击【pg】数据库的详情。
|
||||
3. 点击右上角的重启，等待重启完成。
|
||||
4. 点击左侧的一键链接，等待打开 Terminal。
|
||||
5. 依次输入下方 sql 命令
|
||||
|
||||
```sql
|
||||
-- 升级插件名
|
||||
ALTER EXTENSION vector UPDATE;
|
||||
-- 插件是否升级成功，成功的话，vector插件版本为 0.5.0，旧版的为 0.4.1
|
||||
\dx
|
||||
|
||||
-- 下面两个语句会设置 pg 在构建索引时可用的内存大小，需根据自身的数据库规格来动态配置，可配置为 1/4 的内存大小
|
||||
alter system set maintenance_work_mem = '2400MB';
|
||||
select pg_reload_conf();
|
||||
|
||||
-- 重构数据库索引和排序
|
||||
REINDEX DATABASE postgres;
|
||||
|
||||
-- 开始构建索引，该索引构建时间非常久，直接点击右上角的叉，退出 Terminal 即可
|
||||
CREATE INDEX CONCURRENTLY vector_index ON modeldata USING hnsw (vector vector_ip_ops) WITH (m = 16, ef_construction = 64);
|
||||
-- 可以再次点击一键链接，进入 Terminal，输入下方命令，如果看到 "vector_index" hnsw (vector vector_ip_ops) WITH (m='16', ef_construction='64') 则代表构建完成（注意，后面没有 INVALID）
|
||||
\d modeldata
|
||||
```
|
||||
|
||||
| | |
|
||||
| --------------------- | --------------------- |
|
||||
|  |  |
|
||||
|  |  |
|
||||
|
||||
|
||||
|
||||
## PgVector升级：Docker-compose.yml 部署方案
|
||||
|
||||
下面的命令是基于给的 docker-compose 模板，如果数据库账号密码更换了，请自行调整。
|
||||
|
||||
1. 修改 `docker-compose.yml` 中pg的镜像版本，改成 `ankane/pgvector:v0.5.0` 或 `registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0`
|
||||
2. 重启 pg 容器(docker-compose pull && docker-compose up -d)，等待重启完成。
|
||||
3. 进入容器: `docker exec -it pg bash`
|
||||
4. 连接数据库: `psql 'postgresql://username:password@localhost:5432/postgres'`
|
||||
5. 执行下面 sql 命令
|
||||
|
||||
```sql
|
||||
-- 升级插件名
|
||||
ALTER EXTENSION vector UPDATE;
|
||||
-- 插件是否升级成功，成功的话，vector插件版本为 0.5.0，旧版的为 0.4.2
|
||||
\dx
|
||||
|
||||
-- 下面两个语句会设置 pg 在构建索引时可用的内存大小，需根据自身的数据库规格来动态配置，可配置为 1/4 的内存大小
|
||||
alter system set maintenance_work_mem = '2400MB';
|
||||
select pg_reload_conf();
|
||||
|
||||
-- 重构数据库索引和排序
|
||||
REINDEX DATABASE postgres;
|
||||
ALTER DATABASE postgres REFRESH COLLATION VERSION;
|
||||
|
||||
-- 开始构建索引，该索引构建时间非常久，直接关掉终端即可，不要使用 ctrl+c 关闭
|
||||
CREATE INDEX CONCURRENTLY vector_index ON modeldata USING hnsw (vector vector_ip_ops) WITH (m = 16, ef_construction = 64);
|
||||
-- 可以再次连接数据库，输入下方命令。如果看到 "vector_index" hnsw (vector vector_ip_ops) WITH (m='16', ef_construction='64') 则代表构建完成（注意，后面没有 INVALID）
|
||||
\d modeldata
|
||||
|
||||
|
||||
```
|
||||
|
||||
## 版本新功能介绍
|
||||
|
||||
### Fast GPT V4.5
|
||||
|
||||
1. 新增 - 升级 PgVector 插件，引入 HNSW 索引，极大加快的知识库搜索速度。
|
||||
2. 新增 - AI对话模块，增加【返回AI内容】选项，可控制 AI 的内容不直接返回浏览器。
|
||||
3. 新增 - 支持问题分类选择模型
|
||||
4. 优化 - TextSplitter，采用递归拆解法。
|
||||
5. 优化 - 高级编排 UX 性能
|
||||
6. 修复 - 分享链接鉴权问题
|
||||
|
||||
## 该版本需要修改 `config.json` 文件
|
||||
|
||||
最新配置可参考: [V45版本最新 config.json](/docs/development/configuration)
|
||||
|
|
@ -0,0 +1,31 @@
|
|||
---
|
||||
title: V4.5.1(需进行初始化)
|
||||
description: FastGPT V4.5.1 更新
|
||||
---
|
||||
|
||||
## 执行初始化 API
|
||||
|
||||
发起 1 个 HTTP 请求（`{{rootkey}}` 替换成环境变量里的`rootkey`，`{{host}}`替换成自己域名）
|
||||
|
||||
1. https://xxxxx/api/admin/initv451
|
||||
|
||||
```bash
|
||||
curl --location --request POST 'https://{{host}}/api/admin/initv451' \
|
||||
--header 'rootkey: {{rootkey}}' \
|
||||
--header 'Content-Type: application/json'
|
||||
```
|
||||
|
||||
初始化内容：
|
||||
1. rename 数据库字段
|
||||
2. 初始化 Mongo APP 表中知识库的相关字段
|
||||
3. 初始化 PG 和 Mongo 的内容，为每个文件创建一个集合（存储 Mongo 中），并反馈赋值给 PG。
|
||||
|
||||
**该初始化接口可能速度很慢，返回超时不用管，注意看日志即可**
|
||||
|
||||
## 功能介绍
|
||||
|
||||
### Fast GPT V4.5.1
|
||||
|
||||
1. 新增知识库文件夹管理
|
||||
2. 修复了 openai4.x sdk 无法兼容 oneapi 的智谱和阿里的接口。
|
||||
3. 修复部分模块无法触发完成事件
|
||||
Some files were not shown because too many files have changed in this diff Show More
Loading…
Reference in New Issue