wehub/pathwaycom--llm-app

Fork 0

Files

T

wehub-resource-sync 4b7747cc63

lint PR / linter (push) Waiting to run

Details

docs: make Chinese README the default

2026-07-13 10:12:05 +00:00

9.3 KiB

Raw Permalink Blame History

Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

Pathway Live Data Framework AI 流水线

Pathway Live Data Framework 的 AI Pipelines（AI 流水线） 可让你快速将 AI 应用投入生产；这些应用利用数据源中最最新的知识，在规模化场景下提供高精度的 RAG（Retrieval-Augmented Generation，检索增强生成）与企业级 AI 搜索。它为你提供开箱即用的 LLM（Large Language Model，大语言模型）应用模板。你可以在本地机器上测试它们，并部署到云端（GCP、AWS、Azure、Render 等）或本地环境。

这些应用会连接并与数据源同步（包括所有新增、删除、更新），数据源涵盖文件系统、Google Drive、Sharepoint、S3、Kafka、PostgreSQL、实时数据 API。它们不依赖需要单独搭建的基础设施。它们内置数据索引，支持向量搜索、混合搜索和全文搜索——全部在内存中完成，并带有缓存。

应用模板

本仓库提供的应用模板可扩展至数百万页文档。其中一些为简洁性而优化，另一些为出色精度而优化。选择最适合你的那一款。你可以开箱即用，也可以修改流水线的某些步骤——例如，如果你想添加新数据源，或将 Vector Index 改为 Hybrid Index，只需一行代码即可。

Application (template)	Description
`Question-Answering RAG App`	基本端到端 RAG 应用。一个问答流水线，使用你选择的 GPT 模型，针对连接到实时数据源（文件、Google Drive、Sharepoint 等）的文档（PDF、DOCX 等）中的查询提供答案。你也可以试用 demo REST endpoint.
`Live Document Indexing (Vector Store / Retriever)`	用于 RAG 的实时文档索引流水线，可作为向量存储服务。它对来自已连接数据源（文件、Google Drive、Sharepoint 等）的文档（PDF、DOCX 等）进行实时索引。可与任何前端配合使用，或作为 Langchain 或 Llamaindex 应用的检索后端集成。你也可以试用 demo REST endpoint.
`Multimodal RAG pipeline with GPT4o`	多模态 RAG，在解析阶段使用 GPT-4o，从已连接的数据源（文件、Google Drive、Sharepoint 等）索引 PDF 及其他文档。非常适合从文件夹中的非结构化金融文档（包括图表和表格）中提取信息，并在文档变更或新增时更新结果。
`Unstructured-to-SQL pipeline + SQL question-answering`	一个 RAG 示例，连接非结构化金融数据源（金融报告 PDF），将数据结构化并存入 SQL，加载到 PostgreSQL 表中。它还通过使用 LLM 将自然语言用户查询翻译为 SQL，并在 PostgreSQL 表上执行查询，从而回答有关这些金融文档的问题。
`Adaptive RAG App`	使用 Adaptive RAG 的 RAG 应用，这是 Pathway 开发的一种技术，可在保持精度的同时将 RAG 中的 token 成本降低多达 4 倍。
`Private RAG App with Mistral and Ollama`	`question_answering_rag` RAG 流水线的完全私有（本地）版本，使用 Pathway Live Data Framework、Mistral 和 Ollama。
`Slides AI Search App`	用于检索幻灯片的索引流水线。它对 PowerPoint 和 PDF 进行多模态处理，并维护幻灯片的实时索引。"
`Video RAG with TwelveLabs`	基于视频的 RAG 流水线。它使用 TwelveLabs Pegasus 将视频转换为丰富的文本描述，并使用 Marengo 多模态嵌入进行索引，这样你就可以针对连接到实时数据源（文件、Google Drive 等）的视频提问。

这些 AI 流水线如何工作？

这些应用可作为 Docker 容器运行，并对外暴露 HTTP API 以连接前端。为便于快速测试和演示，部分应用模板还包含可选的 Streamlit UI，用于连接该 API。

这些应用依赖 Pathway Live Data Framework 进行数据源同步并处理 API 请求（Pathway 是一个独立的 Python 库，内置 Rust 引擎）。它们为你提供后端、嵌入、检索、LLM 技术栈的简单统一的应用逻辑。无需为 Gen AI 应用集成和维护独立模块：~~向量数据库（如 Pinecone/Weaviate/Qdrant）+ 缓存（如 Redis）+ API 框架（如 Fast API）~~。Pathway 默认选择的内置向量索引基于极速 usearch 库，混合全文索引则使用 Tantivy 库。一切开箱即用。