ethicalml--awesome-production-machine-learning/README.md

Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

Awesome Production Machine Learning

本仓库收录了一份精选的优秀开源库清单，可帮助你部署、监控、版本管理、扩展并保障生产环境机器学习系统的安全 🚀

你可以关注本 GitHub 仓库以保持更新，每月通过 releases 获取新增生产环境 ML 库的摘要 🤩

此外，我们还提供了一个 搜索工具包，可帮助你快速浏览整个工具链。

本页章节快速链接

🔧 AutoML	🧮 Computation & Communication Optimisation	🏷️ Data Annotation & Synthesis
🧵 Data Pipeline	📓 Data Science Notebook	💾 Data Storage Optimisation
💸 Data Stream Processing	💪 Deployment & Serving	📈 Evaluation & Monitoring
🔍 Explainability & Fairness	🎁 Feature Store	🔴 Industry-strength Anomaly Detection
👁️ Industry-strength Computer Vision	🔥 Industry-strength Information Retrieval	🔠 Industry-strength Natural Language Processing
🙌 Industry-strength Recommender System	🍕 Industry-strength Reinforcement Learning	🤖 Industry-strength Robotics
📊 Industry-strength Visualisation	📅 Metadata Management	📜 Model, Data & Experiment Management
🔩 Model Storage Optimisation	🏁 Model Training & Orchestration	🔏 Privacy & Safety

为本列表做贡献

提交 PR 时，请查阅我们的 CONTRIBUTING.md 要求，帮助我们保持列表整洁且及时更新——感谢社区对其持续成长的支持 🚀

10 分钟视频概览

这段 10 分钟视频 概述了机器学习运维（MLOps）的动机，并对本仓库中的部分工具做了高层次介绍。这段 较新的视频 介绍了 2024 年更新版 MLOps 现状。

想定期接收本仓库及其他进展的更新？

你可以订阅 Machine Learning Engineer 简报。加入超过 70,000 名 ML 专业人士与爱好者，每周获取关于生产环境机器学习的精选文章与教程。
也请查看 Awesome Production GenAI 列表，我们旨在整理一份精选的优秀开源库清单，用于部署、监控、版本管理与扩展你的生成式人工智能（GenAI）应用与系统。

主要内容

AutoML

• AIDE - AIDE 是一款开源 ML 工程智能体，采用树搜索算法自主探索、实现并评估机器学习任务的解决方案策略。
• AutoGluon - 在主流机器学习库（Scikit-Learn、LightGBM、CatBoost、PyTorch、MXNet）之上，为表格、图像和文本数据自动完成特征、模型与超参数选择。
• Autokeras - 基于 "Auto-Keras: Efficient Neural Architecture Search with Network Morphism". 的 Keras AutoML 库。
• auto-sklearn - 用于自动化 sklearn 算法与超参数调优的框架。
• Ax - Ax 是一个易于使用、通用型的平台，用于理解、管理、部署并自动化自适应实验。
• BoTorch - BoTorch 是基于 PyTorch 构建的贝叶斯优化（Bayesian Optimization）库。
• EvalML - EvalML 是一款 AutoML 库，使用领域特定的目标函数来构建、优化并评估机器学习流水线。
• Feature Engine - Feature-engine 是一个 Python 库，包含多种转换器，用于为机器学习模型构建特征。
• Featuretools - 用于自动化特征工程的开源框架。
• FLAML - FLAML 是一个用于自动化机器学习与调优的快速库。
• HEBO - 一组开源超参数优化框架，包括在 NeurIPS 2020 Black-Box Optimisation Challenge 中获胜的提交方案，并已在超参数调优任务上完成测试。
• Katib - 基于 Kubernetes 的超参数调优与神经架构搜索（Neural Architecture Search）系统。
• keras-tuner - Keras Tuner 是一个易于使用、可分布式部署的超参数优化框架，可解决执行超参数搜索时的痛点。Keras Tuner 让你轻松定义搜索空间，并利用内置算法找到最佳超参数值。
• Optuna - Optuna 是一个自动超参数优化软件框架，专为机器学习设计。
• OSS Vizier - OSS Vizier 是一个基于 Python 的黑盒优化与研究服务，是最早为大规模运行而设计的超参数调优服务之一。
• Perpetual - 一种无需超参数优化的梯度提升机，通过简单的预算参数控制模型复杂度。
• TPOT - 自动化创建 sklearn 流水线（包括特征选择、预处理器等）。
• tsfresh - 从时间序列中自动提取相关特征。

计算与通信优化

• Accelerate - Accelerate 精确且仅抽象与多 GPU/TPU/混合精度相关的样板代码，其余代码保持不变。
• Adapters - Adapters 是用于参数高效（parameter-efficient）模块化迁移学习的统一库。
• BitBLAS - BitBLAS 是在 GPU 上支持混合精度 BLAS 运算的库。
• Cache-DiT - Cache-DiT 构建于 Diffusers 之上，支持几乎所有 DiT，提供混合缓存加速（DBCache、TaylorSeer、SCM 等）以及全面的并行优化，包括上下文并行（Context Parallelism）、张量并行（Tensor Parallelism）以及混合 2D/3D 并行，并兼容编译、CPU 卸载和量化。
• Colossal-AI - 面向大模型时代的统一深度学习系统，帮助用户高效、快速地部署大型 AI 模型的训练与推理。
• Composer - Composer 是一个 PyTorch 库，可让你以更低成本、更高精度更快地训练神经网络。
• CuDF - 基于 Apache Arrow 列式内存格式构建，cuDF 是一个用于加载、连接、聚合、过滤及其他数据操作的 GPU DataFrame 库。
• CuML - cuML 是一套实现机器学习算法与数学基元函数的库，与其他 RAPIDS 项目共享兼容的 API。
• CuPy - 在 CUDA 上实现与 NumPy 兼容的多维数组。CuPy 由核心多维数组类 cupy.ndarray 及其众多函数组成。
• DEAP - 一种用于快速原型设计与想法测试的新型进化计算框架。它力求使算法显式化、数据结构透明化，并与 multiprocessing、SCOOP 等并行化机制完美协同。
• DeepEP - DeepEP 是专为混合专家模型（Mixture-of-Experts, MoE）与专家并行（expert parallelism, EP）量身定制的通信库。它提供高吞吐、低延迟的 all-to-all GPU 内核，也称为 MoE dispatch 与 combine。该库还支持包括 FP8 在内的低精度运算。
• DGL - DGL 是一个易用、高性能且可扩展的图深度学习 Python 包。
• DLRover - DLRover 使大型 AI 模型的分布式训练变得简单、稳定、快速且节能。
• Dask - 面向 Pandas 与 NumPy 计算的分布式并行处理框架。
• DeepSpeed - DeepSpeed 是一个深度学习优化库，使分布式训练与推理变得简单、高效且有效。
• FlagGems - FlagGems 是用 OpenAI Triton 实现的高性能通用算子库。它基于一组后端无关的内核，旨在加速多种硬件平台上的 LLM 训练与推理。
• Flashlight - 由 Facebook AI Research 以及 Torch、TensorFlow、Eigen 和 Deep Speech 的创建者完全用 C++ 编写的快速、灵活的机器学习库。
• Flax - 为 JAX 设计的、注重灵活性的神经网络库与生态系统。
• GPUStack - GPUStack 是一个用于运行 AI 模型的开源 GPU 集群管理器。
• Hivemind - 基于 PyTorch 的去中心化深度学习。
• Horovod - Uber 面向 TensorFlow、Keras 和 PyTorch 的分布式训练框架。
• Jax - 对 Python+NumPy 程序进行可组合变换：求导、向量化、JIT 编译到 GPU/TPU 等。
• Kompute - 极速、轻量且支持手机的 Vulkan 计算框架，针对高级 GPU 数据处理场景进行优化。
• Lava - Lava 是一个用于为神经形态硬件架构开发应用的开源框架。
• Liger Kernel - Liger Kernel 是一组专为 LLM 训练设计的 Triton 内核集合。
• LightGBM - LightGBM 是使用基于树的学习算法的梯度提升框架。
• MLX - MLX 是面向 Apple 芯片机器学习用的数组框架。
• Modin - 只需修改一行代码即可加速 Pandas 工作流。
• NVIDIA TensorRT - TensorRT 是一个在 NVIDIA GPU 与深度学习加速器上进行高性能推理的 C++ 库。
• Nevergrad - Nevergrad 是一个无梯度优化平台。
• Norse - Norse 旨在利用生物启发式神经组件的优势，它们具有稀疏性与事件驱动特性——这与人工神经网络有根本区别。
• Numba - 用于 Python 数组与数值函数的编译器。
• Optimum - Optimum 是 Transformers 与 Diffusers 的扩展，提供一套优化工具，在保持易用性的同时，使模型在目标硬件上的训练与运行达到最高效率。
• PEFT - 参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法可在无需微调全部模型参数的情况下，将预训练语言模型（PLMs）高效适配到各种下游应用。
• PaddlePaddle - PaddlePaddle 是一个框架，可利用分布在数百个节点上的数据源进行大规模深度网络训练。
• PyG - PyG（PyTorch Geometric）是基于 PyTorch 构建的库，可轻松编写并训练图神经网络（GNNs），适用于各类结构化数据相关应用。
• PyTorch Lightning - PyTorch Lightning 可在多 GPU、TPU 上预训练、微调并部署 AI 模型，无需修改代码。
• PyTorch - PyTorch 是一个用于开发与训练基于神经网络的深度学习模型的库。
• Ray - Ray 是一个灵活、高性能的机器学习分布式执行框架。
• SetFit - SetFit 是一个高效、无需提示词（prompt-free）的 Sentence Transformers 少样本微调框架。
• Sonnet - Sonnet 是构建于 TensorFlow 2 之上的库，旨在为机器学习研究提供简单、可组合抽象。
• Streaming - 用于高效神经网络训练的数据流式库。
• TensorFlow - TensorFlow 是用于开发与部署最先进机器学习应用的主流库。
• ThunderKittens ThunderKittens 是一个框架，可轻松编写快速的 CUDA 深度学习内核。
• TorchOpt - TorchOpt 是基于 PyTorch 构建的高效可微优化库。
• Triton - Triton 是一种用于编写高效自定义深度学习基元的语言与编译器。Triton 旨在提供开源环境，以比 CUDA 更高的生产力编写快速代码，同时比现有其他 DSL 更灵活。
• Vaex Vaex 是一个高性能 Python 库，提供惰性核外 DataFrame（类似 Pandas），用于可视化与探索大型表格数据集。Vaex 使用内存映射、零内存拷贝策略与惰性计算以实现最佳性能（不浪费内存）。
• Vowpal Wabbit Vowpal Wabbit 是一个机器学习系统，通过在线学习、哈希、allreduce、reductions、learning2search、主动学习与交互式学习等技术推动机器学习前沿。
• XGBoost - XGBoost 是一个优化的分布式梯度提升库，设计目标是高效、灵活且可移植。
• YDF - YDF（Yggdrasil Decision Forests）是一个用于训练、评估、解释并部署随机森林、梯度提升决策树、CART 与孤立森林模型的库。
• bitsandbytes - Bitsandbytes 库是围绕 CUDA 自定义函数的轻量级 Python 封装，尤其包括 8 位优化器、矩阵乘法（LLM.int8()）以及 8 位与 4 位量化函数。
• einops - 灵活强大的张量运算，让代码更易读、更可靠。
• scikit-learn - Scikit-learn 是一个强大的机器学习库，提供丰富模块用于数据访问、数据准备与统计模型构建。
• snnTorch - snnTorch 是一个支持脉冲神经网络的深度学习与在线学习库。
• torchdistill - torchdistill 提供多种最先进的知识蒸馏方法，让你只需编辑声明式 yaml 配置文件而非 Python 代码，即可设计（新）实验。
• torchkeras The torchkeras library is a simple tool for training neural network in pytorch jusk in a keras style.
• veScale - veScale 是一个 PyTorch 原生 LLM 训练框架。
• yellowbrick - yellowbrick 是基于 matplotlib 的模型评估绘图工具，适用于 scikit-learn 及其他机器学习库。

数据标注与合成

• Argilla - Argilla 帮助领域专家和数据团队在更短时间内构建更好的 NLP 数据集。
• cleanlab - 面向以数据为中心 AI（data-centric AI）的 Python 库。可自动：发现错误标注数据、检测异常值、估算多标注者数据集的共识与标注者质量、建议下一步最适合（重新）标注的数据。
• COCO Annotator - 基于 Web 的图像分割工具，用于目标检测、定位与关键点标注。
• CVAT - CVAT（Computer Vision Annotation Tool，计算机视觉标注工具）是 OpenCV 的基于 Web 的标注工具，适用于图像与视频，供计算机算法使用。
• Doccano - 面向人工标注的开源文本标注工具，提供情感分析、命名实体识别和机器翻译等功能。
• Gretel Synthetics - Gretel Synthetics 是用于结构化与非结构化文本的合成数据生成器，支持差分隐私学习。
• Label Studio - 多领域数据标注与标注工具，输出格式标准化。
• LightlyStudio - 用于策展、标注和管理视觉数据集（图像与视频）的开源工具。支持基于嵌入的自动筛选、标注，以及边界框与分割的自动标注。
• NeMo Curator - NeMo Curator 是用于高效大语言模型数据策展的 GPU 加速框架。
• refinery - 数据科学家用于扩展、评估和维护自然语言数据的开源选择。
• SDV - SDV（Synthetic Data Vault，合成数据保险库）是一套合成数据生成生态系统库，用户可轻松学习单表、多表与时间序列数据集，随后生成与原始数据集格式和统计特性相同的新合成数据。
• Semantic Segmentation Editor - 日立（Hitachi）用于标注相机与 LIDAR 数据的开源工具。
• synthcity - synthcity 是用于生成和评估合成表格数据的库。
• TabGAN - 使用 GAN（CTGAN）、扩散模型和 LLM 生成合成表格数据，具备对抗过滤、隐私指标和 sklearn 集成。
• ViPE - ViPE 是用于从原始视频标注相机位姿和稠密深度图的空间 AI 工具。
• YData Synthetic - YData Synthetic 是利用最先进生成模型生成合成表格与时间序列数据的软件包。

数据流水线

• Apache Airflow - 用 Python 构建的数据流水线框架，包含调度器、DAG 定义和可视化 UI。
• Apache Nifi - Apache NiFi 专为数据流而设计，支持高度可配置的有向图，用于数据路由、转换和系统中介逻辑。
• Apache Oozie - Hadoop 作业的工作流调度器。
• Argo Workflows - Argo Workflows 是用于在 Kubernetes 上编排并行作业的开源容器原生工作流引擎，以 Kubernetes CRD（Custom Resource Definition，自定义资源定义）实现。
• Couler - 用于在不同工作流引擎（如 Argo Workflows、Tekton Pipelines 和 Apache Airflow）上构建和管理机器学习工作流的统一接口。
• DataTrove - DataTrove 是在超大规模下处理、过滤和去重文本数据的库。
• Dagster - 面向机器学习、分析和 ETL 的数据编排器。
• DBT - 在数据仓库内运行转换的 ETL 工具。
• Flyte - Lyft 的云原生机器学习与数据处理平台 - (演示).
• Genie - 作业编排引擎，用于对接并触发基于 Hadoop 系统的作业执行。
• Hamilton - Hamilton 是用于定义数据流的微编排（micro-orchestration）框架。可在任何运行 Python 的地方运行（如 jupyter、fastAPI、spark、ray、dask）。在不知不觉间引入软件工程最佳实践。可用于定义特征工程转换、端到端模型流水线和 LLM 工作流。它作为宏编排系统（如 kedro、luigi、airflow、dbt 等）的补充，替换这些宏任务内的代码。自带可自托管 UI，捕获血缘与溯源、执行遥测与数据摘要，并构建自填充目录；可用于开发与生产环境。
• Instill VDP - Instill VDP（Versatile Data Pipeline，通用数据流水线）旨在简化从启动到完成的数据处理流水线。
• Instructor - Instructor 便于从 GPT-3.5、GPT-4、GPT-4-Vision 等 LLM 及开源模型获取 JSON 等结构化数据。
• Kedro - Kedro 是工作流开发工具，帮助你构建稳健、可扩展、可部署、可复现且可版本化的数据流水线。
• Luigi - Luigi 是 Python 模块，帮助你构建复杂的批处理作业流水线，处理依赖解析、工作流管理、可视化等。
• Metaflow - 供数据科学家轻松构建和管理真实数据科学项目的框架。
• Pachyderm - 基于 Kubernetes 构建的开源分布式处理框架，主要专注于动态构建生产级机器学习流水线 - (视频).
• Ploomber - 构建数据流水线的最快方式。迭代开发，随处部署。
• Pixeltable – 开源 Python 库，提供声明式、增量的数据基础设施，用于构建和管理多模态 AI 工作负载。
• Prefect Core - 工作流管理系统，便于为数据流水线添加重试、日志、动态映射、缓存、失败通知等语义。
• SeqIO - SeqIO 是处理送入下游序列模型的序列数据的库。
• Snakemake - 用于可复现、可扩展数据分析的工作流管理系统。
• Towhee - 通用机器学习流水线，使用一个或多个 ML 模型生成嵌入向量。
• unstructured - unstructured 简化并优化面向 LLM 的数据处理工作流，摄取并预处理图像和文本文档，如 PDF、HTML、Word 文档等。
• ZenML - ZenML 是可扩展的开源 MLOps 框架，用于创建可复现的 ML 流水线，侧重自动元数据跟踪、缓存及与多种工具的集成。

数据科学 Notebook

• Apache Zeppelin - 基于 Web 的 notebook，支持使用 SQL、Scala 等实现数据驱动、交互式数据分析与协作文档。
• Deepnote - Deepnote 是 Jupyter 的直接替代方案，采用 AI 优先设计，拥有简洁 UI、新型块（blocks）以及原生数据集成。可在喜爱的 IDE 中本地使用 Python、R 和 SQL，然后扩展到 Deepnote 云端，实现实时协作、Deepnote agent 和可部署的数据应用。
• Jupyter Notebooks - 用于可复现开发的 Web 界面 Python 沙箱环境
• Marimo - 响应式 Python notebook —— 运行可复现实验、作为脚本执行、部署为应用，并通过 git 进行版本管理。
• Papermill - Papermill 是一个用于对 notebook 进行参数化并将其像 Python 脚本一样执行的库。
• Polynote - Polynote 是一个实验性的多语言 notebook 环境。目前支持 Scala 和 Python（可选 Spark）、SQL 以及 Vega。
• RMarkdown - rmarkdown 包是基于 Pandoc 的 R Markdown 下一代实现。
• Stencila - Stencila 是一个用于创建、协作与分享数据驱动内容的平台。内容透明且可复现。
• Voilà - Voilà 将 Jupyter notebook 转换为独立的 Web 应用，例如可用作仪表板。
• .NET Interactive - .NET Interactive 将 .NET 的强大能力嵌入你的交互式体验中。

数据存储优化

• AIStore - AIStore 是一个轻量级对象存储系统，每增加一个存储节点即可线性扩展，并特别面向千万亿级（petascale）深度学习场景。
• Alluxio - 虚拟分布式存储系统，弥合计算框架与存储系统之间的鸿沟。
• Apache Arrow - 与 Pandas、基于 Hadoop 的系统等兼容的内存列式数据表示。
• Apache Druid - 高性能实时分析数据库。可阅读这篇文章了解介绍。
• Apache Hudi - Hudi 是一个事务型数据湖平台，将核心数仓与数据库功能直接带入数据湖。Hudi 非常适合流式工作负载，也支持构建高效的增量批处理流水线。支持 Spark、Flink、Presto、Trino、Hive 等主流查询引擎。更多信息见此处.
• Apache Iceberg - Iceberg 是一种符合 ACID 的高性能格式，专为海量分析表（可含数十 PB 数据）构建；它将 SQL 表的可靠性与简洁性带入大数据，并让 Spark、Trino、Flink、Presto、Hive 和 Impala 等引擎能够安全地同时操作同一张表。更多信息见此处.
• Apache Ignite - 以内存为中心的分布式数据库、缓存与处理平台，适用于事务、分析与流式工作负载，在 PB 级规模下提供内存级速度 - Demo.
• Apache Parquet - 与 Pandas、基于 Hadoop 的系统等兼容的磁盘列式数据表示。
• Apache Pinot - 实时分布式 OLAP 数据存储。大数据开源 OLAP 系统 ClickHouse、Druid 和 Pinot 的对比见此处.
• Casibase - Casibase 是一个类 LangChain 的 RAG（检索增强生成，Retrieval-Augmented Generation）知识库，提供 Web UI 与企业 SSO。
• Chroma - Chroma 是一个开源嵌入（embedding）数据库。
• ClickHouse - ClickHouse 是一个开源列式数据库管理系统。
• Delta Lake - Delta Lake 是一个存储层，为 Apache Spark 及其他大数据引擎带来可扩展的 ACID 事务。
• EdgeDB - Gel 以现代数据模型、图查询、Auth 与 AI 解决方案等增强 Postgres，还有更多功能。
• GPTCache - GPTCache 是一个用于为大语言模型查询创建语义缓存的库。
• InfluxDB 面向指标、事件与实时分析的可扩展数据存储。
• Milvus Milvus 是一个云原生开源向量数据库，用于管理机器学习模型与神经网络生成的嵌入向量。
• Marqo Marqo 是一个端到端向量搜索引擎。
• pgvector pgvector 为 Postgres 提供向量相似度搜索支持。
• PostgresML PostgresML 是 PostgreSQL 的机器学习扩展，让你可通过 SQL 查询对文本与表格数据执行训练与推理。
• Redis Redis 是一个开源内存数据存储，支持向量相似度搜索，适用于语义搜索、推荐系统等 AI/ML 应用。
• Safetensors 简单、安全地存储与分发张量（tensor）的方式。
• TimescaleDB 开源时序 SQL 数据库，针对快速摄取与复杂查询优化，以 PostgreSQL 扩展形式提供 - (Video).
• Weaviate - 低延迟向量搜索引擎（GraphQL、RESTful），开箱即用支持多种媒体类型。模块包括语义搜索、问答（Q&A）、分类、可定制模型（PyTorch/TensorFlow/Keras）等。
• Zarr - 分块、压缩的 N 维数组的 Python 实现，专为并行计算场景设计。

数据流处理

• Apache Beam Apache Beam 是批处理（Batch）与流处理（Streaming）的统一编程模型。
• Apache Flink - 开源流处理框架，具备强大的流处理与批处理能力。
• Apache Kafka - 用于构建应用与微服务的 Kafka 客户端库，输入与输出均存储在 Kafka 集群中。
• Apache Samza - 分布式流处理框架。使用 Apache Kafka 进行消息传递，并使用 Apache Hadoop YARN 提供容错、处理器隔离、安全与资源管理。
• Apache Spark - 基于 Apache Spark 框架作为后端的流式微批处理，支持有状态 exactly-once 语义。
• Bytewax - 灵活的以 Python 为中心的有状态流处理框架，构建于 Rust 引擎之上。
• FastStream - 现代、与消息代理无关的流式 Python 框架，支持 Apache Kafka、RabbitMQ 和 NATS 协议，受 FastAPI 启发，可轻松与其他 Web 框架集成。
• MOA - MOA（Massive Online Analysis）是用于大数据流挖掘的开源框架。
• MosaicML Streaming - 从云存储快速、确定性地流式传输大型数据集，用于分布式模型训练。
• RisingWave - 分布式 SQL 流式数据库，统一流处理与低延迟服务，适合为在线机器学习构建并提供特征。
• TensorStore - 用于读写大型多维数组的库。

部署与服务

• Agenta - Agenta 为整个 LLMOps 工作流提供端到端工具：构建（LLM playground、评估）、部署（提示词与配置管理），以及（LLM 可观测性与链路追踪）。
• AirLLM - AirLLM 优化推理内存占用，使 70B 大语言模型可在单张 4GB GPU 上运行推理，无需量化、蒸馏与剪枝。
• AITemplate - AITemplate（AIT）是一个 Python 框架，将深度神经网络转换为 CUDA（NVIDIA GPU）/ HIP（AMD GPU）C++ 代码，以实现极速推理服务。
• BentoML - BentoML 是用于高性能 ML 模型服务的开源框架。
• BISHENG - BISHENG 是面向企业场景的开源 LLM 应用 DevOps 平台。
• DeepDetect - 用于 TensorFlow、XGBoost 和 Caffe 模型的机器学习生产服务器，使用 C++ 编写，由 Jolibrain 维护。
• Dynamo - NVIDIA Dynamo 是高吞吐、低延迟的推理框架，专为在多节点分布式环境中服务生成式 AI 与推理模型而设计。
• exo - exo 帮助您使用日常设备在家运行 AI 集群。
• Genkit - Genkit 是用于以熟悉的以代码为中心的模式构建 AI 驱动应用的开源框架。Genkit 可轻松开发、集成并测试 AI 功能，并提供可观测性与评估能力。
• Inference - 快速、可用于生产的计算机视觉推理服务器，支持部署多种流行模型架构与微调模型。通过 Inference，您可使用 Docker 在自有硬件上部署 YOLOv5、YOLOv8、CLIP、SAM、CogVLM 等模型。
• Infinity - Infinity 是用于服务文本嵌入、重排序模型与 CLIP 的高吞吐、低延迟 REST API。
• IPEX-LLM - IPEX-LLM 是用于在 Intel CPU 和 GPU（例如带 iGPU 的本地 PC、Arc、Flex、Max 等独立 GPU）上运行 LLM 的 PyTorch 库，延迟极低。
• LiteLLM - LiteLLM 是 Python SDK 与代理服务器（LLM Gateway），以 OpenAI 格式调用 100+ LLM API——包括 Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq。
• LiteRT - LiteRT（原 TensorFlow Lite）是 Google 面向设备端 AI 推理的高性能运行时，支持在移动、嵌入式与边缘设备上部署机器学习模型。
• LiteRT-LM - LiteRT-LM 是 Google 可用于生产、高性能的推理框架，用于在边缘设备上部署大语言模型，跨平台支持 Android、iOS、Web、Desktop 与 IoT。
• LitServe - LitServe 是基于 FastAPI 构建的灵活 AI 模型服务引擎。支持为模型、智能体、多模态系统、RAG 与复杂 ML 流水线定制推理引擎。
• Jina-serve - Jina-serve 是用于构建与部署通过 gRPC、HTTP 与 WebSockets 通信的 AI 服务的框架。
• Kiln - Kiln 是用于 LLM 微调、合成数据生成与数据集协作的开源工具。
• KServe - KServe 提供服务预测式与生成式 ML 的 Kubernetes 自定义资源定义（CRD）。
• KTransformers - KTransformers 是用于体验前沿 LLM 推理优化的灵活框架。
• Langtrace - Langtrace 是基于 OpenTelemetry 的开源端到端 LLM 应用可观测性工具，为流行 LLM、LLM 框架、向量数据库等提供实时追踪、评估与指标。
• Lepton AI - LeptonAI Python 库可让您轻松从 Python 代码构建 AI 服务。
• LightLLM - LightLLM 是基于 Python 的 LLM（大语言模型）推理与服务框架，以轻量设计、易扩展与高速性能著称。
• llama.cpp - llama.cpp 是对 Llama 等多种大语言模型执行推理的开源软件库。
• llmfit - 一款终端工具，根据系统 RAM、CPU 与 GPU 为 LLM 模型匹配合适规模。检测硬件，从质量、速度、适配度与上下文等维度为各模型评分，并告知哪些模型能在您的机器上良好运行。
• LMCache - LMCache 是加速 LLM 推理的高性能 KV 缓存层。
• LMDeploy - LMDeploy 是用于压缩、部署与服务 LLM 的工具包。
• LM Studio - LM Studio 是在计算机本地部署 LLM 模型的工具，即使机器配置相对一般，只要满足最低要求即可。
• LocalAI - LocalAI 是与 OpenAI API 规范兼容、可直接替换的 REST API，用于本地推理。
• MindsDB - MindsDB 是从数据库、向量存储与应用数据实时创建、服务与微调模型的平台。
• mini-sglang - mini-sglang 是轻量高效的大语言模型服务框架。
• MLRun- MLRun 是用于在其生命周期内快速构建与管理持续 ML 与生成式 AI 应用的开源 MLOps 框架。
• MLServer - 面向机器学习模型的推理服务器，支持多种框架、多模型服务等。
• Model Runner - Docker Model Runner 使用 Docker 轻松管理、运行与服务 AI 模型，支持直接从 Docker Hub 或任何符合 OCI 规范的 registry 拉取的 LLM 及其他 AI 模型。
• Mosec - 基于 Rust、多阶段流水线的模型服务器，提供动态批处理等功能。作为微服务极易实现与部署。
• nano-vllm - nano-vllm 是从头构建的轻量 vLLM 实现，通过前缀缓存、张量并行、CUDA graph 等优化技术提供快速离线推理。
• nndeploy - 易用且高性能的 AI 部署框架。
• Nuclio - 高性能「serverless」框架，面向数据、I/O 与计算密集型工作负载。与 Jupyter、Kubeflow 等流行数据科学工具深度集成；支持多种数据与流式数据源；支持在 CPU 与 GPU 上执行。
• OpenLLM - OpenLLM 允许开发者通过单条命令将任意开源 LLM（Llama 3.1、Qwen2、Phi3 等）或自定义模型作为 OpenAI 兼容 API 运行。
• OpenVINO - OpenVINO 是用于优化与部署 AI 推理的开源工具包。
• Open WebUI - Open WebUI 是可扩展、功能丰富、用户友好的自托管 AI 平台，设计为完全离线运行。支持 Ollama 等多种 LLM 运行器及 OpenAI 兼容 API，内置用于 RAG 的推理引擎，是强大的 AI 部署方案。
• OptiLLM - OptiLLM 是 OpenAI API 兼容的优化推理代理，实现 20+ 种前沿技术，在无需模型训练或微调的情况下显著提升 LLM 在推理任务上的准确性与性能。
• PowerInfer - PowerInfer 是利用激活局部性的 CPU/GPU LLM 推理引擎，适配您的设备。
• Prompt2Model - Prompt2Model 是一种系统，接收自然语言任务描述（类似 ChatGPT 等 LLM 使用的提示词）来训练易于部署的小型专用模型。
• RamaLama - RamaLama 是通过 OCI 容器简化 AI 模型本地使用与推理服务的开源工具，无需配置宿主机系统。
• RunAnywhere - RunAnywhere 是可用于生产的 SDK，在 iOS、Android、React Native 与 Flutter 设备端运行 AI 模型（LLM、语音转文字、文字转语音），实现私密、离线、快速的移动 AI 应用。
• Seldon Core - 在 Kubernetes 上部署机器学习模型的开源平台 - (Video).
• SGLang - SGLang 是用于大语言模型与视觉语言模型的快速服务框架。
• SIE - 用于嵌入、重排序与提取的开源推理服务器与生产集群。涵盖稠密、稀疏、多向量、视觉、重排序器与提取器等 85+ 预配置模型。附带 Helm、KEDA 自动扩缩、Grafana 仪表板与 Terraform。
• SkyPilot - SkyPilot 是在任意云上运行 LLM、AI 与批处理作业的框架，提供最大成本节约、最高 GPU 可用性与托管执行。
• Tensorflow Serving - 高性能框架，通过 grpc 协议服务 Tensorflow 模型，单核每秒可处理 10 万请求。
• text-generation-inference - 大语言模型文本生成推理。
• TorchServe - TorchServe 是灵活易用的 PyTorch 模型服务工具。
• torchtune - torchtune 是便于编写、后训练与实验 LLM 的 PyTorch 库。
• Transformer Lab - Transformer Lab 是开源 LLM 工作区，可在多种推理引擎与平台上本地微调、评估、导出与测试模型。
• Triton Inference Server - Triton 是高性能开源服务软件，可在 GPU 与 CPU 上部署来自任意框架的 AI 模型，同时最大化利用率。
• Vercel AI - Vercel AI 是 TypeScript 工具包，帮助您使用 Next.js、React、Svelte、Vue 等流行框架与 Node.js 等运行时构建 AI 驱动应用。
• Vespa - 在服务时以任意规模搜索、推理并组织向量、张量、文本与结构化数据。
• vLLM - vLLM 是用于 LLM 的高吞吐、内存高效的推理与服务引擎。

评估与监控

• AlpacaEval - AlpacaEval 是指令跟随型语言模型的自动评估器。
• ANN-Benchmarks - ANN-Benchmarks 是用于近似最近邻（approximate nearest neighbor）算法搜索的基准测试环境。
• ARES - ARES 是一个用于自动评估检索增强生成（Retrieval-Augmented Generation, RAG）模型的框架。
• BEIR - BEIR 是一个异构基准，包含多样化的 IR 任务。它还提供了一个通用且简便的框架，用于在该基准内评估基于 NLP 的检索模型。
• Code Generation LM Evaluation Harness - Code Generation LM Evaluation Harness 是一个用于评估代码生成模型的框架。
• COMET - COMET 是一个开源的机器学习评估框架。
• C-Eval - C-Eval 是一个面向基础模型的综合性中文评估套件。
• Deepchecks - Deepchecks 是一个全面的开源解决方案，满足你所有 AI 与 ML 验证需求，使你能够从研究到生产全程彻底地测试数据和模型。
• DeepEval - DeepEval 是一个简单易用的开源评估框架，面向 LLM 应用。
• DomainBed - DomainBed 是一个测试套件，包含用于领域泛化（domain generalization）的基准数据集和算法。
• EvalAI - EvalAI 是一个开源平台，用于大规模评估和比较 AI 算法。
• Evalchemy - Evalchemy 是一个统一且易用的工具包，用于评估后训练语言模型。
• EvalPlus - EvalPlus 是一个面向 LLM4Code 的稳健评估框架，具有扩展的 HumanEval+ 和 MBPP+ 基准、效率评估（EvalPerf），以及安全、可扩展的评估工具包。
• Evals - Evals 是一个用于评估 OpenAI 模型的框架，也是基准测试的开源注册表。
• EvalScope - EvalScope 是一个精简且可定制的框架，用于高效的大型模型评估和性能基准测试。
• Evaluate - Evaluate 是一个库，使模型评估、比较及性能报告更简单、更标准化。
• Evidently - Evidently 是一个开源框架，用于评估、测试和监控 ML 及 LLM 驱动的系统。
• Future AGI - 开源、可自托管的端到端智能体工程与优化平台，统一了 LLM 与 AI 智能体应用的追踪、评估（evals）、仿真、数据集、网关和护栏（guardrails）。
• GAOKAO-Bench - GAOKAO-Bench 是一个评估框架，使用中国高考（GAOKAO）试题作为数据集，评估大模型的语言理解与逻辑推理能力。
• Giskard - Giskard 是一个开源 Python 库，可自动检测 AI 应用中的性能、偏见与安全问题。
• guidellm - guidellm 是一个面向大语言模型推理系统的基准测试与性能评估工具。
• Harbor - Harbor 是一个用于评估和优化智能体与语言模型的框架，支持跨容器环境的并行实验，并内置基准测试与环境管理。
• HumanEval - HumanEval 是一个基准，使用带单元测试的 Python 编程问题评估代码生成模型的功能正确性。
• Helicone - Helicone 是一体化、开源的 LLM 开发者平台。
• HELM - HELM（Holistic Evaluation of Language Models，语言模型整体评估）提供语言模型整体评估工具，包括标准化数据集、多种模型的统一 API、多样化指标、r 与公平性扰动、提示构建框架，以及用于统一模型访问的代理服务器。
• Inspect - Inspect 是一个大语言模型评估框架。
• JiWER - JiWER 是一个简单快速的 Python 包，用于评估自动语音识别系统。
• Laminar - Laminar 是一个开源平台，用于追踪、评估、标注和分析 AI 产品的 LLM 数据。
• Langfuse - Langfuse 是一个面向基于 LLM 应用的可观测性与分析解决方案。
• LangTest - LangTest 是一个全面的 NLP 模型评估工具包。
• Language Model Evaluation Harness - Language Model Evaluation Harness 是一个框架，用于在大量不同评估任务上测试生成式语言模型。
• LangWatch - LangWatch 是 DSPy 的可视化界面，也是一个完整的 LLM Ops 平台，用于监控、实验、测量和改进 LLM 流水线，采用 fair-code 分发模式。
• Latitude - Latitude 是一个开源平台，面向 AI 智能体可观测性，提供语义追踪搜索与问题跟踪。
• LightEval - LightEval 是一个轻量级 LLM 评估套件。
• LLMPerf - LLMPerf 是一个用于评估 LLM API 性能的工具。
• lmms-eval - lmms-eval 是一个精心打造的评估框架，用于一致且高效地评估 LMM。
• Melting Pot - Melting Pot 是一套用于多智能体强化学习的测试场景套件。
• Meta-World - Meta-World 是一个开源模拟基准，用于元强化学习与多任务学习，包含 50 个不同的机器人操作任务。
• mir_eval - mir_eval 是一个 Python 库，提供透明、标准化且直接的方式评估音乐信息检索（Music Information Retrieval）系统。
• MLPerf Inference - MLPerf Inference 是一套基准套件，用于衡量系统在各种部署场景下运行模型的速度。
• Massive Text Embedding Benchmark - Massive Text Embedding Benchmark（MTEB）是一个综合性评估框架，评估文本嵌入模型在多样化任务和语言上的性能，涵盖 8 个嵌入任务、58 个数据集和 112 种语言。
• NannyML - NannyML 是一个库，可估计部署后模型性能（无需访问目标值）、检测数据漂移，并智能地将数据漂移警报与模型性能变化关联起来。
• OGB - Open Graph Benchmark（OGB）是一组用于图机器学习的基准数据集、数据加载器和评估器。
• Ollama Grid Search - Ollama Grid Search 可自动为给定用例选择最佳模型、提示或推理参数，允许你遍历它们的组合并可视化检查结果。
• onWatch - onWatch 是一个轻量级 Go CLI，实时追踪多个提供商（Anthropic Pro/Max Plans、Codex、Gemini CLI、Synthetic、Z.ai、GitHub Copilot、MiniMax Coding/Token Plan、Antigravity、OpenRouter）的 AI API 配额使用情况，提供消耗速率预测、历史使用图表和按周期追踪。
• OpenCompass - OpenCompass 是一个 LLM 评估平台，支持在 50 多个数据集上评估多种模型（LLaMA、LLaMa2、ChatGLM2、ChatGPT、Claude 等）。
• OpenLIT - OpenLIT 是一个开源 AI 工程平台，通过可观测性、监控、护栏、评估和无缝集成简化 LLM 工作流。
• OpenLLMetry - OpenLLMetry 通过性能监控、执行追踪和调试能力，为开发者提供对大语言模型应用的深度可见性。
• Opik - Opik 是一个开源平台，用于评估、测试和监控 LLM 应用。
• Overcooked-AI - Overcooked-AI 是一个基准环境，用于完全协作的人机任务表现，基于广受欢迎的视频游戏 Overcooked。
• Phoenix - Phoenix 是一个开源 AI 可观测性平台，专为实验、评估和故障排查而设计。
• PromptBench - PromptBench 是一个面向大语言模型的统一评估框架。
• Promptfoo - 用于 LLM 红队测试与评估的框架，可测试越狱、提示注入及其他漏洞，并支持 CI/CD 集成。
• Prometheus-Eval - RagaAI Catalyst 是一个综合性平台，旨在增强 LLM 项目的管理与优化。
• RagaAI Catalyst - Prometheus-Eval 是一组工具集合，用于训练、评估和使用专门评估其他语言模型的语言模型。
• Ragas - Ragas 是一个用于评估 RAG 流水线的框架。
• RewardBench - RewardBench 是一个旨在评估奖励模型能力与安全性的基准。
• RLBench - RLBench 是一个雄心勃勃的大规模基准与学习环镜，旨在促进视觉引导操作研究领域（包括强化学习、模仿学习、多任务学习、几何计算机视觉，尤其是少样本学习）的研究。
• SimplerEnv - SimplerEnv 是用于真实机器人设置的模拟操作策略评估环境。
• SwanLab - SwanLab 是一个 AI 训练追踪与可视化工具。
• Speech-to-Text Benchmark - Speech-to-Text Benchmark 是一个极简且可扩展的框架，用于对不同语音转文本引擎进行基准测试。
• TensorFlow Model Analysis - TensorFlow Model Analysis（TFMA）是一个库，用于以分布式方式在大量数据上评估 TensorFlow 模型，使用与其训练器中定义的相同指标。
• TorchBench - TorchBench 是一组用于评估 PyTorch 性能的开源基准。
• TruLens - TruLens 提供一组用于评估和追踪 LLM 实验的工具。
• TrustLLM - TrustLLM 是一个综合性框架，用于评估大语言模型的可信度，包括原则、调研和基准测试。
• VBench - VBench 是一套面向视频生成模型的综合性基准套件。
• VLMEvalKit - VLMEvalKit 是一个大型视觉-语言模型（LVLMs）的开源评估工具包。

可解释性与公平性

• Aequitas - 面向数据科学家、机器学习研究人员和政策制定者的开源偏见审计工具包，用于审计机器学习模型中的歧视与偏见，并在开发与部署预测性风险评估工具时做出知情且公平的决策。
• AI Explainability 360 - 面向数据和机器学习模型的可解释性（interpretability）与可说明性（explainability），包含一套全面的算法，覆盖不同维度的解释，以及代理可解释性指标。
• AI Fairness 360 - 一套面向数据集和机器学习模型的全面公平性指标，包含对这些指标的说明，以及用于缓解数据集和模型偏见的算法。
• Alibi - Alibi 是一个面向机器学习模型检查与解释的开源 Python 库。该库初期聚焦于黑盒、基于实例的模型解释。
• captum - 由 Facebook 开发的 PyTorch 模型可解释性与理解库。其中包含适用于 PyTorch 模型的通用 integrated gradients、saliency maps、smoothgrad、vargrad 等实现。
• Fairlearn - Fairlearn 是一个用于评估并缓解机器学习模型不公平性的 Python 工具包。
• InterpretML - InterpretML 是一个用于训练可解释模型并解释黑盒系统的开源软件包。
• Lightly - 一个用于图像自监督学习的 Python 框架。学习到的表示可用于分析无标签数据中的分布并重新平衡数据集。
• LOFO Importance - LOFO（Leave One Feature Out，逐一移除特征）Importance 通过迭代地从特征集合中移除每个特征，并在所选验证方案下根据所选指标评估模型性能，来计算一组特征对所选模型的重要性。
• mljar-supervised - 一个面向表格数据 AutoML 的 Python 包，支持特征工程、超参数调优、解释以及自动文档生成。
• Quantus - Quantus 是一个可解释 AI（eXplainable AI）工具包，用于负责任地评估神经网络解释。
• SHAP - SHapley Additive exPlanations 是一种统一方法，用于解释任何机器学习模型的输出。
• SHAPash - Shapash 是一个 Python 库，提供多种可视化方式，展示人人都能理解的显式标签。
• WhatIf - 一个易于使用的界面，用于扩展对黑盒分类或回归 ML 模型的理解。

特征存储（Feature Store）

• FEAST - Feast（Feature Store）是一个面向机器学习的开源特征存储。Feast 是管理现有基础设施、将分析数据投入生产以用于模型训练和在线推理的最快路径。
• Featureform - 一个虚拟特征存储。可与现有基础设施即插即用。经数据科学家认可。发现、治理、血缘与协作，只需一次 pip install 即可拥有。支持 pandas、Python、spark、SQL，并与主流云厂商集成。
• Hopsworks Feature Store - 面向 ML 的离线/在线特征存储 (Video).

工业级异常检测

• Alibi Detect - alibi-detect 是一个专注于离群点、对抗样本和概念漂移检测的 Python 包。
• Darts - Darts 是一个便于用户进行时间序列预测和异常检测的库。
• Deequ - 基于 Apache Spark 构建的库，用于定义“数据的单元测试”，以衡量大型数据集的数据质量。
• PyOD - 可扩展离群点检测（异常检测）的 Python 工具箱。
• TFDV - TFDV（Tensorflow Data Validation）是一个用于探索和验证机器学习数据的库。

工业级计算机视觉

• CameraTraps - CameraTraps（PyTorch Wildlife）是一个协作式深度学习框架，用于野生动物图像分析，提供在大规模相机陷阱数据集上训练的检测与分类模型。
• Deep Lake - Deep Lake 是一种面向计算机视觉优化的数据基础设施。
• DeepForest - DeepForest 是一个 Python 包，使用深度学习从航空 RGB 影像中训练和预测单株树冠及物种。
• Detectron2 - Detectron2 是 Facebook AI Research 的下一代库，提供最先进的检测与分割算法。
• KerasCV - KerasCV 是一个由模块化、面向计算机视觉的 Keras 组件构成的库。
• Kornia - Kornia 是一个基于 PyTorch 构建的可微计算机视觉库，提供丰富的可微图像处理与几何视觉算法。
• LAVIS - LAVIS 是一个用于语言与视觉（LAnguage-and-VISion）智能研究与应用的开源深度学习库。
• libcom - libcom 是一个图像合成工具箱。
• LightlyTrain - 在无标签数据上预训练计算机视觉模型，适用于工业应用。
• MMCV - MMCV 是 OpenMMLab 的基础计算机视觉库，提供图像与视频处理、数据变换与增强、CNN 架构以及优化的 CUDA 运算等核心功能。
• SuperGradients - SuperGradients 是一个用于训练基于 PyTorch 的计算机视觉模型的开源库。
• supervision - Supervision 是一个 Python 库，专为高效管理计算机视觉流水线而设计，提供模型标注、可视化与监控工具。
• VideoSys - VideoSys 通过多种加速技术支持众多扩散模型，使这些模型运行更快、占用更少内存。

行业优势信息检索

• AutoRAG - AutoRAG 是一款 RAG AutoML 工具，可自动为你的数据找到最优 RAG 流水线。
• BGE - BGE 构建了面向搜索与 RAG 的一站式检索工具包。
• Cognita - Cognita 是一个用于构建模块化、可投入生产的应用的 RAG 框架。
• DocArray - DocArray 是一个用于处理传输中嵌套、非结构化、多模态数据的库，涵盖文本、图像、音频、视频、3D 网格等。它让深度学习工程师能够通过 Pythonic API 高效地处理、嵌入、搜索、推荐、存储和传输多模态数据。
• EmbedAnything - EmbedAnything 是一款极简、轻量、高性能的嵌入流水线，基于 Rust 构建，可从文本、图像、音频、PDF 及其他媒体生成嵌入，并支持稠密、稀疏、ONNX 及迟交互（late-interaction）嵌入。
• Faiss - Faiss 是一个用于高效相似性搜索与稠密向量聚类的库。
• fastRAG - fastRAG 是一个研究框架，用于构建高效、优化的检索增强生成（Retrieval Augmented Generation）流水线，并整合最先进的 LLM 与信息检索技术。
• GraphRAG - GraphRAG 是一套数据流水线与转换套件，旨在借助 LLM 的力量从非结构化文本中提取有意义、结构化的数据。
• HippoRAG - HippoRAG 是一种受人类长期记忆神经生物学启发的新型检索增强生成（RAG）框架，使 LLM 能够持续整合外部文档中的知识。
• JamAI Base - JamAI Base 是一个开源 RAG（Retrieval-Augmented Generation）后端平台，集成了嵌入式数据库（SQLite）与嵌入式向量数据库（LanceDB），并提供托管式记忆与 RAG 能力。它内置 LLM、向量嵌入与重排序器编排与管理功能，可通过便捷的类电子表格 UI 和简单的 REST API 访问。
• LangExtract - LangExtract 是一个 Python 库，可根据用户自定义指令，使用 LLM 从非结构化文本文档中提取结构化信息。它可处理临床笔记或报告等材料，识别并整理关键细节，同时确保提取的数据与源文本对应。
• LightRAG - 一个简单、快速的检索增强生成框架。
• llmware - llmware 提供统一框架，用于构建基于 LLM 的应用（例如 RAG、Agents），采用可私有部署的小型专用模型，可安全、可靠地与企业知识源集成，并能以高性价比针对任何业务流程进行调优与适配。
• Mem0 - Mem0 为 AI 助手与智能体提供智能记忆层，实现个性化的 AI 交互。
• NGT - NGT 提供命令与库，用于在高维向量数据空间中对大量数据执行高速近似最近邻搜索。
• NMSLIB - Non-Metric Space Library（NMSLIB）：一个高效的相似性搜索库，以及用于评估通用非度量空间中 k-NN 方法的工具包。
• Qdrant - 一个开源向量相似性搜索引擎，支持扩展过滤。
• R2R - R2R（RAG to Riches）是一个综合平台，用于构建、部署和扩展 RAG 应用，具备混合搜索、多模态支持与高级可观测性。
• RAGFlow - RAGFlow 是一款基于深度文档理解的 RAG 引擎。
• RAGxplorer - RAGxplorer 是一款用于构建 RAG 可视化的工具。
• RAG-FiT - RAG-FiT 是一个库，旨在通过在专门创建的 RAG 增强数据集上微调模型，提升 LLM 使用外部信息的能力。
• TextWorld - TextWorld 是一个基于文本的游戏生成器与可扩展沙盒学习环境，用于训练与测试强化学习（RL）智能体。
• Vanna - Vanna 是一个用于 SQL 生成及相关功能的 RAG 框架。
• Zvec - Zvec 是一个开源、进程内向量数据库，用于低延迟相似性搜索。

行业优势自然语言处理

• aisuite - aisuite 是一个简单、统一的接口，可对接多个生成式 AI 提供商。
• Align-Anything - Align-Anything 旨在将任意模态大模型（any-to-any models）与人类意图和价值观对齐，包括 LLM、VLM 等。
• BERTopic - BERTopic 是一种主题建模技术，利用 transformer 与 c-TF-IDF 创建稠密聚类，在主题描述中保留重要词汇的同时，使主题易于解释。
• Burr - Burr 帮助你开发能够做出决策的应用（聊天机器人、智能体、仿真）。它提供可投入生产的功能（遥测、持久化、部署等）以及开源、免费、本地优先的 Burr UI。
• CodeTF - CodeTF 是一个一站式 Python transformer 库，面向代码大语言模型（Code LLMs）与代码智能，为代码摘要、翻译、代码生成等代码智能任务的训练与推理提供无缝接口。
• Context7 - Context7 为提示词与 AI 编程智能体提供最新的代码文档。
• Dify - Dify 是一个开源 LLM 应用开发平台，其直观界面融合了智能体 AI 工作流、RAG 流水线、智能体能力、模型管理、可观测性等功能，让你快速从原型走向生产。
• dspy - 一个用于基于基础模型进行编程的框架。
• Dust - Dust 协助设计与部署大语言模型应用。
• ESPnet - ESPnet 是一个端到端语音处理工具包。
• FastChat - FastChat 是一个开放平台，用于训练、部署和评估基于大语言模型的聊天机器人。
• Flair - 由 Zalando 开发的先进 NLP 简易框架，直接基于 PyTorch 构建。
• FunASR - FunASR 是一个生产级 ASR 工具包，支持 50+ 种语言，内置 VAD、标点、说话人分离与情感识别，并提供 Docker/WebSocket/REST 部署与 ONNX 运行时支持。
• Fun-ASR - 基于 LLM 的 ASR，支持 31 种语言（含中文方言），具备原生标点、时间戳与说话人分离。
• Gensim - Gensim 是一个 Python 库，用于大规模语料的主题建模、文档索引与相似性检索。
• gpt-fast - 简单高效的 PyTorch 原生 transformer 文本生成。
• h2oGPT - h2oGPT 是开源生成式 AI，让像你这样的组织能够在保有数据所有权的同时，拥有大语言模型的能力。
• Haystack - Haystack 是一个开源 NLP 框架，可使用 Transformer 模型与 LLM（GPT-3 等）与你的数据交互。Haystack 提供可投入生产的工具，可快速构建类 ChatGPT 的问答、语义搜索、文本生成等应用。
• Interactive Composition Explorer - ICE 是一个用于语言模型程序的 Python 库与追踪可视化工具。
• Jan - Jan 是一个开源 ChatGPT 替代品，可在你的电脑上 100% 离线运行，让你本地下载并运行 LLM，享有完全控制与隐私。
• Lamini - Lamini 是一个用于快速定制模型的 LLM 引擎。
• LangChain - LangChain 通过可组合性协助构建基于 LLM 的应用。
• LlamaIndex - LlamaIndex（GPT Index）是面向 LLM 应用的数据框架。
• LLaMA - LLaMA 旨在提供一个最小、可 hack、可读性强的示例，用于加载 LLaMA（arXiv）模型并运行推理。
• LLaMA-Factory - LLaMA-Factory 让你通过零代码 CLI 与 Web UI 轻松微调 100+ 个大语言模型。
• LLMBox - LLMBox 是一个用于实现 LLM 的综合库，包含统一训练流水线与全面的模型评估。
• LLaMA2-Accessory - LLaMA2-Accessory 是一个开源工具包，用于大语言模型（LLM）与多模态 LLM 的预训练、微调与部署。
• LMFlow - LMFlow 是一个可扩展、便捷、高效的工具箱，用于微调大型机器学习模型。
• Megatron-LM - Megatron-LM 是一个高度优化、高效的大语言模型训练库。
• MindNLP - MindNLP 是一个易用、高性能的 NLP 与 LLM 框架，基于 MindSpore，兼容 Huggingface 的模型与数据集。
• MLC LLM - MLC LLM 是一个通用解决方案，使任意语言模型能够原生部署在多种硬件后端与原生应用上，同时也是一个高效框架，便于每个人针对自身用例进一步优化模型性能。
• mlx-lm - MLX LM 是一个 Python 包，用于在 Apple silicon 上借助 MLX 生成文本并微调大语言模型，支持与 Hugging Face Hub 集成，并提供量化与分布式推理支持。
• Ollama - 在本地快速上手大语言模型。
• olmOCR - olmOCR 是一个工具包，用于训练语言模型处理真实场景中的 PDF 文档。
• PaddleNLP - PaddleNLP 是基于 PaddlePaddle 深度学习框架的大语言模型（LLM）开发套件，支持在各种硬件设备上进行高效大模型训练、无损压缩与高性能推理。
• Promptise Foundry - Promptise Foundry 是一个用于智能体 AI 与 MCP 服务器的生产级 Python 框架，涵盖自主运行时、记忆、工具集成、治理（预算、健康、任务、密钥）、护栏、语义缓存与可观测性。
• PyLLMs - PyLLMs 是一个极简 Python 库，可连接多种语言模型（LLM），并内置模型性能基准测试。
• Semantic Kernel - Semantic Kernel 是一个 SDK，可将 OpenAI、Azure OpenAI、Hugging Face 等大语言模型（LLM）与 C#、Python、Java 等常规编程语言集成。Semantic Kernel 允许你定义插件，并仅用几行代码即可将它们链接在一起。
• Sentence Transformers - Sentence Transformers 提供简便方法，用于计算句子、段落与图像的稠密向量表示。
• SpaCy - spaCy 是一个用于 Python 与 Cython 的高级自然语言处理库。
• SWIFT - SWIFT 是一个可扩展的轻量级深度学习模型微调基础设施。
• Tensorflow Lingvo - 一个在 Tensorflow 中构建神经网络的框架，尤其适用于序列模型。
• Tensorflow Text - TensorFlow Text 提供一系列文本相关类与 ops，可直接用于 TensorFlow 2.0。
• ToolBench - ToolBench 是一个开放平台，用于训练、部署和评估用于工具学习的大语言模型。
• Transformers - Huggingface 的先进预训练自然语言处理（NLP）模型库。

业界标杆推荐系统

• EasyRec - EasyRec 是一个面向大规模推荐算法的框架。
• Gorse - Gorse 旨在成为一个通用开源推荐系统，可快速接入各类在线服务。
• Merlin - NVIDIA Merlin 是一个开源库，提供端到端 GPU 加速的推荐系统能力，涵盖特征工程与预处理、训练深度学习模型，以及在生产环境中运行推理。
• Recommenders - Recommenders 提供构建推荐系统的基准与最佳实践，以 Jupyter notebook 形式提供。
• TorchRec - TorchRec 是一个 PyTorch 领域库，为大规模推荐系统（RecSys）提供常用的稀疏性与并行化原语。

业界标杆强化学习

• Acme - Acme 是一个强化学习（RL）构建模块库，致力于提供简单、高效且易读的智能体。
• AReaL - AReaL 是一个强化学习库。
• ChatLearn - ChatLearn 是一个灵活高效的强化学习训练框架，面向大语言模型，支持分布式训练引擎（FSDP2、Megatron）和推理引擎（vLLM、SGLang），并集成 GRPO、GSPO 等现代 RL 算法。
• CleanRL - CleanRL 是一个深度强化学习库，提供高质量的单文件实现，并具备便于研究使用的特性。实现简洁明了，同时可借助 AWS Batch 扩展至运行数千次实验。
• CompilerGym - CompilerGym 是一个易于使用且高性能的编译器任务强化学习环境库。
• d3rlpy - d3rlpy 是一个面向从业者与研究人员的离线深度强化学习库。
• D4RL - D4RL 是一个离线强化学习的开源基准。
• Dopamine - Dopamine 是一个用于快速原型化强化学习算法的研究框架，旨在满足对小型、易于理解代码库的需求，使用户能够自由尝试大胆想法（探索性研究）。
• EvoTorch - EvoTorch 是 NNAISENSE 开发的开源进化计算库，基于 PyTorch 构建。
• FinRL - FinRL 是首个展示金融强化学习巨大潜力的开源框架。
• Gymnasium - Gymnasium 是一个开源 Python 库，通过提供学习算法与环境之间通信的标准 API，以及符合该 API 的标准环境集，用于开发和比较强化学习算法。
• Gymnasium-Robotics - Gymnasium-Robotics 包含一系列使用 Gymnasium API 的强化学习机器人环境。这些环境基于 MuJoCo 物理引擎及维护中的 mujoco Python 绑定运行。
• Jumanji - Jumanji 是一套用 JAX 编写的强化学习（RL）环境套件，为产业驱动的研究提供简洁、硬件加速的环境。
• MARLlib - MARLlib 是基于 RLlib 的综合多智能体强化学习算法库，为 MARL 研究社区提供构建、训练和评估 MARL 算法的统一平台。
• Mava - Mava 是一个基于 JAX 的分布式多智能体强化学习框架。
• Melting Pot - Melting Pot 是一套用于多智能体强化学习的测试场景套件。
• MetaDrive - MetaDrive 是一个驾驶模拟器，可组合多样化的驾驶场景，用于可泛化的 RL。
• Minigrid - Minigrid 库包含一系列离散网格世界环境，用于开展强化学习研究。这些环境遵循 Gymnasium 标准 API，设计轻量、快速且易于定制。
• MiniWorld - MiniWorld 是一个极简的 3D 室内环境模拟器，用于强化学习与机器人研究。
• ML-Agents - ML-Agents 是一个开源项目，使游戏和仿真能够作为训练强化学习智能体的环境。
• MLGym - MLGym 是一个 gym 环境，支持针对机器学习任务训练此类智能体的强化学习（RL）算法研究。
• MushroomRL - MushroomRL 是一个 Python 强化学习（RL）库，其模块化设计便于轻松使用知名的 Python 张量计算库（如 PyTorch、Tensorflow）和 RL 基准（如 OpenAI Gym、PyBullet、Deepmind Control Suite）。
• OmniSafe - OmniSafe 是一个旨在加速安全强化学习（RL）研究的基础架构框架。
• OpenRLHF - OpenRLHF 是一个用于基于人类反馈的强化学习（RLHF）的开源框架。
• PARL - PARL 是一个灵活且高效的强化学习框架。
• PettingZoo - PettingZoo 是一个用于开展多智能体强化学习研究的 Python 库，类似于 Gymnasium 的多智能体版本。
• ranx - ranx 是一个用 Python 实现的快速排序评估指标库，借助 Numba 实现高速向量运算与自动并行化。
• RL4CO - RL4CO 是一个 PyTorch 库，涵盖组合优化（CO）相关的各类强化学习能力。
• RL2 - RL2 是一个强化学习库。
• RLinf - RLinf 是一个强化学习库。
• ROLL - ROLL 是一个强化学习库。
• skrl - skrl 是一个开源模块化强化学习库，使用 Python（基于 PyTorch）编写，注重算法实现的可读性、简洁性与透明性。
• SkyRL - SkyRL 是一个全栈强化学习库，提供模块化训练框架、跨平台推理后端、智能体流水线，以及面向长时程真实世界 RL 任务的 Gymnasium 环境。
• slime - slime 是一个用于 RL Scaling 的大语言模型后训练框架。
• Stable Baselines - OpenAI Baselines 的一个分支，包含强化学习算法的实现。
• TF-Agents - 一个可靠、可扩展且易于使用的 TensorFlow 库，用于上下文 bandit 与强化学习。
• TorchRL - TorchRL 是一个面向 PyTorch 的开源强化学习（RL）库。
• TRL - 使用强化学习训练 Transformer 语言模型。
• veRL - veRL（HybridFlow）是一个灵活、高效且达到工业级水平的 RL(HF) 训练框架，专为 LLM 设计。

行业强项 · 机器人

• AI2-THOR - AI2-THOR 是面向 AI 智能体的近照片级真实感可交互框架。
• Genesis - Genesis 是面向具身 AI（Embodied AI）与机器人仿真的物理平台。
• Habitat-Sim - Habitat-Sim 是灵活、高性能的 3D 模拟器，用于具身 AI 研究。
• IsaacLab - IsaacLab 是统一且模块化的机器人学习框架，基于 NVIDIA Isaac Sim。
• LeRobot - LeRobot 提供面向真实世界机器人与模仿学习（imitation learning）的模型、数据集和工具。
• robosuite - robosuite 是由 MuJoCo 物理引擎驱动的机器人学习仿真框架。
• RoboVerse - RoboVerse 是综合性机器人仿真平台，提供多样化环境。

行业强项 · 可视化

• Apache ECharts - Apache ECharts 是功能强大的交互式图表与数据可视化库，适用于浏览器。
• Apache Superset - 现代化、面向企业的商业智能 Web 应用。
• Bokeh - Bokeh 是 Python 交互式可视化库，可在现代 Web 浏览器中呈现美观且有意义的可视化效果。
• Bread Dataset Viewer - 一款 VS Code 扩展，用于在编辑器内直接查看和探索大型机器学习数据集（CSV、JSON、Parquet 等），而不会因为 IDE 崩溃。
• Bread WandB Viewer - 一款 VS Code 扩展，用于在 IDE 内查看 Weights & Biases 实验、日志和制品，无需切换到 Web UI，且通过 100% 离线方式保护数据隐私。
• Data Formulator - 借助 AI 迭代式转换数据并创建丰富的可视化。
• ggplot2 - R 语言图形语法（grammar of graphics）的实现。
• gradio - 只需编写 Python 即可快速创建和分享模型演示。可在浏览器中交互式调试模型，获取协作者反馈，无需部署即可生成公开链接。
• Kangas - Kangas 是用于探索、分析和可视化大规模多媒体数据的工具。提供简洁的 Python API 用于记录大型数据表，以及直观的可视化界面以执行复杂数据集查询。
• matplotlib - Python 2D 绘图库，可在各平台上生成多种硬拷贝格式和交互环境中的出版级质量图形。
• Model Explorer - Model Explorer 是用于可视化和探索机器学习模型的工具，提供直观的基于图的结构视图，便于理解模型结构、检查层细节并浏览大型神经网络。
• Netron - Netron 是神经网络、深度学习和机器学习模型的查看器。
• Perspective - 通过 WebAssembly 实现流式透视表可视化。
• Plotly - 面向 Python 的交互式开源基于浏览器的绘图库。
• Redash - Redash 是开源可视化框架，旨在借助多种后端轻松访问大型数据集。
• Rerun - Rerun 是用于记录、存储、查询和可视化多模态数据的开源 SDK，面向机器人、计算机视觉和空间 AI。
• seaborn - Seaborn 是基于 matplotlib 的 Python 可视化库，提供用于绘制美观统计图形的高级接口。
• Spotlight - Spotlight 帮助你识别关键数据片段和模型失效模式，通过整理高质量数据集来构建和维护可靠的机器学习模型。
• Streamlit - Streamlit 让你用看似简单的 Python 脚本为机器学习项目创建应用，支持热重载（hot-reloading），编辑保存文件时应用可实时更新。
• tensorboardX - 通过简单函数调用写入 TensorBoard 事件。
• TensorBoard - TensorBoard 是机器学习实验的可视化工具包，便于托管、跟踪和分享 ML 实验。
• Torchvista - Torchvista 是基于 notebook 的交互式工具，可在 notebook 内将任意 PyTorch 模型前向传播可视化为计算图，支持可折叠嵌套模块和容错的局部可视化。
• Transformer Explainer - Transformer Explainer 是交互式可视化工具，帮助任何人学习 GPT 等基于 Transformer 的模型如何工作。
• Vega-Altair - Vega-Altair 是面向 Python 的声明式统计可视化库。
• ydata-profiling - ydata-profiling 提供一行代码即可完成的探索性数据分析（Exploratory Data Analysis，EDA）体验，一致且快速。

元数据管理

• Amundsen - Amundsen 是一款以元数据驱动的应用，旨在提升数据分析师、数据科学家和工程师在与数据交互时的生产力。
• Apache Atlas - Apache Atlas 框架是一套可扩展的核心基础治理服务，帮助企业高效满足 Hadoop 环境下的合规要求，并支持与整个企业数据生态系统集成。
• DataHub - DataHub 是 LinkedIn 的通用元数据搜索与发现工具。
• Marquez - Marquez 是一个开源元数据服务，用于收集、聚合和可视化数据生态系统的元数据。
• Metacat - Metacat 是一个统一的元数据探索 API 服务。Metacat 专注于解决以下问题：1）元数据系统的联邦视图；2）关于数据集的任意元数据存储；3）元数据发现。
• ML Metadata - 用于记录和检索与机器学习开发者和数据科学家工作流相关元数据的库。

模型、数据与实验管理

• Aim - 一种超级简单的方式来记录、搜索和比较 AI 实验。
• ClearML - 面向 AI 的自动魔法实验管理器与版本控制（前身为 Trains）。
• DataHub - DataHub 是一个面向现代数据栈的开源数据目录。
• Dolt - Dolt 是一个 SQL 数据库，你可以像 Git 仓库一样对其进行 fork、clone、branch、merge、push 和 pull。
• DVC - DVC（Data Version Control，数据版本控制）是一个 Git 分支项目，支持对模型进行版本管理。
• HuggingFace Model Downloader - HuggingFace Model Downloader 是一款实用工具，用于从 HuggingFace 网站下载模型和数据集。它支持 LFS 文件的多线程下载，并通过 SHA256 校验和验证确保所下载模型的完整性。
• Keepsake - 面向机器学习的版本控制。
• KitOps - KitOps 是一个开放且基于标准的 AI/ML 项目打包与版本管理系统，可与你已在使用的所有 AI/ML、开发和 DevOps 工具协同工作。
• lakeFS - 在对象存储之上提供可重复、原子化且带版本控制的数据湖。
• MLflow - 用于管理机器学习生命周期的开源平台，涵盖实验、可复现性与部署。
• Neptune - Neptune 是一个可扩展的实验跟踪器，面向训练基础模型的团队。
• Polyaxon - 一个用于在 Kubernetes 上进行可复现、可扩展机器学习和深度学习的平台 - (Video).
• Quilt - 面向数据和模型的版本控制、可复现性与部署。
• Sacred - 帮助你配置、组织、记录和复现机器学习实验的工具。
• TerminusDB - 一种像 Git 一样存储数据的图数据库管理系统。
• Weights & Biases - Weights & Biase 提供机器学习实验跟踪、数据集版本控制、超参数搜索、可视化与协作功能。

模型训练与编排

• AutoTrain Advanced - AutoTrain Advanced 是一种无代码解决方案，让你只需几次点击即可训练机器学习模型。
• Avalanche - Avalanche 是一个端到端的持续学习（Continual Learning）库，提供共享且协作的开源（MIT 许可）代码库，用于快速原型开发、训练以及对持续学习算法进行可复现评估。
• Axolotl - Axolotl 是一款旨在简化各类 AI 模型微调流程的工具，支持多种配置与架构。
• BindsNET - BindsNET 是一个脉冲神经网络模拟库，面向开发受生物学启发的机器学习算法。
• CML - Continuous Machine Learning（CML，持续机器学习）是一个开源库，用于在机器学习项目中实现持续集成与交付（CI/CD）。
• CoreNet - CoreNet 是一个深度神经网络工具包，让研究人员和工程师能够训练标准及新型的小规模与大规模模型，适用于多种任务，包括基础模型（如 CLIP 和 LLM）、目标分类、目标检测和语义分割。
• DataLinter - DataLinter 是一个开源的上下文 linter，用于数据和代码，通过插件设计为与具体数据和代码无关。
• Determined - 深度学习训练平台，集成支持分布式训练、超参数调优和模型管理（支持 Tensorflow 和 Pytorch）。
• dstack - dstack 是一个开源容器编排器，可简化工作负载编排并提升 ML 团队的 GPU 利用率。
• envd - 面向数据科学和 AI/ML 工程团队的机器学习开发环境。
• Fairseq - Fairseq(-py) 是一个序列建模工具包，让研究人员和开发者能够训练用于翻译、摘要、语言建模及其他文本生成任务的自定义模型。
• Fire-Flyer File System - Fire-Flyer File System（3FS）是一个高性能分布式文件系统，旨在应对 AI 训练与推理工作负载的挑战。它利用现代 SSD 和 RDMA 网络提供共享存储层，从而简化分布式应用的开发。
• H2O-3 - 快速、可扩展的机器学习平台，用于构建更智能的应用：深度学习、梯度提升与 XGBoost、随机森林、广义线性建模（逻辑回归、Elastic Net）、K-Means、PCA、堆叠集成、自动机器学习（AutoML）等。
• Hopsworks - Hopsworks 是一个数据密集型平台，用于设计和运行机器学习流水线。
• Ignite - Ignite 是一个高层库，可灵活、透明地帮助你在 PyTorch 中训练和评估神经网络。
• Kubeflow - 基于 Google 内部机器学习流水线的云原生机器学习平台。
• Ludwig - Ludwig 是一个低代码框架，用于构建 LLM 及其他深度神经网络等自定义 AI 模型。
• MFTCoder - MFTCoder 是 CodeFuse 的开源项目，用于在大语言模型（LLMs）上，尤其是在代码大语言模型（Code-LLMs，面向代码任务的大语言模型）上进行准确、高效的多任务微调（MFT）。
• MLeap - 面向 Spark、Tensorflow 和 sklearn 的流水线与模型序列化标准化。
• Nanotron - Nanotron 提供分布式原语，可通过 3D 并行高效训练多种模型。
• NeMo - NVIDIA NeMo 是一个可扩展、云原生的生成式 AI 框架，面向从事大语言模型（LLMs）、多模态模型（MMs）、自动语音识别（ASR）、文本转语音（TTS）和计算机视觉（CV）领域的研究人员和 PyTorch 开发者。它旨在通过利用现有代码和预训练模型检查点，帮助你高效创建、定制和部署新的生成式 AI 模型。
• Prime - Prime 是一个框架，用于通过互联网进行高效、全球分布式的 AI 模型训练。
• PyCaret ) - 用于训练和部署模型的低代码库（scikit-learn、XGBoost、LightGBM、spaCy）
• Sematic - 用简单 Python 构建资源密集型流水线的平台。
• Skaffold - Skaffold 是一款命令行工具，可简化 Kubernetes 应用的持续开发。你可以在本地迭代应用源代码，然后部署到本地或远程 Kubernetes 集群。
• TFX - Tensorflow Extended（TFX）是一个面向生产的、基于 TensorFlow 的机器学习配置框架，包含监控和模型版本管理。
• unsloth - 面向 LLM 的微调与强化学习。训练 OpenAI gpt-oss、DeepSeek-R1、Qwen3、Gemma 3、TTS，速度提升 2 倍，VRAM 减少 70%。

模型存储优化

• AutoAWQ - AutoAWQ 是一个易于使用的 4-bit 量化模型包。
• AutoGPTQ - 一个易于使用的 LLM 量化包，提供友好的 API，基于 GPTQ 算法。
• AWQ - 面向 LLM 压缩与加速的激活感知权重量化（Activation-aware Weight Quantization）。
• GGML - GGML 是一个高性能机器学习张量库，可在 CPU 上实现高效推理，尤其针对大语言模型进行了优化。
• neural-compressor - Intel® Neural Compressor 旨在在主流框架上提供常用的模型压缩技术，如量化、剪枝（稀疏化）、蒸馏和神经架构搜索。
• NNEF - 神经网络交换格式（Neural Network Exchange Format，NNEF）是一种用于表示神经网络模型的开放标准，旨在实现不同机器学习框架和平台之间的互操作性与可移植性。
• ONNX - ONNX（Open Neural Network Exchange，开放神经网络交换）是一种开源格式，旨在促进机器学习模型在不同框架和平台之间的互操作性与可移植性。
• PFA - PFA（Portable Format for Analytics，可移植分析格式）是一种标准，用于以可移植的 JSON 格式表示和交换预测模型与分析工作流。
• PMML - PMML（Predictive Model Markup Language，预测模型标记语言）是一种基于 XML 的标准，用于在不同应用之间表示和共享预测模型。
• Quanto - Quanto 旨在简化深度学习模型的量化。

隐私与安全

• AI Gateway - AI Gateway 是一个极速 AI 网关，内置 guardrails（护栏机制）。
• ART - ART（Adversarial Robustness Toolbox，对抗鲁棒性工具箱）提供工具，帮助开发者和研究人员防御并评估机器学习模型与应用，以应对逃避（Evasion）、投毒（Poisoning）、提取（Extraction）和推理（Inference）等对抗性威胁。
• CipherChat - CipherChat 是一个用于评估 LLM 安全对齐泛化能力的框架
• DeepTeam - DeepTeam 是一个简单易用的开源 LLM 红队（red teaming）框架，用于对大语言模型系统进行渗透测试与安全防护。
• FATE - FATE（Federated AI Technology Enabler，联邦 AI 技术使能框架）是全球首个工业级联邦学习开源框架，使企业与机构能够在保护数据安全与隐私的前提下协作处理数据。
• FedML - FedML 提供一个研究与生产一体化的边云协同平台，可在任意地点、任意规模下开展联邦/分布式机器学习。
• Flower - Flower 是一个采用统一方法的联邦学习框架，可联合任意 ML 工作负载、任意 ML 框架与任意编程语言。
• Google's Differential Privacy - 这是一个 ε-差分隐私（ε-differentially private）算法的 C++ 库，可用于对包含私密或敏感信息的数值数据集生成聚合统计结果。
• Guardrails - Guardrails 是一个包，允许用户为大语言模型的输出添加结构、类型与质量保障。
• NeMo Guardrails - NeMo Guardrails 是一个开源工具包，可轻松为基于 LLM 的对话系统添加可编程 guardrails。
• Opacus - Opacus 是一个支持以差分隐私训练 PyTorch 模型的库。客户端只需极少代码改动即可进行训练，对训练性能影响很小，并允许客户端实时追踪任意时刻已消耗的隐私预算。
• OpenFL - OpenFL 是一个用于联邦学习的 Python 框架。OpenFL 旨在成为灵活、可扩展且易于数据科学家上手的工具，由 Intel Internet of Things Group（IOTG）和 Intel Labs 开发。
• PySyft - 一个用于安全、隐私保护的深度学习的 Python 库。PySyft 在 PyTorch 中使用多方计算（Multi-Party Computation，MPC），将私密数据与模型训练解耦。
• Tensorflow Privacy - 一个 Python 库，包含用于以差分隐私训练机器学习模型的 TensorFlow 优化器实现。
• TF Encrypted - 一个在 TensorFlow 中对加密数据进行机密机器学习的框架。

其他 Awesome 列表

• Awesome Agentic Engineering Resources - 精心整理的用于构建智能体 AI（agentic AI）系统的资源、工具与参考资料合集。
• Awesome AI Gateway - 精心整理的双语（EN/zh-CN）AI 网关与 LLM 代理列表（LiteLLM、OpenRouter、Portkey、Kong、Higress、new-api），从成本、合规、自托管与路由等维度进行对比，并附有决策树、可复现的成本基准与选型评分卡。
• Awesome AI Regulation - 涵盖在不同司法管辖区负责任地部署 ML 系统所必需的治理、合规与监管框架。
• Awesome Production GenAI - 专门聚焦生成式 AI 部署，包括 LLM 运维、提示词工程，以及面向 GenAI 的监控与安全工具。
• Awesome RAG Production - 精心整理的生产级工具与最佳实践列表，用于构建可扩展的 RAG 系统。

贡献者