3.1 KiB
kilostar项目
简介
kilostar是一款python开发，实现将小模型进行微调后整理为一个大型集群，从而实现低算力情况下高复杂度任务的实现。 系统模型分为以下部分：
- 监管节点：负责基本交流和简单任务执行；
- 管控节点：负责调度系统资源；
- 意识节点：负责复杂任务的处理；
- 生长节点：负责扩张集群和子个体；
- 特殊子个体：与外界交互的模型，如embedding模型，tts模型等；
- 专家子个体：携带有专业skill的agent对象；
- 基础子个体：普通的agent对象；
项目介绍
kilostar 是一款基于分布式计算平台 Ray 和 agent开发框架pydantic-AI 开发的多智能体协作平台，通过多智能体的协作和任务拆解，实现复杂任务的高质量完成。
kilostar使用 python著名的高性能后端框架 Fastapi 来作为整个系统对用户暴露接口的网关。在kilostar运行过程中，用户通过发送请求至fastapi从而包装为 kilostarEvent对象，并且发往regulatory_node，由regulatory_node进行简单的意图判断，如果判断用户只是简单交流比如聊天等，regulatory_node会直接对用户进行回复结束事件。
，如果判断用户想要完成复杂的任务，regulatory_node会选择将从workflow_template(工作流模板)中选择一个或者不选择,然后将event挂到全局状态机实现追溯方便并发往Workflow_Running_Engine的异步队列，被协程对象取走后，由consciousness_node创建为kilostarWorkflow对象，挂载到实例化的WorkflowEngine进行执行。完成任务后返回给用户。
技术架构背景
- 分布式大脑：利用 Ray 框架实现 Actor 模型，将不同的智能体节点（Node）部署为独立运行的分布式 Actor，具备跨节点通信和动态调度的能力。
- 强类型通信协议：引入 PydanticAI 作为智能体开发框架，核心目的在于将大语言模型（LLM）产生的非结构化文本，通过 Pydantic 模型转化为强类型的结构化数据（JSON），确保多智能体协作时数据传输的工业级稳定性。
- 推理驱动路由：系统针对最新的deepseek-v4系列进行了适配，实现灵活调用
项目背景
1.多智能体架构的需求
随着任务复杂度的提升，单一Agent一定程度上以及满足不了人们对于人工智能完成复杂任务的需求。模仿人类社会中的团队合作，kilostar以Ray作为底座，从而实现一种多智能体协作的设计。
2.对于大语言模型输出内容约束的需求
LLM 输出的非结构化文本在多智能体交互中极易崩溃。所以，kilostar没有选择如LangChain这种老牌智能体开发框架，而是选择了新兴的pydanticAI这种强约束框架，使得多智能体协作避免黑盒化。
PydanticAI是一款基于Pydantic的智能体开发框架，Pydantic是python中著名的数据类型约束库，Pydantic官方通过Pydantic的强约束，实现了对于LLM的生成约束。