1.3 KiB
1.3 KiB
Pretor项目开发
#项目规划
全局规划：
- 实现监管模型的资源调度
- 实现子个体的工作传递
- 实现用户交互接口与ray集群的交互
- 实现监管模型调度ray资源的接口
- 实现由监管模型理解并发布，子个体向下布置任务，完成任务向上传递，监管模型检查的全工作流
简介
Pretor是一款python开发，实现将小模型进行微调后整理为一个大型集群，从而实现低算力情况下高复杂度任务的实现。 系统模型分为以下部分：
- 监管节点：负责基本交流和任务分流；
- 管控节点：负责调度系统资源；
- 意识节点：负责复杂任务的处理；
- 生长节点：负责获取资源并且将基础模型训练为特化模型；
- 感知模块：与外界交互的模型，如embedding模型，tts模型等；
- 复合子个体：将监管节点的任务领取并进行专业的拆解任务并进行分配；
- 生产子个体：领取任务最小单位并执行；
短期规划
v0.1版本
- workflow构建:构建任务的工作流
- 接口构建:对接vllm，openai接口和gemini接口
- 工具构建:配置供模型调用的爬虫工具箱，docker接口
- 平台对接构建:对接telegram等消息平台