Co-Sight是中兴通讯开源的超级智能体项目,为协同视觉分析平台及智能自动化底座。采用多智能体架构,构建“数字团队”协同体系,通过DAG任务引擎驱动,实现任务的高效调度与执行。Co-Sight具备自我进化能力,能通过执行记录与模型推理自动生成智能总结报告,形成持续改进闭环。注重安全与可靠性,所有操作在沙箱环境中运行,支持日志追溯、权限管控与合规审计。
Co-Sight的主要功能
- 智能总结与反思:基于执行过程记录与模型推理,能自动进行复盘,生成智能总结报告,内容包括成功关键点复盘、失败原因定位、优化建议反馈等,形成持续自我进化闭环。
- 多重安全防护:所有操作在受控沙箱环境中进行,防止数据越界或泄露;系统日志实时记录,操作路径全程可追溯;支持权限管控与合规审计,保障企业运营安全无忧。
- 实时监控与智能识别:能实时分析监控视频,快速识别异常行为,通过深度学习技术,准确识别多种行为和对象。
- 灵活部署:支持多种操作系统和硬件平台,易于部署和扩展。
Co-Sight的技术原理
- 多智能体架构:Co-Sight采用多智能体(Multi-Agent)架构,构建了“数字团队”协同体系。主管智能体统筹调度多个执行智能体,各司其职,协同完成复杂任务。使系统具备出色的任务拆解与流程协同能力,能动态重规划与自适应容错,在任务执行过程中自动应对突发情况,灵活调整策略,确保流程连续稳定。
- DAG任务引擎:Co-Sight引入DAG(有向无环图)任务调度机制,智能识别任务中的并发节点,结合多智能体的并发执行能力,显著缩短整体流程周期。提供的丰富工具组件,涵盖多种搜索引擎、语音与图像识别工具、文档处理工具等,能一站式完成从规划到执行的各项任务。
- 深度学习与自然语言处理:Co-Sight融合了深度学习模型和自然语言处理(NLP)技术,基于大规模的神经网络进行推理和决策。系统能处理海量的图像数据、文本信息以及多元的传感器数据
Co-Sight的项目地址
-
下载项目:您可以选择以下方式下载项目到本地:
1. 使用 Git clone 访问https://github.com/ZTE-AICloud/Co-Sight,点击绿色的 'Code' 按钮,
# 1. Select HTTP protocol git clone https://github.com/ZTE-AICloud/Co-Sight.git # 2. Select SSH git clone git@github.com:ZTE-AICloud/Co-Sight.git cd Co-Sight
2.下载zip文件 访问https://github.com/ZTE-AICloud/Co-Sight,点击绿色 'Code' 按钮,选择 'Download ZIP',下载后解压进入项目目录。
-
准备环境:python版本>=3.11
-
安装依赖项:在项目目录下运行以下命令安装依赖项:
pip install -r requirements.txt
- 复制模板
.env_template
并生成.env
(文档已加入.gitignore
,安全存储隐私信息): - 编辑
.env
配置核心参数:- 大模型配置:配置对应的大模型地址、模型名称、API-KEY等,并进一步(可选)配置规划、执行、工具、多模态模型;
- 搜索引擎配置(可选):配置相关搜索引擎的API-KEY;
- Google搜索申请方法:https://developers.google.com/custom-search/v1/overview?hl=zh-cn#api_key
- Tavily Search 申请方式:https://app.tavily.com/home
- Google搜索申请方法:https://developers.google.com/custom-search/v1/overview?hl=zh-cn#api_key