Co-Sight是中兴通讯开源的超级智能体项目,为协同视觉分析平台及智能自动化底座。采用多智能体架构,构建“数字团队”协同体系,通过DAG任务引擎驱动,实现任务的高效调度与执行。Co-Sight具备自我进化能力,能通过执行记录与模型推理自动生成智能总结报告,形成持续改进闭环。注重安全与可靠性,所有操作在沙箱环境中运行,支持日志追溯、权限管控与合规审计。

Co-Sight的主要功能

  • 智能总结与反思:基于执行过程记录与模型推理,能自动进行复盘,生成智能总结报告,内容包括成功关键点复盘、失败原因定位、优化建议反馈等,形成持续自我进化闭环。
  • 多重安全防护:所有操作在受控沙箱环境中进行,防止数据越界或泄露;系统日志实时记录,操作路径全程可追溯;支持权限管控与合规审计,保障企业运营安全无忧。
  • 实时监控与智能识别:能实时分析监控视频,快速识别异常行为,通过深度学习技术,准确识别多种行为和对象。
  • 灵活部署:支持多种操作系统和硬件平台,易于部署和扩展。

Co-Sight的技术原理

  • 多智能体架构:Co-Sight采用多智能体(Multi-Agent)架构,构建了“数字团队”协同体系。主管智能体统筹调度多个执行智能体,各司其职,协同完成复杂任务。使系统具备出色的任务拆解与流程协同能力,能动态重规划与自适应容错,在任务执行过程中自动应对突发情况,灵活调整策略,确保流程连续稳定。
  • DAG任务引擎:Co-Sight引入DAG(有向无环图)任务调度机制,智能识别任务中的并发节点,结合多智能体的并发执行能力,显著缩短整体流程周期。提供的丰富工具组件,涵盖多种搜索引擎、语音与图像识别工具、文档处理工具等,能一站式完成从规划到执行的各项任务。
  • 深度学习与自然语言处理:Co-Sight融合了深度学习模型和自然语言处理(NLP)技术,基于大规模的神经网络进行推理和决策。系统能处理海量的图像数据、文本信息以及多元的传感器数据

Co-Sight的项目地址

🛠安装指南

  1. 下载项目:您可以选择以下方式下载项目到本地:

    1. 使用 Git clone 访问https://github.com/ZTE-AICloud/Co-Sight,点击绿色的 'Code' 按钮,

    # 1. Select HTTP protocol
    git clone https://github.com/ZTE-AICloud/Co-Sight.git
    
    # 2. Select SSH
    git clone git@github.com:ZTE-AICloud/Co-Sight.git
    
    cd Co-Sight
     

    2.下载zip文件 访问https://github.com/ZTE-AICloud/Co-Sight,点击绿色 'Code' 按钮,选择 'Download ZIP',下载后解压进入项目目录。

  2. 准备环境:python版本>=3.11

  3. 安装依赖项:在项目目录下运行以下命令安装依赖项:

pip install -r requirements.txt
 

⚙️配置

  1. 复制模板.env_template并生成.env(文档已加入.gitignore,安全存储隐私信息):
  2. 编辑 .env 配置核心参数:
    1. 大模型配置:配置对应的大模型地址、模型名称、API-KEY等,并进一步(可选)配置规划、执行、工具、多模态模型;
    2. 搜索引擎配置(可选):配置相关搜索引擎的API-KEY;
      1. Google搜索申请方法:https://developers.google.com/custom-search/v1/overview?hl=zh-cn#api_key 
      2. Tavily Search 申请方式:https://app.tavily.com/home 

▶️快速入门

  1. 启动服务:cosight_server/deep_research/main.py 
  2. 打开浏览器并访问 http://localhost:7788/cosight/
  3. 在输入框中输入您的第一个任务,体验智能研究引擎的强大功能!