# SpharxWorks_deepness **Repository Path**: spharx/deepness ## Basic Information - **Project Name**: SpharxWorks_deepness - **Description**: 工具链 SpharxToolchain-02：deepness，L2~L4数据处理。 - **Primary Language**: Unknown - **License**: GPL-3.0 - **Default Branch**: main - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-02-18 - **Last Updated**: 2026-03-21 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # Deepness 深度加工系统 ## 📋 项目概述 Deepness 是 SpharxHub 平台的核心深度加工子系统，致力于将原始物理世界数据转化为富含语义和物理属性的高价值数据资产。系统采用模块化、容器化的设计理念，通过三个核心处理管道实现从基础数据到高级应用的完整转换链路。 *"From data intelligence emerges"* *"始于数据，终于智能"* ## 🎯 核心价值 - **物理世界数字化**: 将现实场景转化为可计算、可仿真的数字孪生体 - **语义丰富化**: 为3D场景注入丰富的语义和物理属性信息 - **交互建模**: 记录和分析物理交互行为，支持反事实推演 - **标准输出**: 生成符合主流评测框架的标准化数据格式 ## 🏗️ 系统架构 ``` ┌─────────────────────────────────────────────────────────────┐ │ Deepness 系统架构 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────┐ ┌──────────────┐ ┌─────────────────┐ │ │ │ 输入层 │───→│ 处理层 │───→│ 输出层 │ │ │ │ │ │ │ │ │ │ │ │ • Workshop │ │ • 物理注入 │ │ • Benchmark │ │ │ │ 数据 │ │ • 交互记录 │ │ 格式 │ │ │ │ • 原始数据 │ │ • 数据导出 │ │ • 应用接口 │ │ │ └─────────────┘ └──────────────┘ └─────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────┘ ``` ### 核心处理管道 1. **01_physics_injection** (物理属性注入) - 基于 Fast-SAM3D 实现三维场景重建 - 为物体注入物理属性（材质、密度、摩擦系数等） - 生成标准化3D网格模型 2. **02_interaction_recording** (交互轨迹记录) - 整合多模态感知数据（RGB-D + IMU） - 记录物理交互轨迹和行为模式 - 支持反事实推演和仿真验证 3. **03_benchmark_export** (评测数据导出) - 转换为标准评测格式 - 支持 Genie Sim 3.0 和 NVIDIA Cosmos 等框架 - 提供数据质量报告 ## 🚀 快速开始 ### 环境要求 - **操作系统**: Ubuntu 20.04/22.04 LTS (推荐) - **GPU**: NVIDIA GPU 支持 CUDA 12.1+ - **内存**: 16GB+ RAM (推荐 32GB) - **存储**: 500GB+ SSD 存储空间 ### 安装部署 ```bash # 1. 克隆项目 git clone https://github.com/your-org/deepness.git cd deepness # 2. 配置环境变量 cp .env.template .env # 编辑 .env 文件，设置 HF_TOKEN 等必要参数 # 3. 下载依赖和模型 ./scripts/download/download_sources.sh ./scripts/download/download_models.sh # 4. 构建系统 make all # 5. 启动服务 docker-compose up -d ``` ### 验证安装 ```bash # 检查服务状态 docker-compose ps # 查看日志 docker-compose logs -f # 测试处理流程 docker-compose run --rm physics --input /data/workshop/scene_001 ``` ## 📁 项目结构 ``` deepness/ ├── base/ # 基础镜像配置 ├── common/ # 公共组件库 ├── docs/ # 技术文档中心 ├── hardware/ # 硬件支持文档 ├── partdata/ # 数据分区管理 ├── pipelines/ # 核心处理管道 ├── scripts/ # 自动化脚本工具 ├── tests/ # 测试套件 ├── docker-compose.yml # 服务编排配置 ├── Makefile # 构建自动化 ├── .env.template # 环境变量模板 └── README.md # 本文档 ``` ## 🔧 核心组件详解 ### 基础设施 - **Docker 容器化**: 基于 CUDA 12.1 的 Ubuntu 22.04 基础镜像 - **Python 环境**: Miniforge3 + Python 3.11，预装科学计算包 - **依赖管理**: Conda/Mamba 包管理，支持国内镜像加速 ### 技术栈 ```yaml 深度学习: PyTorch 2.5.1 (CUDA 12.1) 3D处理: PyTorch3D 0.7.6, Open3D 0.18.0, Kaolin 0.17.0 计算机视觉: YOLOv8, ORB-SLAM3 物理仿真: PyBullet 渲染引擎: gsplat (高斯点阵) 几何处理: MoGe, utils3d ``` ### 配置管理 - **统一配置中心**: YAML 格式，支持模块化配置 - **环境变量控制**: 通过 .env 文件管理运行参数 - **版本锁定**: deps.lock 文件确保依赖一致性 ## 📊 数据处理流程 ### 标准输入格式 ``` /data/workshop/scene_xxx/ ├── rgb/ # RGB 图像序列 ├── depth/ # 深度图像序列 ├── calibration/ # 相机标定参数 ├── timestamps.csv # 时间戳文件 └── meta.json # 场景元数据 ``` ### 处理输出结构 ``` /data/benchmark/ ├── genie_format/ # Genie Sim 3.0 格式 │ ├── scenes/ │ ├── annotations/ │ └── metadata.json └── custom_format/ # 自定义扩展格式 ``` ## 🛠️ 开发指南 ### 代码规范 - **Python**: 遵循 PEP 8 规范，使用 Black 格式化 - **Shell**: 遵循 Google Shell Style Guide - **文档**: 使用 Markdown 格式，保持中英文混排规范 ### 贡献流程 1. Fork 项目仓库 2. 创建功能分支 (`git checkout -b feature/amazing-feature`) 3. 提交更改 (`git commit -m 'Add some amazing feature'`) 4. 推送到分支 (`git push origin feature/amazing-feature`) 5. 开启 Pull Request ### 测试要求 - 新功能必须包含相应的单元测试 - 修改现有功能需确保不破坏现有测试 - 性能优化需提供基准测试对比 ## 🔒 安全与合规 ### 容器安全 - 使用非 root 用户运行容器 - 最小权限原则：只安装必要依赖 - 定期更新基础镜像和安全补丁 ### 数据保护 - 敏感配置文件加密存储 - 输出数据完整性校验 - 访问日志记录和审计 ### 合规要求 - 遵循 GDPR 数据保护规范 - 支持数据删除和匿名化 - 提供隐私政策说明 ## 📈 性能指标 ### 处理能力 - **单场景处理**: 5-10分钟（取决于复杂度） - **并发处理**: 支持多场景并行处理 - **资源利用率**: GPU 利用率 > 70% ### 扩展性 - **水平扩展**: 支持多节点分布式部署 - **垂直扩展**: 可配置资源限制和分配 - **弹性伸缩**: 根据负载自动调整资源 ## 🔄 版本路线图 ### 当前版本 (v0.1) - ✅ 基础架构搭建完成 - ✅ Docker 容器化配置就绪 - 🔄 核心模块功能开发中 (60%) - 🔲 端到端集成测试 - 🔲 性能基准测试 ### 未来规划 ``` v0.2 - 物理注入模块 MVP 发布 v0.3 - 交互记录模块上线 v1.0 - 完整流水线正式发布 v1.5 - 性能优化和功能扩展 v2.0 - 分布式部署和云原生支持 ``` ## 📚 文档资源 ### 核心文档 - [DEEPNESS_ARCH.md](docs/DEEPNESS_ARCH.md) - 系统架构详细设计 - [各模块 README](pipelines/) - 模块使用说明 - [配置指南](common/README_common.md) - 配置管理说明 ### 开发资源 - [API 文档](docs/api/) - 接口规范（规划中） - [测试指南](tests/docs/TESTING_GUIDE.md) - 测试框架说明 - [部署手册](docs/deployment/) - 生产环境部署 ## 📞 技术支持 ### 社区支持 - **Issues**: [GitHub Issues](https://github.com/your-org/deepness/issues) - **讨论区**: [GitHub Discussions](https://github.com/your-org/deepness/discussions) - **文档**: [在线文档](https://docs.your-org.com/deepness) ### 商业支持 - **企业版**: 提供商业许可和技术支持 - **定制开发**: 根据需求定制功能模块 - **培训服务**: 提供系统使用和开发培训 ## 🤝 贡献者 感谢所有为 Deepness 项目做出贡献的开发者！ ## 📄 许可证 本项目采用 [Apache License 2.0](LICENSE) 许可证。 ## 🙏 致谢 Deepness 项目借鉴和使用了众多优秀的开源项目： - [Fast-SAM3D](https://github.com/wlfeng0509/Fast-SAM3D) - 3D 分割和重建 - [PyTorch3D](https://pytorch3d.org/) - 3D 深度学习工具包 - [ORB-SLAM3](https://github.com/UZ-SLAMLab/ORB_SLAM3) - 视觉SLAM系统 - [YOLOv8](https://github.com/ultralytics/ultralytics) - 目标检测框架 ---

构建 AI 时代的物理世界数据基础设施

From data intelligence emerges

始于数据，终于智能

GitHub · 文档 · 问题反馈

## 许可证 SpharxWorks 采用 **GPL-3.0 开源协议 + 商业闭源授权** 双轨授权模式，您可根据自身使用场景选择对应授权。 ### 开源授权（GPL-3.0） 个人学习、学术研究、非商业原型验证、开源社区贡献等非商业场景，可免费使用本项目，需严格遵守GPL-3.0协议的开源义务，完整协议详见 [LICENSE-GPL-3.0](LICENSE-GPL-3.0)。 ### 商业闭源授权 任何将本项目用于闭源商业产品、商业服务、盈利性项目的行为，均需提前向SPHARX极光感知科技申请商业授权，获得闭源使用豁免、官方技术支持、定制化服务等权益。 商业授权详情详见 [LICENSE-COMMERCIAL](LICENSE-COMMERCIAL)，授权申请请联系： - 官方邮箱：lidecheng@spharx.cn、wangliren@spharx.cn - 官方网站：https://spharx.cn © 2026 SPHARX极光感知科技，保留所有权利。