# mindspore_lite_err_detect

**Repository Path**: ybf521/mindspore_lite_err_detect

## Basic Information

- **Project Name**: mindspore_lite_err_detect
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-03-05
- **Last Updated**: 2026-03-30

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

### 屏幕异常分类检测

#### 本项目旨在通过深度学习模型对程序渲染显示异常（空白页、图像加载失败、加载中等）进行自动分类与检测。项目包含完整的模型训练、转换和部署流程，支持在HarmonyOS设备上利用MindSpore Lite进行端侧推理。

### 效果示例

![img.png](demo.png)

#### 特性

多分类支持：可识别多种屏幕异常类型

端云协同：提供Python训练脚本（CPU/NPU）及模型转换工具

轻量化模型：适配移动端部署，推理速度快

HarmonyOS原生集成：提供鸿蒙应用示例代码，调用摄像头实时检测

可扩展：支持自定义数据集和模型结构

### 目录结构

    err_detect/
    ├── AppScope/               # HarmonyOS应用全局资源
    ├── entry/                  # 应用主模块（UI及推理逻辑）
    ├── hvigor/                 # 鸿蒙构建脚本配置
    ├── oh_modules/             # 鸿蒙依赖模块
    ├── python/                 # 训练与模型转换代码
    │   ├── train.py            # 模型训练脚本
    │   ├── convert.py          # 模型转换脚本（导出MindSpore Lite模型）
    │   ├── test.py             # 模型测试与评估脚本
    │   ├── dataset/            # 数据集处理工具
    │   ├── models/             # 模型定义（如CNN、MobileNet等）
    │   └── utils/              # 通用工具函数
    ├── .clang-tidy             # C++代码检查配置
    ├── .clangd                 # Clangd LSP配置
    ├── build-profile.json5     # 鸿蒙构建配置文件
    ├── hvigorfile.ts           # 鸿蒙构建脚本
    ├── local.properties        # 本地环境配置
    ├── oh-package.json5        # 鸿蒙包管理
    └── LICENSE                 # 许可证

### 环境要求

#### 训练环境（Python）

Python 3.8+

PyTorch 1.10+ 或 TensorFlow 2.x（根据实际训练框架）

MindSpore Lite Converter（用于模型转换）

其他依赖见 python/requirements.txt

部署环境（HarmonyOS）

DevEco Studio 4.0+

HarmonyOS SDK API 9+

支持CPU/GPU的鸿蒙设备（如华为手机、平板）

### 快速开始

#### 1. 模型训练

进入 python 目录，准备数据集（图像按类别分文件夹存放），然后执行训练：

    cd yolo11n
    python train.py
    训练完成后，模型权重将保存为 best.pt。

#### 2. 模型转换

将训练好的模型转换为MindSpore Lite格式（.ms）：

    # windows环境：
    call converter_lite.exe --fmk=ONNX --modelFile=best.onnx --outputFile=best.onnx
    
    # linux环境：
    ./converter_lite --fmk=ONNX --modelFile=best.onnx --outputFile=best.onnx

    转换工具会根据模型结构自动优化并生成端侧可用的模型文件。

#### 3. 应用部署

将生成的 .ms 模型文件复制到 entry/src/main/resources/resfile/ 目录下。

使用DevEco Studio打开本项目，连接鸿蒙设备，点击运行即可安装应用。

应用启动后，可通过相机拍摄屏幕照片或从相册选择图片，模型将实时返回异常分类结果。

### 详细使用说明

#### 数据集格式

    数据集根目录/
    ├── empty/                      # 空白页
    ├── fail/                       # 加载失败
    ├── image_loading_faild/        # 图片加载失败
    ├── loading/                    # 加载中
    ├── normal/                     # 正常屏幕
    ├── skeleton_screen/            # 骨架屏
    └── verification_loading_faild/ # 验证加载失败

#### 自定义模型

如需修改模型结构，可编辑 python/models/ 下的文件，并相应调整训练脚本中的模型加载部分。

#### 鸿蒙端推理

鸿蒙端推理代码位于 entry/src/main/cpp/，使用MindSpore Lite C++ API加载模型并执行推理。主要流程：

初始化MindSpore Lite环境

    加载模型文件
    
    预处理输入图像（缩放、归一化）
    
    执行推理
    
    后处理并显示结果
    
    详细实现请参考 entry 模块源码。

### 模型说明

当前默认模型基于yolo11n构建，在约240张屏幕图像数据集上训练,仅供功能验证使用，不保证识别率。模型大小约10MB，单次推理时间<
100ms。

### 许可证
本项目采用 Apache 2.0 许可证，详见 LICENSE 文件。