mcp-server-omniparser

# OmniParser MCP Server [](https://opensource.org/licenses/MIT) [](https://www.python.org/downloads/) [](https://modelcontextprotocol.io/) 一個基於Microsoft OmniParser模型的MCP (Model Context Protocol) Server，用於UI自動化和屏幕解析。 ## 🌟 功能特性 - 🖥️ **屏幕截圖解析**: 使用OmniParser模型解析UI截圖，識別可交互元素 - 🖱️ **鍵鼠模擬**: 支持鍵盤和滑鼠操作模擬 - 🪟 **視窗管理**: 連接和管理特定應用程式視窗 - 🌐 **多平台支持**: 支持桌面應用、瀏覽器和遊戲 - 🔧 **MCP協議**: 完全兼容MCP協議，可與支持MCP的AI助手集成 ## 📋 系統要求 - Python 3.10+ - Windows 10/11 (推薦，完整功能支持) - CUDA支持的GPU (推薦) - 8GB+ RAM - 5GB+ 可用磁盤空間 ## 🚀 快速開始 ### 1. 克隆項目 ```bash git clone https://github.com/yourusername/omniparser-mcp-server.git cd omniparser-mcp-server ``` ### 2. 安裝依賴 ```bash # 創建虛擬環境 (推薦) python -m venv venv source venv/bin/activate # Linux/Mac # 或 venv\Scripts\activate # Windows # 安裝依賴 pip install -r requirements.txt pip install -e . # Windows 用戶需要額外安裝 pip install pywin32 psutil ``` ### 3. 下載OmniParser模型 ```bash # 下載模型權重 (需要先安裝 huggingface-cli) pip install huggingface_hub # 下載到 weights 目錄 mkdir -p weights for f in icon_detect/{train_args.yaml,model.pt,model.yaml} icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir weights done mv weights/icon_caption weights/icon_caption_florence ``` ### 4. 配置設定 編輯 `config.json` 確保模型路徑正確，然後啟動服務器： ```bash omniparser-mcp-server ``` ## 🔧 MCP 配置 ### 安裝MCP服務器 ```bash # 使用 uvx 安裝（推薦） uvx install mcp-server-omniparser # 或從源碼安裝 uvx install git+https://github.com/win10ogod/omniparser-mcp-server.git ``` ### Claude Desktop 配置 在 Claude Desktop 配置文件中添加： **配置文件位置：** - macOS: `~/Library/Application Support/Claude/claude_desktop_config.json` - Windows: `%APPDATA%\Claude\claude_desktop…