메타 레이반 글래스로 AI 비서와 대화하기 — VisionClaw + OpenClaw 완전 가이드

VisionClaw란?

요즘 AR 글래스 관심 많지? 특히 메타 레이반 스마트 글래스는 카메라 기능이 있어서 실시간으로 주변을 촬영할 수 있어. 근데 여기에 AI를 붙이면 어떻게 될까? 그게 바로 VisionClaw야.

VisionClaw는 GitHub에 공개된 오픈소스 프로젝트로, 메타 레이반 글래스 카메라 + Gemini Live API + OpenClaw를 연동해서 실시간 AI 비서를 만드는 거야. 글래스로 보는 것을 AI가 인식하고, 음성으로 대화하고, 심지어 실제 도구도 실행할 수 있어.

구조는 이렇게 돌아가:

• 글래스(또는 iPhone 카메라) → iPhone 앱
• iPhone 앱 → Gemini Live API (음성 + 비전)
• Gemini → OpenClaw 게이트웨이 (56+ 스킬 도구)
• 결과 → 음성으로 응답

필요한 것들

시작하기 전에 이것들이 필요해:

• Meta Ray-Ban 스마트 글래스 (없으면 iPhone 카메라로도 테스트 가능)
• iPhone (iOS 15.2 이상)
• Mac (Xcode로 iOS 앱 빌드용)
• Gemini API 키 (무료로 Google AI Studio에서 발급)
• OpenClaw 설치 + 게이트웨이 설정

1단계: 개발 환경 세팅

먼저 Mac에 Xcode랑 iOS SDK를 설치해야 해.

Xcode 설치

# App Store에서 설치하거나
mas install 497799835

# iOS SDK 다운로드
xcodebuild -downloadPlatform iOS

# 초기화
xcodebuild -runFirstLaunch

VisionClaw 레포 클론

git clone https://github.com/sseanliu/VisionClaw.git
cd VisionClaw

2단계: Secrets.swift 설정

프로젝트에 Secrets.swift 파일을 만들어야 해. API 키랑 OpenClaw 정보를 넣는 곳이야.

enum Secrets {
    static let geminiAPIKey = "YOUR_GEMINI_KEY"
    static let openClawHost = "http://YOUR_IP"
    static let openClawPort = 18789
    static let openClawGatewayToken = "YOUR_TOKEN"
}

• geminiAPIKey: Google AI Studio에서 발급받은 키
• openClawHost: OpenClaw가 돌아가는 서버 IP (LAN 또는 Tailscale)
• openClawPort: 기본 18789
• openClawGatewayToken: ~/.config/openclaw/gateway.yml의 gateway.token

3단계: OpenClaw 게이트웨이 설정

OpenClaw가 iPhone에서 접근할 수 있게 설정해야 해.

gateway.yml 수정

# ~/.config/openclaw/gateway.yml

gateway:
  bind: "lan"  # LAN에서 접근 가능하도록
  port: 18789
  token: "YOUR_TOKEN"  # 이 값을 Secrets.swift에 넣음

chatCompletions:
  enabled: true  # API 활성화

Tailscale 설정 (외부 접속용)

다른 네트워크에서도 접속하려면 Tailscale을 설치하고, Tailscale IP를 openClawHost에 넣으면 돼.

# Tailscale 설치
brew install tailscale

# Tailscale 시작
sudo tailscale up

# IP 확인
tailscale ip -4

4단계: iOS App Transport Security (ATS) 해결

여기서 막히는 사람이 많아. iOS는 기본적으로 HTTP 연결을 차단하거든. OpenClaw는 HTTP라서 설정을 풀어줘야 해.

Info.plist 수정

프로젝트의 Info.plist에 다음을 추가:

<key>NSAppTransportSecurity</key>
<dict>
    <key>NSAllowsArbitraryLoads</key>
    <true/>
    <key>NSExceptionDomains</key>
    <dict>
        <key>YOUR_IP</key>
        <dict>
            <key>NSIncludesSubdomains</key>
            <true/>
            <key>NSTemporaryExceptionAllowsInsecureHTTPLoads</key>
            <true/>
        </dict>
    </dict>
</dict>

Xcode 프로젝트 설정

⚠️ 중요: Xcode가 자동으로 Info.plist를 생성하면 커스텀 설정이 무시돼. 이걸 막아야 해:

1. Xcode에서 프로젝트 설정 → Build Settings
2. GENERATE_INFOPLIST_FILE 검색
3. 값을 NO로 변경

5단계: 코드 사이닝 & 빌드

Bundle Identifier 변경

중복 방지를 위해 고유한 Bundle ID로 변경:

com.yourname.VisionClaw

Apple ID로 Automatic Signing

1. Xcode에서 프로젝트 설정 → Signing & Capabilities
2. Automatically manage signing 체크
3. Team에 Apple ID 선택

iPhone 연결 후 빌드

1. iPhone을 Mac에 USB로 연결
2. iPhone에서 "이 컴퓨터를 신뢰하시겠습니까?" → 신뢰
3. Xcode에서 디바이스 선택 → Cmd+R
4. 빌드 후 iPhone 설정 → 일반 → VPN 및 기기 관리 → 개발자 앱에서 인증서 신뢰

6단계: 테스트

iPhone 카메라로 테스트

글래스 없이도 테스트 가능해:

1. 앱 실행
2. "Start on iPhone" 버튼 클릭
3. iPhone 카메라가 활성화되고 Gemini와 대화 시작
4. OpenClaw 도구 호출 테스트

메타 레이반 글래스 연결

1. Meta AI 앱에서 Developer Mode 활성화 (한국에서는 VPN 필요할 수 있음)
2. 글래스와 iPhone 페어링
3. 앱에서 "Start streaming"
4. 글래스로 보는 걸 AI가 실시간 인식!

다른 네트워크에서 테스트

Tailscale IP로 설정했다면, 집이든 카페든 어디서든 OpenClaw에 접속 가능해.

7단계: 성능 최적화

Glass 세션 모델 변경

기본 모델이 느리면 Haiku로 변경해봐:

// GlassSessionManager.swift
let model = "claude-3-5-haiku-20241022"  // 또는 다른 빠른 모델

효과: 응답 시간 29초 → 5초로 단축!

첫 응답 후 프롬프트 캐시가 적중하면 더 빨라져.

트러블슈팅

❌ ATS 에러 (HTTP 연결 차단)

증상: The resource could not be loaded because the App Transport Security policy requires...

해결:

• Info.plist에 NSAppTransportSecurity 설정 추가
• GENERATE_INFOPLIST_FILE = NO 확인

❌ OpenClaw Off

증상: 앱에서 "OpenClaw Off" 표시

해결:

• gateway.yml에서 bind: "lan" 확인
• Tailscale IP 사용 시 tailscale status로 연결 확인
• 방화벽에서 18789 포트 허용

❌ 느린 응답

증상: AI 응답이 20초 이상 걸림

해결:

• Glass 세션 모델을 Haiku 또는 빠른 모델로 변경
• 프롬프트 캐시 활성화 (두 번째 요청부터 빨라짐)

❌ 글래스 연결 안 됨

증상: 글래스 스트리밍 시작 안 됨

해결:

• Meta AI 앱에서 Developer Mode 활성화 필요
• 한국에서는 VPN으로 미국 연결 후 설정
• 글래스 펌웨어 최신 버전 확인

마무리

이제 메타 레이반 글래스로 AI 비서와 대화할 수 있어! VisionClaw는 OpenClaw의 56개 이상 스킬을 활용할 수 있어서, 단순한 대화뿐만 아니라:

• 웹 검색 및 콘텐츠 가져오기
• 브라우저 제어
• 메시지 전송 (텔레그램, 디스코드 등)
• 파일 읽기/쓰기
• 셸 명령 실행

같은 실제 작업도 가능해. AR 글래스로 보면서 AI가 뭔가 해주는 미래, 이제 직접 만들 수 있어.

관련 링크:

• VisionClaw GitHub
• OpenClaw 공식 사이트
• Gemini API 키 발급

궁금한 점 있으면 댓글로 물어봐! 😊