음성 기반 작업 지시 AI

# 제조 도메인 음성 데이터셋 예시
training_data = [
    {"audio": "audio_001.wav",
     "text": "컨베이어 속도를 분당 20미터로 설정해"},
    {"audio": "audio_002.wav",
     "text": "3번 프레스 압력을 150톤으로 조정"},
    {"audio": "audio_003.wav",
     "text": "로트 번호 A2024-0115 검사 완료"},
    {"audio": "audio_004.wav",
     "text": "스핀들 회전수 1500RPM 확인"},
]

# 소음 환경에서 녹음된 데이터 포함 필수
# SNR(신호대잡음비) 다양하게 구성

# 입력 음성 (STT 결과)
"3번 컨베이어 속도를 분당 15미터로 설정해줘"

# NLU 분석 결과
{
    "intent": "설비_파라미터_설정",
    "confidence": 0.94,
    "entities": {
        "equipment_type": "컨베이어",
        "equipment_id": "3",
        "parameter": "속도",
        "value": 15,
        "unit": "m/min"
    },
    "action": {
        "type": "SET_PARAMETER",
        "target": "CONVEYOR_03.SPEED",
        "value": 15,
        "requires_confirmation": true
    }
}

# TTS 확인 응답
"3번 컨베이어 속도를 분당 15미터로 설정합니다. 맞습니까?"

# 지원 언어
supported_languages = ["ko", "en", "vi", "zh", "id"]

# 언어 자동 감지 + STT
def process_speech(audio):
    # Whisper는 자동 언어 감지 지원
    result = whisper.transcribe(audio)
    detected_lang = result["language"]
    text = result["text"]

    # 의도 분석 (LLM은 다국어 지원)
    intent = analyze_intent(text, lang=detected_lang)

    # 응답 생성 (감지된 언어로)
    response = generate_response(intent, lang=detected_lang)

    # TTS (해당 언어 음성으로)
    audio_response = tts_synthesize(response, lang=detected_lang)

    return audio_response

# 예시: 베트남어 입력
# "Tốc độ băng tải số 3 là bao nhiêu?"
# → 의도: 설비_상태_조회
# → 응답: "Tốc độ băng tải số 3 hiện tại là 15m/phút"