Arquitectura de la solución

1. Flujo end-to-end

Todo el procesamiento de voz vive en ElevenAgents. Los tools (verde) llaman al backend propio hosteado en Cloudflare Workers. Las consultas a documentos (azul) usan el RAG nativo de ElevenLabs con embeddings multilingual.

flowchart TD
    Cliente["🧑 Cliente
voz · es-AR / pt-BR"]
    Widget["🌐 Widget web
Cloudflare Pages"]
    EL["🤖 ElevenAgents
servidor US"]
    ASR["📝 Scribe v2
Realtime ASR"]
    LLM["🧠 Gemini 3 Flash
+ cascade 2.0/2.5 · Haiku 4.5"]
    TTS["🔊 Flash v2.5 · es-AR
V3 Conversational · pt-BR"]
    Worker["⚡ Cloudflare Worker
poc-toyota-tools"]
    Data[("💾 JSONs bundleados
Salesforce · TPA · Kinto")]
    KB[("📚 Knowledge Base
multilingual e5-large")]

    Cliente <--> Widget
    Widget <--> EL
    EL --> ASR
    ASR --> LLM
    LLM --> TTS
    TTS --> EL
    LLM -.->|tool call
<200 ms| Worker
    Worker --> Data
    LLM -.->|RAG retrieval| KB

    classDef voice fill:#fce8ea,stroke:#EB0A1E,color:#000
    classDef agent fill:#e4f0ff,stroke:#0b5ed7,color:#000
    classDef tool fill:#e9f7e9,stroke:#22803b,color:#000
    classDef data fill:#fff8e1,stroke:#b36b0a,color:#000

    class Cliente,Widget,ASR,TTS voice
    class EL,LLM agent
    class Worker tool
    class Data,KB data
        

2. Métricas de latencia medidas

Números medidos en conversaciones reales del PoC (ES-AR y PT-BR). Worker en Cloudflare edge. LLM primary: gemini-3-flash-preview con cascade a gemini-2.0-flash → gemini-2.5-flash → claude-haiku-4-5 (cascade timeout 5 s). TTS eleven_flash_v2_5 en es-AR · eleven_v3_conversational en pt-BR.

Dónde se va el tiempo en un turn con tool: ASR (~200–400 ms) + LLM generation (~2–4 s) + tool execution (~150 ms) + TTS TTFB (~75 ms). El LLM domina el presupuesto — optimizaciones futuras apuntan ahí (prompt más corto, modelo más rápido, o RAG para reducir contexto).

3. Mapa de agentes y sus backends

2 agentes consumen RAG puro, 2 combinan RAG + API, 3 son transaccionales (API pura). 7 endpoints expuestos.

4. Flujo detallado de un agente transaccional

Ejemplo del agente más complejo del PoC — TPA Voucher — con 2 tools encadenadas y lógica de branching según situación del plan.

sequenceDiagram
    participant C as Cliente
    participant E as ElevenAgents
    participant W as CF Worker
    participant D as Data JSON

    C->>E: "Necesito cupón, DNI 24916694"
    E->>W: POST /tools/tpa/account
{ dni: "24916694" }
    W->>D: lookup
    D-->>W: Gabriel Romay · NORMAL-PRENDARIO · Yaris
    W-->>E: { recomendacion: "emitir_cupon", email }

    alt recomendacion = emitir_cupon
        E->>C: "Confirme email XXXX@PRUEBA.COM.AR"
        C->>E: "Sí, correcto"
        E->>W: POST /tools/tpa/send_voucher
{ grupo, orden, email }
        W-->>E: { sent: true }
        E->>C: "Cupón enviado. Medios: PMC, Link, Mercado Pago..."
    else recomendacion = derivar_autogestion
        E->>C: "Cuenta con 4+ cuotas en mora. Use Portal de Autogestión..."
    else recomendacion = derivar_humano
        E->>C: "Cuenta en situación CANCELADOS. Le transfiero a un operador."
    end
        

5. Stack tecnológico

6. Flujo de datos (ingesta → runtime)

flowchart LR
    subgraph Ingesta["📥 Ingesta (offline)"]
        XLS[".xlsx
Salesforce"]
        CSV[".csv"]
        PDF[".pdf
Manual Lexus"]
        DOC[".docx
Scripts"]
    end

    subgraph Procesamiento["🔧 Procesamiento"]
        PY["Python
openpyxl + csv"]
        MD["Markdown
normalizado"]
        JSON["JSON
slim"]
    end

    subgraph Runtime["🚀 Runtime"]
        KB["ElevenLabs KB
Multilingual"]
        WRKR["Worker
bundleado"]
    end

    XLS --> PY --> JSON --> WRKR
    CSV --> PY
    PDF --> KB
    DOC --> MD --> KB
        

7. Decisiones clave de arquitectura

• Sin Twilio: ElevenLabs tiene SIP trunk nativo y widget web embebido. Se omite un salto de red.
• Cloudflare edge vs server regional: las tool calls salen desde ElevenLabs (US). El edge global de CF Workers garantiza proximidad al caller de ElevenLabs, no al end user.
• Data bundleada vs DB externa: los datasets del PoC (~1.4 MB) caben en memoria del worker. Zero cold DB queries, sub-50ms de respuesta. En producción se conectaría a Salesforce API live.
• Flash v2.5 vs V3 para TASA: V3 suavizaba el acento argentino hacia latino neutro. Flash preserva mejor el acento regional. En TDB (pt-BR) V3 funciona mejor.
• Multilingual e5 vs English en RAG: crítico para castellano y portugués. English-optimized falla en retrieval con documentos ibéricos.
• Un agente por caso: en vez de un agente monolítico con muchas ramas, la separación permite iterar cada caso sin regresiones.
• Cascade de modelos LLM: primary gemini-3-flash-preview (preview, más rápido); si falla en 5 s cae a gemini-2.0-flash → gemini-2.5-flash → claude-haiku-4-5. Elimina outliers de latencia sin perder speed típica.
• Validación de patente en el Worker: regex de formato AR (viejo y Mercosur) antes de lookup. Defensa en profundidad con la regla equivalente en el prompt del agente — evita tool calls con input obviamente inválido.
• Guardrails en prompt, no en frases fijas: las reglas anti-manipulación describen comportamiento esperado, no respuestas textuales. Evita que frases como "Estoy funcionando bien" actúen como "attractors" que disparen en contextos incorrectos.
• Pronunciation dictionary: TTS-level substitution para siglas argentinas (SW4, RAV4, AT, MT, VW). Es más robusto que instruir al LLM en el prompt.