Guía: Tribunal Académico Multi-Agente y Defensa Socrática
Esta guía detalla el funcionamiento del sistema de evaluación por jurado multi-agente y el simulador de defensa oral socrática introducido en ThesisForge v0.4.0.
[!NOTE] Carácter Formativo y Orientativo El panel de evaluación por jurado multi-agente y el simulador de defensa oral socrática son herramientas de asistencia heurística y entrenamiento formativo. No constituyen un tribunal oficial ni tienen validez institucional vinculante.
1. El Tribunal Académico Multi-Agente
ThesisForge modela un tribunal colegiado de cuatro examinadores con criterios de evaluación ortogonales y complementarios:
| Jurado | Rol Académico | Foco de Evaluación | Ponderación |
|---|---|---|---|
| Dr. Arístides Valenzuela | Metodólogo Principal | Consistencia epistemológica, diseño del estudio, hipótesis y objetivos | 35% |
| Dra. Beatriz Salamanca | Especialista Temática | Marco conceptual, estado del arte, pertinencia y densidad bibliográfica | 25% |
| Dr. Camilo Restrepo | Auditor Estadístico | Muestreo, análisis de datos, potencia estadística e inferencias | 25% |
| Dr. Demetrio Sotomayor | Abogado del Diablo | Causalidades espurias, variables confusoras y sesgos argumentativos | 15% |
[!NOTE] Rúbrica Transparente y Personas Sintéticas Los cuatro jurados evaluadores son personificaciones sintéticas (
is_synthetic_persona = True) diseñadas para estructurar la deliberación académica formativa. El reporte (JuryEvaluationReportDTO) expone la matriz de ponderación completa (scoring_rubric) y un aviso formal (rubric_notice) recordando que la puntuación global es un indicador orientativo pedagógico y no una medición psicométrica estandarizada.
2. Motor de Auditoría Científica Híbrida
La auditoría se ejecuta mediante dos capas complementarias:
A. Reglas Deterministas (Hard Rules)
- Consistencia Cuantitativa: Si el enfoque es cuantitativo o mixto, la presencia de hipótesis contrastables es obligatoria.
- Taxonomía de Objetivos: Exige la presencia de un objetivo general y al menos un objetivo específico redactados con verbos de desempeño evaluables.
- Densidad Bibliográfica: Se comprueba la existencia de citas indexadas bajo norma APA 7ª edición.
B. Deliberación Cualitativa de LLM y Manejo de Fallbacks
Cada jurado evalúa el proyecto y emite:
- Puntuación Dimensional (0–100) con justificación académica fundamentada.
- Observaciones Tipadas: Clasificadas por severidad (CRITICAL, MAJOR, MINOR, NOTE) y tipo (METHODOLOGICAL_INCONSISTENCY, UNSUPPORTED_CLAIM, SAMPLING_BIAS, INVALID_INSTRUMENT, MISSING_LIMITATIONS, etc.).
- Trazabilidad de Fallbacks (is_fallback): Si el proveedor LLM omite la evaluación de alguno de los cuatro roles, el motor inyecta un evaluador estándar con nota 75.0, marcando explícitamente is_fallback = True y registrando el feedback: "Evaluación heurística por omisión del modelo (sin objeciones críticas generadas en esta dimensión)". Esto previene dictámenes fantasma o falsas apariencias de aprobación humana.
C. Veredictos Formales y Regla de Veto
- Aprobado con Distinción ($\ge 95.0$ puntos y 0 fallos críticos).
- Aprobado ($\ge 80.0$ puntos y 0 fallos críticos).
- Modificaciones Menores ($\ge 70.0$ puntos y 0 fallos críticos).
- Modificaciones Mayores ($\ge 50.0$ puntos o $\ge 3$ fallos mayores).
- No Aprobado ($< 50.0$ puntos o presencia de cualquier fallo
CRITICAL).
3. Simulador Socrático de Defensa Oral
El simulador permite preparar la sustentación del proyecto frente a réplicas incisivas generadas dinámicamente a partir de los puntos débiles detectados en la auditoría.
Ciclo de Turnos de Sustentación
- Pregunta del Jurado: Un miembro del tribunal formula una pregunta crítica orientada a una debilidad específica.
- Réplica del Tesista: El estudiante argumenta su respuesta técnica y metodológica.
- Evaluación y Feedback: El jurado califica el desempeño en el turno (0–100) y proporciona sugerencias de mejora inmediata.
Streaming en Tiempo Real vía WebSockets
La conexión bidireccional /api/defense/ws/{session_id} permite interactuar en vivo:
// Enviar respuesta a un turno
{
"action": "submit_turn",
"turn_index": 0,
"student_answer": "El tamaño muestral se calculó considerando un poder estadístico del 80% y un alfa de 0.05 con corrección de Bonferroni."
}
4. Compuerta de 7 Modos de Fallo de IA (AIFailureGateAuditor)
Introducida en v0.6.0, esta compuerta audita el proyecto contra los siete modos de fallo críticos identificados en investigación científica asistida por IA automónoma.
Los 7 Modos Auditados
| # | Modo | Severidad por defecto | Descripción |
|---|---|---|---|
| 1 | Bug-as-Insight | MAJOR | Reinterpretación de anomalías o artefactos metodológicos como hallazgos teóricos. |
| 2 | Literature Fabrication | CRITICAL | Citas en el texto sin respaldo en la bibliografía validada del proyecto. |
| 3 | Sample Overgeneralization | MAJOR | Muestra < 30 en estudios causales cuantitativos con inferencias universales. |
| 4 | Epistemic Frame-Lock | MAJOR | Ausencia de delimitación explícita de limitaciones del estudio (< 50 caracteres). |
| 5 | Survivorship Bias | MINOR | Falta de criterios formales de inclusión y exclusión de participantes. |
| 6 | Proxy Fallacy | MAJOR | Variables declaradas sin matriz de operacionalización (dimensiones e indicadores). |
| 7 | Hedging Fog | MINOR | Densidad ≥ 4 expresiones evasivas/condicionales en el planteamiento del problema. |
Cálculo del Puntaje de Riesgo
Cada hallazgo suma penalización al puntaje de riesgo (0 = limpio, 100 = riesgo extremo):
- Fallo CRITICAL → +35 puntos (y activa el flag
has_critical, forzandopassed = False) - Fallo MAJOR → +20 puntos
- Fallo MINOR → +10 puntos
- Fallo NOTE → +4 puntos
El proyecto aprueba la compuerta si risk_score < 40.0 y no hay ningún fallo CRITICAL.
Uso vía API REST
# Ejecutar la compuerta de 7 modos de fallo sobre un proyecto
POST /api/jury/projects/{project_id}/ai-failure-gate
Respuesta de ejemplo:
{
"passed": false,
"risk_score": 55.0,
"evaluated_modes_count": 7,
"passed_modes": ["bug_as_insight", "survivorship_bias", "hedging_fog"],
"findings": [
{
"mode": "literature_fabrication",
"severity": "CRITICAL",
"chapter_or_field": "Citas y Referencias",
"summary": "Citas en el texto sin bibliografía validada en el proyecto.",
"mitigation_strategy": "Indexe las fuentes primarias en el módulo RAG y valide los DOIs."
}
]
}
Uso Programmático
from thesisforge.jury.ai_failure_gate import AIFailureGateAuditor
from thesisforge.models import ProjectStateDTO
project: ProjectStateDTO = ... # Proyecto cargado desde la BD
report = AIFailureGateAuditor.audit_project(project)
if not report.passed:
for finding in report.findings:
print(f"[{finding.severity}] {finding.mode}: {finding.summary}")
print(f" Mitigación: {finding.mitigation_strategy}")