Add resumable historical backfill checkpoints
This commit is contained in:
@@ -67,6 +67,8 @@ Variables opcionales:
|
||||
- `HLL_HISTORICAL_CRCON_PAGE_SIZE`
|
||||
- `HLL_HISTORICAL_CRCON_TIMEOUT_SECONDS`
|
||||
- `HLL_HISTORICAL_CRCON_DETAIL_WORKERS`
|
||||
- `HLL_HISTORICAL_CRCON_REQUEST_RETRIES`
|
||||
- `HLL_HISTORICAL_CRCON_RETRY_DELAY_SECONDS`
|
||||
- `HLL_HISTORICAL_REFRESH_INTERVAL_SECONDS`
|
||||
- `HLL_HISTORICAL_REFRESH_MAX_RETRIES`
|
||||
- `HLL_HISTORICAL_REFRESH_RETRY_DELAY_SECONDS`
|
||||
@@ -485,7 +487,7 @@ Flags utiles:
|
||||
- `--server comunidad-hispana-01` para limitar a un servidor
|
||||
- `--max-pages 2` para validacion local acotada
|
||||
- `--page-size 25` para ajustar paginacion
|
||||
- `--start-page 4` para reanudar desde una pagina concreta en bootstraps largos
|
||||
- `--start-page 4` para forzar una pagina concreta en bootstraps largos
|
||||
- `--detail-workers 16` para paralelizar el detalle por partida
|
||||
|
||||
La ejecucion `bootstrap` recorre paginas historicas hasta agotar resultados.
|
||||
@@ -496,6 +498,15 @@ tardios sin reimportar todo el historico.
|
||||
El comando devuelve ademas un resumen de cobertura persistida por servidor. Esto
|
||||
ayuda a validar rapidamente cuantos matches reales quedaron importados, el rango
|
||||
temporal cubierto y si la carga ya supera la ultima semana movil que usa la UI.
|
||||
Ese resumen incluye tambien checkpoint y estado operativo de backfill por
|
||||
servidor:
|
||||
|
||||
- `next_page`
|
||||
- `last_completed_page`
|
||||
- `discovered_total_matches`
|
||||
- `discovered_total_pages`
|
||||
- `archive_exhausted`
|
||||
- `last_run`
|
||||
|
||||
Como la fuente CRCON publica expone un archivo muy profundo y puede devolver
|
||||
errores `502` intermitentes bajo carga sostenida, el bootstrap completo debe
|
||||
@@ -503,12 +514,19 @@ tratarse como una operacion reanudable. Flujo recomendado:
|
||||
|
||||
```powershell
|
||||
python -m app.historical_ingestion bootstrap --detail-workers 16
|
||||
python -m app.historical_ingestion bootstrap --start-page 4 --detail-workers 16
|
||||
python -m app.historical_ingestion bootstrap --detail-workers 16
|
||||
```
|
||||
|
||||
La segunda invocacion permite continuar desde la siguiente pagina pendiente si
|
||||
La segunda invocacion reutiliza automaticamente el checkpoint persistido en
|
||||
`historical_backfill_progress` y continua desde la siguiente pagina pendiente si
|
||||
la sesion anterior se corta por tiempo disponible o por inestabilidad puntual
|
||||
del origen.
|
||||
del origen. `--start-page` queda como override manual cuando se quiera
|
||||
reprocesar o inspeccionar un tramo concreto.
|
||||
|
||||
Los reintentos de cada request JSON pueden ajustarse sin tocar codigo con:
|
||||
|
||||
- `HLL_HISTORICAL_CRCON_REQUEST_RETRIES`
|
||||
- `HLL_HISTORICAL_CRCON_RETRY_DELAY_SECONDS`
|
||||
|
||||
El runner `python -m app.historical_runner` deja ese refresh incremental listo
|
||||
para ejecucion local repetida sin depender de infraestructura externa. Por
|
||||
|
||||
Reference in New Issue
Block a user