Preprocessing e metodi numerici riproducibili

di Giux GX-TXT, python-it, scripts-it 2 min di lettura

Corso Python scientifico in GX-TXT · Modulo 10 · Lezione 57

Prima del fit prepariamo una vista dei dati necessaria all’analisi e controlliamo che i valori e le incertezze siano utilizzabili. Manteniamo la sorgente sintetica separata dall’output derivato.

Obiettivi

  • Proiettare variabili in un nuovo Dataset.
  • Controllare finitezza e positività delle incertezze.
  • Interpolare alcuni punti senza chiamarli misure.
  • Documentare le scelte senza eliminare righe per migliorare il fit.

Esecuzione

Dopo la lezione 56, importa preprocessing.py nella Sessione corso_python, salvalo ed eseguilo. La trasformazione crea corso_finale_a_selezionato: se l’ID esiste, scegli un ID libero e aggiornalo anche nelle letture successive.

Script di preparazione nell'editor GX-TXT.
Script di preparazione nell'editor GX-TXT.
import numpy as np
from gxtxt import gxtxt_api_call, gxtxt_api_require

for api in ("DATASET_TRANSFORM_API_v1@1", "CANONICAL_DATASET_API_v2@2", "NUMERIC_API_v1@1"):
    gxtxt_api_require(api)
sorgente = "corso_finale_a"
uscita = "corso_finale_a_selezionato"
manifest = {"api_version": 1, "operation": "project_variables",
    "sources": [{"dataset_id": sorgente, "variable_ids": ["tempo", "segnale", "sigma"]}],
    "output": {"dataset_id": uscita, "contract": "auto", "storage": "auto"},
    "options": {}, "schema_policy": {}, "metadata_policy": "inherit_single_source"}
risultato = gxtxt_api_call("DATASET_TRANSFORM_API_v1", "execute", [manifest])
r = gxtxt_api_call("CANONICAL_DATASET_API_v2", "read_range", [uscita, ["tempo", "segnale", "sigma"], 0, 21])
t = np.asarray(r["tempo"]["values"]).reshape(-1)
y = np.asarray(r["segnale"]["values"]).reshape(-1)
sigma = np.asarray(r["sigma"]["values"]).reshape(-1)
validi = np.isfinite(t) & np.isfinite(y) & np.isfinite(sigma) & (sigma > 0)
query = np.array([0.125, 1.125, 2.125])
stime = gxtxt_api_call("NUMERIC_API_v1", "interpolate", [t, y, query, {"method": "linear", "extrapolation": "error"}])
print("Sorgente:", sorgente, "output:", risultato["dataset_id"])
print("Righe valide:", int(validi.sum()), "su", len(t))
print("Tempi interpolati (s):", query)
print("Stime, non misure (mV):", np.asarray(stime["yq"]).reshape(-1))
print("Nessuna riga esclusa dal fit")

project_variables pubblica una copia derivata con tempo, segnale e sigma, lasciando distinta la sorgente con la curva ideale. La maschera controlla che tempo, segnale e incertezza siano finiti e che sigma sia positiva. Nel risultato mostrato tutte le 21 righe soddisfano il controllo; la maschera non elimina righe.

Output della proiezione, controlli e stime interpolate.
Output della proiezione, controlli e stime interpolate.

La chiamata interpolate calcola tre stime lineari fra i tempi originali. Sono valori derivati, non osservazioni nuove; non vengono aggiunti ai punti del fit della prossima lezione. L’opzione extrapolation: error rifiuta richieste fuori dal dominio. Se un controllo fallisse, occorrerebbe documentare e motivare la gestione della riga, non rimuoverla solo perché peggiora il risultato.

Esercizio

  1. Quale Dataset rimane la sorgente originale?
  2. Le stime interpolate sono nuove misure?
  3. Perché controllare che sigma sia positiva?

Soluzione ragionata

  1. corso_finale_a; l’output ha un’identità distinta.
  2. No, sono stime secondo il metodo lineare.
  3. Un’incertezza standard usata per pesi inversi deve essere positiva e finita.

Scarica gli script del Modulo 10 (ZIP)

#GX-TXT #Python #Riproducibilità

Altre tappe del progetto

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *