Jump to content

Filtrare mole di dati


apix_1024

Recommended Posts

ciao raga mi trovo adover lavorare su moli di dati impensabili fino ad ora (ho fatto una prova di tre giorni con acquisizione ogni secondo per temperatura ed ogni mezo secondo con pinze amerometriche).

capite bene che sono venuti fuori troppi dati... ora a me servirebbe filtrare sta mole immensa di dati diciamo 1 dato ogni minuto sarebbe già ragionevole ma come cribbio fare??

ho già diviso i file di acquisizione in file.txt più ragionevoli (43200 acquisizioni a file) per intenderci così da poterli importare con openoffice/excel. il bello viene ora... come dico ai suddetti che mi devono tenere una riga ogni 60 e le altre segarle???

grazie a tutti per l'aiuto ;)

Link to comment
Share on other sites



direi che sta cosa va fatta con un minimo di programmazione non certo con office o excel

 

conosci un minimo di java o a limite anche con un file batch?ps: ma i grafici con cosa li fai? vuoi farli in excel? non è il caso di farli in matlab?

considera che anche i nostri test per la tesi sono un 200 o 300k di txt :)

 

perchè sotocampionare questi dati non so se sia molto corretto... mi spiego meglio i dati che hai preso variano molto velocemente nel tempo oppure no? nel senso da un secondo all'altro o da un mezzo secondo all'altro c'è grossa variazione oppure rimane solitamente costante per ..tipo che ne so un quarto d'ora

Link to comment
Share on other sites

allora ti spiego la prova:

 

cella termica con dentro 5 bobine di cui 2 termocoppiate + una termocoppia in cella.

 

1 volta al secondo acquisizione temperatura termocoppie

2 volte al secondo acquisizione con pinze ameprometriche alimentazione bobine

 

la temp è costante per 24h ai valori 180/200/220 e l'alimentazione è si variabile (freq 5hz, dc 3%) ma mi interessa solo quando e se le bobine si rompono quindi il sottocampionamento è necessario visto che questa mole di dati è per noi inutile... già 1 campionamento al minuto è tanto... parti dal presupposto che non so minimamente cosa si dovrebbe vedere sull'oscilloscopio alla rottura della bobina. cmq come credi dovrei agire? ho fatto c++ alla triennale ed anche un pò di matlab... ma si va indietro e la memoria è tutto fuorchè fresca... illuminami:):)

Link to comment
Share on other sites

se sei in grado con visual studio potresti fare un programmino per leggere da file una riga ogni 60 e scriverle in un altro file

dai un occhio qui:

C++ leggere e scrivere su file con gli stream | CodeSnippet

 

puoi fare un getline e scrivi quello che hai letto

e poi fai un ciclo for da 1 a 59 in cui fai getline a vuoto

 

il tutto finchè non finisce il file

vedi se di riesci semmai ti scrivo qualcosa io appena ho tempo :)

 

ps: altrimenti fai tutto in matlab

il codice preciso magari lo sa meglio maurizio che il test per i nostri dati l'ha scritto lui.. almeno lì puoi farci anche grafici in modo più intuitivo

Link to comment
Share on other sites

per quando ti serve?

I dati li ho scaricati ieri mattina. Oggi li ho sistemati ma come in tutte le aziende meno tempo ci si mette meglio è!.. Tieni conto che la mia influenza mi ha anche ritardato la seconda prova in cella termica... Domani dovrò vedere la disponibilità ancora x un'altra sett almeno!

Link to comment
Share on other sites

  • 1 year later...

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...