Feda /dev/ - No Javascript allowed

Normas
spoiler
Personas non gratas
Memes feda dev




Lecherito

#6660 https://www.mediavida.com/foro/dev/expresiones-regulares-ahora-modo-facil-468635 como pasa el tiempo :(

Yo estoy automatizando el import de mis transacciones bancarias al servicio de gastos y grafana

2 1 respuesta
wdaoajw

#6660 ojo con los cálculos, que si paralelizas tareas y comparten recursos igual hubieran tardado menos de forma sincrona

1 respuesta
hda

#6661 ya ves, ya ves. Nunca había tenido que recurrir a ellas, pero para la fase de obtención de datos en ciencia de datos veo que es jodidamente imprescindible RegEx.

#6662 lo tendré en cuenta, pero descuida, sé lo que me hago. Son unos 120 scripts independientes.

#6661Lecherito:

estoy automatizando el import de mis transacciones bancarias al servicio de gastos y grafana

Desarrolla. ¿Qué es grafana?

3 respuestas
wdaoajw

#6663 me refiero a recursos del sistema, tipo CPU, RAM...

Cuando empecé a usar Jenkins metí mas executors por aquello de paralelizas y llego a un punto que todas las CPUs de todos los nodos vse saturan y un job que tardaba 3 mins pasaba a tardar 20mins

1 respuesta
HeXaN
#6663hda:

grafana

Grafana es un software libre basado en licencia de Apache 2.0, ​ que permite la visualización y el formato de datos métricos. Permite crear cuadros de mando y gráficos a partir de múltiples fuentes, incluidas bases de datos de series de tiempo como Graphite, InfluxDB y OpenTSDB.

1 respuesta
hda

#6664 ya veo. Esto son peticiones web, miles de peticiones web. He trabajado con parallel (-1), que ha crado los hilos pertinentes. Para la próxima podría intentar parallel (-2) que deja un núcleo libre; y así comparar tiempos.

#6665 :clint:

1 respuesta
HeXaN

#6666 ¿En cuántos núcleos estás ejecutando? ¿En en el portátil cochinero ese que te dieron?

1 respuesta
Lecherito

#6663 Basicamente en el NAS monte un PostgreSQL para unificar las transacciones bancarias (tengo varios), a partir de ahi, tengo Grafana para mostrar mis ahorros totales, gastos totales, ahorros por mes, y sueldo (ingresos por mes).

Luego tengo otro dashboard en Grafana con cuanto (mas o menos), podria gastarme en mi casa, y de ahi tengo un modelo para cuando podria pagarla (sin hipotecas ni nada). Etc etc...

La verdad es que la informacion es bastante curiosa, asi puedo ver cuanto gasto en un sitio (llevo 3 a;os yendo a la misma pizzeria todas las semanas y como se acumulan los euros... lmao).

4 3 respuestas
wdaoajw

#6668 como obtienes tus datos? Los metes a mano o el banco te proporciona algún endpoint?

1 2 respuestas
hda

#6667 sep :man_shrugging:

Mejor que tener mi pc personal ocupado sin poder hacer nada... menos mal.

La movida, Hex, es que ahora me toca la estandarización de los datos y, uffff, pereza máxima. Por suerte, es mi compañera de trabajo la que se va a comer el marron de analizar cada una de las salidas y de indicarme qué cambiar en cada una de ellas. Trabajo de chinos++

Una vez limpios, estandarizados e integrados por fin llegará la parte divertida, la del análisis.


#6668 tío, tío. Deja de ponerme los dientes largos, que ya sabes lo que me gustan esas cosas xDDD
¿cómo obtienes los datos de tus cuentas? ¿Api en tus bancos?

#6669 nos estamos preguntando lo mismo xDDD

4 respuestas
HeXaN
#6668Lecherito:

y como se acumulan los euros

Y los kilos jajaja.

Lecherito

#6669 #6670 eso es lo peor, el openbanking es bastante... complicado y tiene muchas regulaciones asi que eso por muy triste que sea lo hago a mano una vez al mes (es bajarme 3 CSVs y los subo a mi servicio).

hda, por eso te lo he dicho huehuehue

1 1 respuesta
hda

#6672 yo veo claro un beautifulsoup a openbank y parsear los registros xD

1 respuesta
Ranthas

#6670 En la caixa te dejan bajarte un excel bastante guarroso con los movimientos del mes seleccionado

1 respuesta
hda

#6674 el rollo es automatizarlo :S

PD: para celebrar que acabo de terminar la fase de obtención de datos me he pillado el PC Building Simulator directo desde la estepa rusa

HeXaN
#6670hda:

Una vez limpios, estandarizados e integrados por fin llegará la parte divertida, la del análisis.

Para los datos échale un ojo a esto y esto. Te va a ahorrar mucho trabajo.

1 1 respuesta
hda

#6676 qué curioso, justo la semana pasada trasteando por yt estuve viendo este vídeo sobre glue. Quizás lo pruebe para el análisis. Pero con todo lo que tengo por limpiar y estandarizar por delante aún queda un ratete.

1 respuesta
HeXaN

#6677 Ese vídeo fue el que puse en el hilo de Python jaja.

1 respuesta
Lecherito

#6673 No no, no es lo mismo openbank que openbanking: https://openbanking.atlassian.net/wiki/spaces/DZ/overview

Esto lo estuve investigando para sacar datos de Revolut (que es el middleman que uso para la mayoria de mis transacciones) y que la mayoria de bancos implementan pero es que es un cristo bastante curioso. No solo eso si no que cuando estaba intentando crear mi aplicacion en su sistema, lo unico que obtenia eran 500s sin ninguna explicacion asi que desisti un poco.

De hecho es tan sumamente asqueroso que hay sitios especificos que cobran por hacertelo mas facil. Pero vamos, esto fue hace mucho y no lo recuerdo del todo bien. La verdad es que estaria interesante hacer un hilo sobre estas cosas para poder automatizarlo al 100%

1 respuesta
hda

#6678 https://www.mediavida.com/foro/dev/python-hilo-general-551473/30#895 xDDDDDDDDDDDDDDDD

Pues entonces lo conocí gracias a ti xDDDDD

related: https://www.mediavida.com/foro/off-topic/diario-memoria-patologica-647233

#6679Lecherito:

La verdad es que estaria interesante hacer un hilo sobre estas cosas para poder automatizarlo al 100%

Si montases un hilo how-to para ponernos rápido a tu par quizás avanzásemos más :D

1 1 respuesta
Lecherito

#6680 De hecho voy a empezar por un hilo de ideas de automatizacion, algo mas global antes de hacer algo especifico para los bancos.

5 1 respuesta
hda

#6681 ¿arduino/raspberry incluido?

1 respuesta
Lecherito

#6682 absolutamente todo, este sera de ideas y feedback de las ideas, luego se pueden crear hilos aparte con cosas especificas y los how-to.

2 1 respuesta
hda

#6683 nos venimos arriba y acabamos montando una imagen para arduino:

 Automatized-MV2021.R1
1 respuesta
Lecherito

#6684 https://www.mediavida.com/foro/dev/automatizacion-sin-robots-655560

Ale, ya puedes poner tus ideas y comentar, aunque todavia tengo que describir un poco lo que hago y si hay interes pues ya se crean hilos aparte

1
hda
#6675hda:

PD: para celebrar que acabo de terminar la fase de obtención de datos me he pillado el PC Building Simulator directo desde la estepa rus

He quemado el CPU xD

No pude meter OC a 26.4GHz

eXtreM3
#6670hda:

Mejor que tener mi pc personal ocupado sin poder hacer nada... menos mal.

lol pensaba que todo este trabajo lo estabas haciendo en th3p3p1, buena suerte entonces xd

1 respuesta
hda

#6687 el desarrollo lo hago en th3p3p1 (supongo que ahora en 2020 debería empezar a llamarlo th3p1p1), pero el despliegue en un portátil (related). Justamente, el despliegue en otro PC porque la ejecución dura días y consume todo xD

Daredevil

Me ha parecido interesante esta reflexión al hilo de algún comentario que he leído en este foro sobre los DevOps...

https://stackoverflow.blog/2020/06/10/the-rise-of-the-devops-mindset/

VonRundstedt

Ea, pues ya he acabado mi primer Bootcamp de Udemy.

Tengo 2 "Full-Stack bootcamps" más comprados y otro específico de Javascript. No sé si pasar directamente al de Javascript o reforzar mi conocimiento base con otro Full-Stack :psyduck:

1 respuesta