Simular Navegacion - Historial de revisiones

Erikcrane en 16:05 7 ene 2013

2013-01-07T16:05:19Z

@@ Línea 27: / Línea 27: @@
 ## Las fechas de los cargos con tarjeta tengo que mirar cual poner, porque te dan dos
 <br/>
 <br/>
 Para empezar:
@@ Línea 72: / Línea 114: @@
 Opciones del wget para bajar una página funcional (con estilos e imágenes) -p -k<br/>
 En wget con -U "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0" simulamos agente de usuario de Firefox<br/>

Erikcrane en 15:42 7 ene 2013

2013-01-07T15:42:51Z

@@ Línea 9: / Línea 9: @@
 **Salvar datos en archivo
 **Donde se mostraran resultados
 <br/>
 <br/>
@@ Línea 62: / Línea 79: @@
 <br/>
 <br/>
-Procesamiento de los datos<br/>
+<b>PROCESAMIENTO DATOS</b><br/>
 <br/>
 Debido a que el obtener los datos está siendo un poco complicado he decidido ir haciendo el script que procese los datos.<br/>

Erikcrane en 15:26 7 ene 2013

2013-01-07T15:26:30Z

← Revisión anterior		Revisión del 15:26 7 ene 2013
Línea 90:		Línea 90:
	<br/>		<br/>
	<u>Construir graficas segun criterios</u><br/>		<u>Construir graficas segun criterios</u><br/>
	#		# Me gustaria poder tener graficas para comparar los meses, por ejemplo para el consumo del gas o electricidad, que los meses de verano/invierno varia con los demas meses, etc etc
			# Tendria que haber un sistema para poder escojer los criterios para crear los graficos, una especie de backend donde poder configurar los criterios
			# Seguramente hara falta graficos que esten siempre presentes al entrar, no tener que crearlos siempre

Erikcrane en 15:21 7 ene 2013

2013-01-07T15:21:43Z

← Revisión anterior		Revisión del 15:21 7 ene 2013
Línea 55:		Línea 55:
	Opciones del wget para bajar una página funcional (con estilos e imágenes) -p -k<br/>		Opciones del wget para bajar una página funcional (con estilos e imágenes) -p -k<br/>
	En wget con -U "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0" simulamos agente de usuario de Firefox<br/>		En wget con -U "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0" simulamos agente de usuario de Firefox<br/>
			<br/>
			<br/>
			<br/>
			----
			<br/>
			<br/>
			<br/>
			Procesamiento de los datos<br/>
			<br/>
			Debido a que el obtener los datos está siendo un poco complicado he decidido ir haciendo el script que procese los datos.<br/>
			Los pasos que seguira el script seran:<br/>
			# Almacenar operaciones
			## Nombre operacion
			## Importe
			## Fecha
			# Hacer categorias segun nombre operacion
			# Construir graficas segun criterios
			<br/>
			<br/>
			<u>Almacenar operacion</u><br/>
			# Base de datos MySQL
			## Punto a favor, profundizar en la utilizacion de MySQL, que esto me interesa bastante
			## A la larga creo que el rendimiento seria mayor que con ficheros
			## Comandos de busqueda ya implementados
			# Ficheros divididos por meses
			## Más sencillo para un principio
			## Para procesar los datos tendria que hacer funciones
			<br/>
			<br/>
			<u>Hacer categorias segun nombre operacion</u><br/>
			# Me gustaria poder agrupar todos los gastos de movil en una categoria, todas las compras superfluas en otras, todos los parkings en otras, ...
			# Tendria que tener un sistema para poder ir añadiendo palabras claves para que el script las categorizara, sin tener que ir a tocar el codigo fuente
			<br/>
			<br/>
			<u>Construir graficas segun criterios</u><br/>
			#

Erikcrane en 16:04 2 ene 2013

2013-01-02T16:04:28Z

← Revisión anterior		Revisión del 16:04 2 ene 2013
Línea 1:		Línea 1:
	Etapas:<br/>		Etapas:<br/>
	-Login Web~~<br/>~~		*Login Web
	-Procesamiento datos~~<br/>~~		*Procesamiento datos
	-Almacen datos~~<br/>~~		*Almacen datos
	-Mostrar datos~~<br/>~~		*Mostrar datos
	-Interfaz para gestionar aplicacion~~<br/>~~		*Interfaz para gestionar aplicacion
	-Colocar datos login~~<br/>~~		**Colocar datos login
	-Elegir datos a extraer~~<br/>~~		**Elegir datos a extraer
	-Salvar datos en archivo~~<br/>~~		**Salvar datos en archivo
	-Donde se mostraran resultados~~<br/>~~		**Donde se mostraran resultados
	<br/>		<br/>
	<br/>		<br/>

Erikcrane en 16:02 2 ene 2013

2013-01-02T16:02:17Z

← Revisión anterior		Revisión del 16:02 2 ene 2013
Línea 1:		Línea 1:
	Etapas:<br/>		Etapas:<br/>
	-Login Web<br/>		-Login Web<br/>
	-Procesamiento datos</br>		-Procesamiento datos<br/>
	-Almacen datos</br>		-Almacen datos<br/>
	-Mostrar datos<br/>		-Mostrar datos<br/>
	-Interfaz para gestionar aplicacion<br/>		-Interfaz para gestionar aplicacion<br/>
	-Colocar datos login<br/>		-Colocar datos login<br/>
	-Elegir datos a extraer<br/>		-Elegir datos a extraer<br/>
	-Salvar datos en archivo<br/>		-Salvar datos en archivo<br/>
	-Donde se mostraran resultados<br/>		-Donde se mostraran resultados<br/>
	<br/>		<br/>
	<br/>		<br/>

Erikcrane en 16:00 2 ene 2013

2013-01-02T16:00:55Z

← Revisión anterior		Revisión del 16:00 2 ene 2013
Línea 1:		Línea 1:
			Etapas:<br/>
			-Login Web<br/>
			-Procesamiento datos</br>
			-Almacen datos</br>
			-Mostrar datos<br/>
			-Interfaz para gestionar aplicacion<br/>
			-Colocar datos login<br/>
			-Elegir datos a extraer<br/>
			-Salvar datos en archivo<br/>
			-Donde se mostraran resultados<br/>
			<br/>
			<br/>
	Para empezar:		Para empezar:

Erikcrane en 08:17 2 ene 2013

2013-01-02T08:17:47Z

← Revisión anterior		Revisión del 08:17 2 ene 2013
Línea 29:		Línea 29:
	-En el script también hay las funciones que codifican el pin<br/>		-En el script también hay las funciones que codifican el pin<br/>
	-Una vez codificado el pin hay un formulario con inputs ocultos que una función Javascript se encarga de enviar mediante el método document.forms.xxx.submit()<br/>		-Una vez codificado el pin hay un formulario con inputs ocultos que una función Javascript se encarga de enviar mediante el método document.forms.xxx.submit()<br/>
			<br/>
			<br/>
			<br/>
			El método que he encontrado ha sido utilizando PhantomJS (una aplicación que ejecuta el motor de Webkit con Javascript).<br/>
			-Con este programa para acceder a los elementos de la página lo hago a través del DOM.<br/>
			-Este programa me permite hacer peticiones a la página web, hacer callbacks para esperar la respuesta, y luego continuar ejecuntando el código<br/>
			-Me he encontrado que para poder navegar por esta web que esta llena de frames, con phantomjs solamente es bastante tedioso. He encontrado CasperJS, que es una API que trabaja conjuntamente con PhantomJS y soluciona el tema de navegar por la web, hacer clicks, etc etc<br/>
	<br/>		<br/>
	Procedimiento para loguearse:<br/>		Procedimiento para loguearse:<br/>

Erikcrane en 07:55 28 dic 2012

2012-12-28T07:55:18Z

← Revisión anterior		Revisión del 07:55 28 dic 2012
Línea 22:		Línea 22:
	- Se podria enviar la página principal con los campos de usuario y contraseña rellenados?<br/>		- Se podria enviar la página principal con los campos de usuario y contraseña rellenados?<br/>
	<br/>		<br/>
			Funcionamiento página:<br/>
			-Se carga portal.lacaixa.es<br/>
			-El formulario tiene una funcion Javascript (CargaYTrata()) en el onsubmit<br/>
			-Esta funcion coloca la dirección lolopo/nocache/lolopo_es.html?loce=es-particulars-home-particulares-06-i01-3-E en el frame oculto FOculto<br/>
			-En este frame oculto se carga un script desde una página de la caixa en el que nos da el valor de wblSession (esta variable indica la dirección http de nuestra linea oberta pero codificada)<br/>
			-En el script también hay las funciones que codifican el pin<br/>
			-Una vez codificado el pin hay un formulario con inputs ocultos que una función Javascript se encarga de enviar mediante el método document.forms.xxx.submit()<br/>
			<br/>
			Procedimiento para loguearse:<br/>
	<br/>		<br/>
	Recursos:<br/>		Recursos:<br/>

Erikcrane en 19:12 26 dic 2012

2012-12-26T19:12:25Z

← Revisión anterior		Revisión del 19:12 26 dic 2012
Línea 18:		Línea 18:
	<br/>		<br/>
	Tendré que mirar:<br/>		Tendré que mirar:<br/>
	- Donde se guardan las cookies de sesión en el ordenador cliente<br/>		- Donde se guardan las cookies de sesión en el ordenador cliente?<br/>
	- Como se puede crear una cookie manualmente, sin php, ni javascript, ...<br/>		- Como se puede crear una cookie manualmente, sin php, ni javascript, ...<br/>
	- Se podria enviar la página principal con los campos de usuario y contraseña rellenados?<br/>		- Se podria enviar la página principal con los campos de usuario y contraseña rellenados?<br/>
			<br/>
			<br/>
			Recursos:<br/>
			Lugar donde se guardan las cookies en Firefox: c:/Usuario/Nombre usuario/AppData/Roaming/Mozilla/Firefox/Profiles/<nombre raro>/cookies.sqlite<br/>
			Opciones del wget para bajar una página funcional (con estilos e imágenes) -p -k<br/>
			En wget con -U "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0" simulamos agente de usuario de Firefox<br/>