Rule(LinkExtractor(allow=r'page/'),callback = 'parse', follow=True ),

import scrapy

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class WitsiSpider(CrawlSpider):
    name = 'witsi'
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/page/1/']
    base_url = 'http://quotes.toscrape.com/page/1/'
     
    rules = (
        Rule(LinkExtractor(allow=r'.com/page/'),callback = 'parse', follow=True ),
    )
        
    def parse(self, response):
        citas = response.xpath('//*[@class="quote"]')
        for cita in citas:
            texto = cita.xpath('.//span[@class="text"]/text()').extract_first()
            autor = cita.xpath('.//*[@class="author"]/text()').extract_first()
            palabras_claves = cita.xpath('.//*[@itemprop="keywords"]/@content').extract_first()
        	
            yield{ 'Texto' : texto,
                   'Autor' : autor,
        	   'Palabras Claves' : palabras_claves }

import scrapy

class WitsiSpider(scrapy.Spider):
    name = 'witsi'
    allowed_domains = ['www.quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com']

    def parse(self, response):
        citas = response.xpath('//*[@class="quote"]')
        for cita in citas:
        	texto = cita.xpath('.//*[@class="text"]/text()').extract_first()
        	autor = cita.xpath('.//*[@class="author"]/text()').extract_first()
        	palabras_claves = cita.xpath('.//*[@itemprop="keywords"]/@content').extract_first()
        	
        	yield{ 'Texto' : texto,
        		   'Autor' : autor,
        		   'Palabras Claves' : palabras_claves }
        	
        url_a_continuar = response.xpath('//ul[@class="pager"]/li[@class="next"]/a/@href').extract()
        url_siguiente = response.urljoin(url_a_continuar)
        yield scrapy.Request(url_siguiente, callback = self.parse)

import scrapy

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class WitsiSpider(CrawlSpider):
    name = 'witsi'
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com']

    rules = (
        Rule(LinkExtractor(allow=r'page/'),callback = 'parse', follow=True ),
    )
        
    def parse(self, response):
        citas = response.xpath('//*[@class="quote"]')
        for cita in citas:
            texto = cita.xpath('.//*[@class="text"]/text()').extract_first()
            autor = cita.xpath('.//*[@class="author"]/text()').extract_first()
            palabras_claves = cita.xpath('.//*[@itemprop="keywords"]/@content').extract_first()
        	
            yield{ 'Texto' : texto,
                   'Autor' : autor,
        	   'Palabras Claves' : palabras_claves }
        	
        
            yield

{"Texto": "\u201cA woman is like a tea bag; you never know how strong it is until it's in hot water.\u201d", "Autor": "Eleanor Roosevelt", "Palabras Claves": "misattributed-eleanor-roosevelt"},
{"Texto": "\u201cA day without sunshine is like, you know, night.\u201d", "Autor": "Steve Martin", "Palabras Claves": "humor,obvious,simile"},
{"Texto": "\u201cLife is what happens to us while we are making other plans.\u201d", "Autor": "Allen Saunders", "Palabras Claves": "fate,life,misattributed-john-lennon,planning,plans"},
{"Texto": "\u201cLife is what happens to us while we are making other plans.\u201d", "Autor": "Allen Saunders", "Palabras Claves": "fate,life,misattributed-john-lennon,planning,plans"},
{"Texto": "\u201cLife is what happens to us while we are making other plans.\u201d", "Autor": "Allen Saunders", "Palabras Claves": "fate,life,misattributed-john-lennon,planning,plans"},
{"Texto": "\u201c... a mind needs books as a sword needs a whetstone, if it is to keep its edge.\u201d", "Autor": "George R.R. Martin", "Palabras Claves": "books,mind"},
{"Texto": "\u201cYou have to write the book that wants to be written. And if the book will be too difficult for grown-ups, then you write it for children.\u201d", "Autor": "Madeleine L'Engle", "Palabras Claves": "books,children,difficult,grown-ups,write,writers,writing"},
{"Texto": "\u201cYou have to write the book that wants to be written. And if the book will be too difficult for grown-ups, then you write it for children.\u201d", "Autor": "Madeleine L'Engle", "Palabras Claves": "books,children,difficult,grown-ups,write,writers,writing"},
{"Texto": "\u201cYou have to write the book that wants to be written. And if the book will be too difficult for grown-ups, then you write it for children.\u201d", "Autor": "Madeleine L'Engle", "Palabras Claves": "books,children,difficult,grown-ups,write,writers,writing"},
{"Texto": "\u201cYou have to write the book that wants to be written. And i

catch (SQLException ex) 
{
}
catch( NullPointerException e)
{
} 
catch (IOException e) {
}

while( valores.next() )
{
       arreglo.addElement(valores.getString( "IDReferencia" ))
       areglo.addElement(valores.getString( "IDPaciente" ));
      areglo.addElement( valores.getString( "IDUMedicaEnvia" ));
													 
}

int x = 1;//no recuedo si las columnas de una tabla empiezan por 0 o desde el 1 jajajaja
while(rs.next())
{
 datos[x-1]=rs.getString(x); 
//x-1 por q los arreglos empiezan desde el 0 a contar y el otro lado solo queda como x ya q tiene el 1 y es el primer campo de la tabla y a si tambien para que no se salga del tamaño del arrglo en caso de que si empiece por el 1 las columnas de una tabla entonces solo ponemos datos[x]

x++;
}

 String[]datos=new String[columnas];

 for(int x=0;x<datos.length;x++){
                        datos

    =rs.getString(x+1);


                    }

public Consultas( String servidor, String puerto, String nombre_base_datos, String usuario, String clave )
	{
		conexion = new Conexion( servidor , puerto , nombre_base_datos , usuario , clave );
		
		try 
		{
			conexion.crearConexionSQL();
		} catch (ClassNotFoundException e) 
		{
			JOptionPane.showMessageDialog( null, "EN Consultas Consultas ClassNotFoundException \n\n " + e.getMessage(), "ERROR DE SISTEMA 19", JOptionPane.ERROR_MESSAGE );
			System.exit( 0 );
		}
	}

public ConsultasMySQL( String servidor, String puerto, String nombre_base_datos, String usuario, String clave )
	{
		conexion = new ConexionMySQL( servidor , puerto , nombre_base_datos , usuario , clave );
		
		try 
		{
			conexion.crearConexionMySQL();
		} catch (ClassNotFoundException e) 
		{
			JOptionPane.showMessageDialog( null, "EN ConsultasMySQL ConsultasMySQL ClassNotFoundException \n\n " + e.getMessage(), "ERROR DE SISTEMA 19", JOptionPane.ERROR_MESSAGE );
			System.exit( 0 );
		}
	}

propiedad.getPropiedad().setProperty( "ultimoRegistro", String.valueOf( consulta.obtenerTotalRegistros( 1 ) ) );
								consulta.exportarMySQL( consulta.ObtenerReferencia() , 1 );
								mySystemTray.MensajeTrayIcon( "COMENZANDO CON LA B\u00DASQUEDA DE PACIENTES" , MessageType.INFO );
								//El segundo parametro puede ser cualquier cadena, ya que va entrar en la opcion 1 y no necesita el segundo parametro
								//al menos que se entre a la opcion 2 alli si ocuparia el segundo parametro valido.
								consulta.insertarPaciente( consulta.obtenerPaciente( 1 , "" ) );
								mySystemTray.MensajeTrayIcon( "COMENZANDO CON LA B\u00DASQUEDA DE SOMATOMETRIA" , MessageType.INFO );
								consulta.insertarSomatometria( consulta.obtenerSomatometria() );
								mySystemTray.MensajeTrayIcon( "COMENZANDO CON LA B\u00DASQUEDA DE CONTRAREFERENCIA" , MessageType.INFO );
								consulta.exportarMySQL( consulta.ObtenerContrareferencia(), 2 );
								propiedad.getPropiedad().setProperty( "ultimaContrareferencia", String.valueOf( consulta.obtenerTotalRegistros( 2 ) ) );
								mySystemTray.MensajeTrayIcon( "COMENZANDO CON LA B\u00DASQUEDA DETALLES DIAGN\u00D3STICOS DE EGRESO" , MessageType.INFO );
								consulta.exportarMySQL( consulta.ObtenerDetContraReferenciaDiag(), 3 );
								propiedad.getPropiedad().setProperty( "ultimoDetalleDiagnostico", String.valueOf( consulta.obtenerTotalRegistros( 3 ) ) );
								propiedad.getPropiedad().setProperty( "checksum" , String.valueOf( consulta.seActualizoSomatometria() ) ); 
								mySystemTray.MensajeTrayIcon( "FINALIZADO CORRECTAMENTE" , MessageType.INFO );
								
consulta.com();//Hace el  commit
								//consulta.getConexion().cerrarConexion();
								
								//System.out.println(consulta.getConexion().getConsultaExitosa());
								if(consulta.getConexion().getConsultaExitosa() )
								{
									System.out.println("siii");
									propiedad.salvarConfiguracion();
								}

public void crearConexionSQL() throws ClassNotFoundException
	{
		try 
		{
			Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver");
			conexion = DriverManager.getConnection("jdbc:sqlserver://" + servidor + ":" + puerto + ";databaseName=" +  nombre_base_datos + ";user=" + usuario + ";password=" + clave + "");

conexion.setAutoCommit(false);//Se desactiva el auto commit
		} 
		catch (SQLException ex) 
		{
			JOptionPane.showMessageDialog( null, "EN CONEXION crearConexionSQL SQLException \n\n" + ex.getMessage(), "ERROR DE SISTEMA 40", JOptionPane.ERROR_MESSAGE );
		}
	}
	
	public void crearConexionMySQL() throws ClassNotFoundException
	{
		try 
		{
			Class.forName("com.mysql.jdbc.Driver");
			conexion = DriverManager.getConnection("jdbc:mysql://127.0.0.1:3306/referencia_contrareferencia", "root" , "" );
			
			conexion.setAutoCommit(false);//Se desactiva el auto commit
		} 
		catch (SQLException ex) 
		{
			JOptionPane.showMessageDialog( null, "EN CONEXION crearConexionMySQL SQLException \n\n" + ex.getMessage(), "ERROR DE SISTEMA 56", JOptionPane.ERROR_MESSAGE );
		}
		catch (ClassNotFoundException e) 
		{
			JOptionPane.showMessageDialog( null, "EN CONEXION crearConexionMySQL ClassNotFoundException \n\n" + e.getMessage(), "ERROR DE SISTEMA 60", JOptionPane.ERROR_MESSAGE );
		}
	}

public void aceptarSentencias()
	{
		try 
		{
			conexion.commit();
			consultaExitosa( true );
		}
		catch (SQLException e) 
		{
			desHacerSentencia();
			JOptionPane.showMessageDialog(null, "EN CONEXION aceptarSetencias SQLException \n\n" + e.getMessage(), "ERRORDE SISTEMA 128", JOptionPane.ERROR_MESSAGE );
		}
	}
	
	public void desHacerSentencia()
	{
		try 
		{
			conexion.rollback();
			consultaExitosa( false );
			System.out.println("dadadasd");
		} 
		catch (SQLException e) 
		{
			JOptionPane.showMessageDialog(null, "EN CONEXION desHacerSentencia SQLException \n\n" + e.getMessage(), "ERRORDE SISTEMA 140", JOptionPane.ERROR_MESSAGE );
		}
	}

public Vector<Object[]> obtenerSomatometria() throws SQLException
	{
		Vector<Object[]> datos= new Vector<Object[]>();
		
		datos.clear();
		
		ResultSet valores;
		
		try 
		{
			conexion.crearConexionSQL();
			//conexion.getConexion().setAutoCommit(false);
			
			conexion.setSetenciaPreparada( 
					conexion.getConexion().prepareStatement( 
							"SELECT IDPaciente, IDDiccionario, cCve_Respuesta, cValor " + 
									"FROM somatometria" ) );
			
			valores = conexion.ejecutarConsultaObtener();
			
			while( valores.next() )
			{
				datos.addElement( 
						new Object[] 
								{ 
										valores.getString( 1 ),valores.getString( 2 ),valores.getString( 3 ),
										valores.getString( 4 )
								}
						);
			}
			
			//conexion.getSetenciaPreparada().close();
			//conexion.cerrarConexion();
		} 
		catch (SQLException ex) 
		{
			JOptionPane.showMessageDialog( null, "ERROR DE EJECUCI\u00D3N DEL QUERY CONSULTAS obtenerPaciente SQLException \n\n" + ex.getMessage(), "ERROR DE SISTEMA 454", JOptionPane.ERROR_MESSAGE );
			System.exit( 0 );
		}
		catch (ClassNotFoundException e) 
		{
			JOptionPane.showMessageDialog( null, "EN CONSULTAS obtenerPaciente ClassNotFoundException \n\n" + e.getMessage() , "ERROR DE SISTEMA 459", JOptionPane.ERROR_MESSAGE );
			System.exit( 0 );
		}
		catch( NullPointerException e)
		{
			JOptionPane.showMessageDialog( null, "EN CONSULTAS obtenerPaciente NullPointerException \n\n" + e.toString() , "ERROR DE SISTEMA 464", JOptionPane.ERROR_MESSAGE );
			System.exit( 0 );
		}
		
		return datos;
	}


	public void exportarMySQL( Vector<Object[]> datos, int opcion ) throws SQLException
	{
		try 
		{
			int indice = 1;
			
			conexion.crearConexionMySQL();
			
			for (Object[] objects : datos) 
			{
				if( opcion == 1 )
				{
					conexion.setSetenciaPreparada( 
						conexion.getConexion().prepareStatement( 
							"INSERT INTO referencias ( IDReferencia,IDPaciente,IDUMedicaEnvia,IDUMedicaRef,cDescripcionRef,cServicio,cDiagnostico,cMotivoReferencia,cResumenClinico,cTratamiento,cFecha,IDMedico,cStatus,IdMotivo,cCompleta,dFecha_Cancelacion,IdPersonal_Cancela,cMotivo_Cancelacion,cUrgente,cNombreMedico,dFechaPrimeraAtencion,cStatusEnviado ) VALUES( ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ? )" 
							) 
					);
				}
				else if( opcion == 2 )
				{
					conexion.setSetenciaPreparada( 
							conexion.getConexion().prepareStatement( 
								"INSERT INTO ContraReferencias (IDUMedica, IDContraReferencia, IDServicio, IDAreaMedica, cResumenClinico, cRecomendaciones, IDPersonal_Elabora, IDUnidadReferencia, IDReferencia, cObservaciones, dFecha_Reg, cStatus, dFecha_Cancelacion, IDPersonal_Cancela, cMotivo_Cancelacion, cNombreMedico, cStatusEnviado) VALUES( ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ? )" 
								) 
						);
				}
				else
				{
					conexion.setSetenciaPreparada( 
							conexion.getConexion().prepareStatement( 
								"INSERT INTO Det_ContraReferencia_Diag ( IDUMedica,IDContraReferencia,IDDiagnostico,cDescripcion,cmotivocontrareferencia,IDReferencia ) VALUES( ?, ?, ?, ?, ?, ? )" 
								) 
						);
				}
				
				for( Object valores : objects )
				{
					conexion.getSetenciaPreparada().setObject( indice, valores );
					
					++indice;
				}
				conexion.ejecutarConsultaModificar();
				
				indice = 1;
			}
			
			//conexion.getSetenciaPreparada().close();
			//conexion.cerrarConexion();
		} 
		catch (SQLException ex) 
		{
			JOptionPane.showMessageDialog( null, "ERROR DE EJECUCI\u00D3N DEL QUERY CONSULTAS exportarMySQL SQLException \n\n" + ex.getMessage(), "ERROR DE SISTEMA 131", JOptionPane.ERROR_MESSAGE );
			System.exit( 0 );
		} 
		catch (ClassNotFoundException e) 
		{
			JOptionPane.showMessageDialog( null, " EN CONSULTAS exportarMySQL ClassNotFoundException \n\n" + e.getMessage(), "ERROR DE SISTEMA 136", JOptionPane.ERROR_MESSAGE );
			System.exit( 0 );
		}
		catch( NullPointerException e)
		{
			JOptionPane.showMessageDialog( null, " EN CONSULTAS exportarMySQL NullPointerException \n\n" + e.toString(), "ERROR DE SISTEMA 141", JOptionPane.ERROR_MESSAGE );
			System.exit( 0 );
		}
	}

mySystemTray.MensajeTrayIcon( "COMENZANDO CON LA B\u00DASQUEDA DE CONTRAREFERENCIA" , MessageType.INFO );
								consulta.exportarMySQL( consulta.ObtenerContrareferencia(), 2 );

consulta.getConexion().aceptarSentencias();
								
								
f(consulta.getConexion().getConsultaExitosa() )
{
	System.out.println("siii"); //Si entra aqui por lo tanto no hubo ningun error pero aun a si no se guarda nada
  propiedad.salvarConfiguracion();
}