Web gratter pour remplir (et récupérer) les formulaires de recherche?

WebRequest req = WebRequest.Create("http://www.URLacceptingPOSTparams.com");

req.Proxy = null;
req.Method = "POST";
req.ContentType = "application/x-www-form-urlencoded";

//
// add POST data
string reqString = "searchtextbox=webclient&searchmode=simple&OtherParam=???";
byte[] reqData = Encoding.UTF8.GetBytes (reqString);
req.ContentLength = reqData.Length;
//
// send request
using (Stream reqStream = req.GetRequestStream())
  reqStream.Write (reqData, 0, reqData.Length);

string response;
//
// retrieve response
using (WebResponse res = req.GetResponse())
using (Stream resSteam = res.GetResponseStream())
using (StreamReader sr = new StreamReader (resSteam))
  response = sr.ReadToEnd();

// use a regular expression to break apart response
// OR you could load the HTML response page as a DOM 
(Adapted from Joe Albahri's "C# in a nutshell")

Une belle soupe est idéale pour analyser les pages Web - c'est la moitié de ce que vous voulez faire. Python, Perl et Ruby ont tous une version de mécanismes, et c'est l'autre moitié:

http: // wwwsearch.sourceforge.net/mechanize/

mécanise Contrôlez-vous un navigateur: xxx

avec mécanismes et belle soupe que vous avez une superbe début. Un outil supplémentaire que je considérerais est Firebug, tel qu'il est utilisé dans ce guide de raclage rubis rapide:

http://www.igvita.com/2007/02/04/Ruby-Sreen-scraper-in-60-seconds/

Firebug peut accélérer votre construction de XPaths pour analyser des documents, vous économiser un temps sérieux.

Bonne chance!

Il existe de nombreux outils pour gratter Web. Il y a un bon plug-in Firefox appelé Imacros. Cela fonctionne bien et ne nécessite aucune connaissance de programmation. La version gratuite peut être téléchargée à partir d'ici: https://addons.mozilla.org/en-us/ Firefox / Addon / Imacros-for-Firefox / La meilleure chose à propos de Imaccros, c'est que cela peut vous aider à démarrer en quelques minutes et peut également être lancé à partir de la ligne de commande Bash et peut également être appelée à partir de scripts Bash.

Une étape plus avancée serait Selenium Webdrive. La raison pour laquelle j'ai choisi le sélénium est qu'elle est documentée de manière formidable pour les débutants. lire simplement les page: P>

vous permettrait d'exécuter pas le temps. Selenium prend en charge Java, Python, PHP, C Donc, si vous connaissez l'une de ces langues, vous seriez familiariser avec toutes les commandes nécessaires. Je préfère la variation WebDrive du sélénium, car elle ouvre un navigateur, de sorte que vous puissiez vérifier les champs et les sorties. Après avoir configuré le script à l'aide de WebDrive, vous pouvez facilement migrer le script en IDE, fonctionnant ainsi sans tête. P>

Pour installer sélénium que vous pouvez effectuer en tapant la commande p> xxx pré>

Cela s'occupera des dépendances et de tout besoin pour vous. p>

Pour exécuter votre script de manière interactive, ouvrez simplement un terminal et tapez P>

package org.openqa.selenium.example;

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.openqa.selenium.support.ui.ExpectedCondition;
import org.openqa.selenium.support.ui.WebDriverWait;

public class Selenium2Example  {
    public static void main(String[] args) {
        // Create a new instance of the Firefox driver
        // Notice that the remainder of the code relies on the interface, 
        // not the implementation.
        WebDriver driver = new FirefoxDriver();

        // And now use this to visit Google
        driver.get("http://www.google.com");
        // Alternatively the same thing can be done like this
        // driver.navigate().to("http://www.google.com");

        // Find the text input element by its name
        WebElement element = driver.findElement(By.name("q"));

        // Enter something to search for
        element.sendKeys("Cheese!");

        // Now submit the form. WebDriver will find the form for us from the element
        element.submit();

        // Check the title of the page
        System.out.println("Page title is: " + driver.getTitle());

        // Google's search is rendered dynamically with JavaScript.
        // Wait for the page to load, timeout after 10 seconds
        (new WebDriverWait(driver, 10)).until(new ExpectedCondition<Boolean>() {
            public Boolean apply(WebDriver d) {
                return d.getTitle().toLowerCase().startsWith("cheese!");
            }
        });

        // Should see: "cheese! - Google Search"
        System.out.println("Page title is: " + driver.getTitle());

        //Close the browser
        driver.quit();
    }}

Code Python: Pour les formulaires de recherche.

# import 
from selenium import webdriver

from selenium.common.exceptions import TimeoutException

from selenium.webdriver.support.ui import WebDriverWait # available since 2.4.0

from selenium.webdriver.support import expected_conditions as EC # available since 2.26.0

# Create a new instance of the Firefox driver
driver = webdriver.Firefox()

# go to the google home page
driver.get("http://www.google.com")

# the page is ajaxy so the title is originally this:
print driver.title

# find the element that's name attribute is q (the google search box)
inputElement = driver.find_element_by_name("q")

# type in the search
inputElement.send_keys("cheese!")

# submit the form (although google automatically searches now without submitting)
inputElement.submit()

try:
    # we have to wait for the page to refresh, the last thing that seems to be updated is the title
    WebDriverWait(driver, 10).until(EC.title_contains("cheese!"))

    # You should see "cheese! - Google Search"
    print driver.title

finally:
    driver.quit()