Obtenez toutes les images d'une carte à partir d'une adresse Web Pinterest

Quelques personnes ont suggéré d'utiliser JavaScript pour émuler le défilement.

Je ne pense pas que vous ayez besoin d'émuler du défilement du tout, je pense qu'il vous suffit de trouver le format de l'URIS appelé via AJAX chaque fois que le défilement se produit, puis vous pouvez obtenir chaque "page" des résultats de manière séquentielle. Un petit ingénierie en retard est requis. P>

Utilisation de l'onglet Réseau de l'inspecteur de chrome, je peux voir qu'une fois que j'atteins une certaine distance dans la page, cet URI s'appelle: P>

http://pinterest.com/resource/boardfeedresource/get/?source_url =% 2fdodo% 2fweb-designui-and-mobile% 2F et données =% 7b% 22Options% 22% 3A% 7b% 22board_id% 22% 3a% 22158400180582875562% 22% 2C% 22Access% 22% 3A% 5b% 5D% 2C% 22bookmarks % 22% 3A% 5B% 22LT4xNTg0MDAxMTE4NjcxMTM2ODk6MjV8ZWJjODJjOWI4NTQ4NjU4ZDMyNzhmN2U3MGQyZGJhYTJhZjY2ODUzNTI4YTZhY2NlNmY0M2I1ODYwYjExZmQ3Yw% 3D% 3D% 22% 5D% 7D% 2C% 22context% 22% 3A% 7B% 22app_version% 22% 3A% 22fb43cdb% 22% 7D% 2C% 22module% 22% 3A% 7B % 22Name% 22% 3A% 22Griditems% 22% 2C% 22OPTIONS% 22% 3A% 7B% 22scrollables% 22% 3atre% 2c% 22Show_Grid_footer% 22% 3atre% 2C% 22Coler% 2c% 22Reflow_All% 22% 3atre % 2c% 22Virtualize% 22% 3atre% 2c% 22Item_OPTIONS% 22% 3A% 7B% 22Show_rich_title% 22SHOW_RICH_TITLE% 22% 3Afalse% 2c% 22Squish_giraffe_pins% 22% 3Afalse% 2false% 2c% 2c% 22Afalse_via% 22% 3Afalse% 2c 2c % 22Show_pinner% 22% 3Afalse% 2c% 2C% 22Show_pinned_from% 22% 3atre% 7d% 2c% 22Layout% 22% 22% 22% 7D% 7D% 2C% 22% 3Aserue% 2c% 22Errores EGY% 22% 3A1% 7D & _ = 1377092055381 P>

Si nous décodons cela, nous voyons que c'est surtout JSON P>

http://pinterest.com/resource/BoardFeedResource/get/?source_url=/dodo/web-designui-and-mobile/&data=
{
    "options": {
        "board_id": "158400180582875562",
        "access": [],
        "bookmarks": [
            "LT4xNTg0MDAxMTE4NjcwNTk1ODQ6NDl8ODFlMDUwYzVlYWQxNzVmYzdkMzI0YTJiOWJkYzUwOWFhZGFkM2M1MzhiNzA0ZDliZDIzYzE3NjkzNTg1ZTEyOQ=="
        ]
    },
    "context": {
        "app_version": "fb43cdb"
    },
    "module": {
        "name": "GridItems",
        "options": {
            "scrollable": true,
            "show_grid_footer": true,
            "centered": true,
            "reflow_all": true,
            "virtualize": true,
            "item_options": {
                "show_rich_title": false,
                "squish_giraffe_pins": false,
                "show_board": false,
                "show_via": false,
                "show_pinner": false,
                "show_pinned_from": true
            },
            "layout": "variable_height"
        }
    },
    "append": true,
    "error_strategy": 2
}
&_=1377092231234

Vous pouvez déclencher le point final JSON en faisant une demande avec cet en-tête: x-demandé-with: xmlhttprequest code>

essayez ceci en commande dans la console: p>

curl -H "X-Requested-With:XMLHttpRequest" "http://pinterest.com/resource/CategoryFeedResource/get/?source_url=%2Fall%2Fgeek%2F&data=%7B%22options%22%3A%7B%22feed%22%3A%22geek%22%2C%22scope%22%3Anull%2C%22bookmarks%22%3A%5B%22Pz8xMzc3NjU4MjEyLjc0Xy0xfDE1ZjczYzc4YzNlNDg3M2YyNDQ4NGU1ZTczMmM0ZTQyYzBjMWFiMWNhYjRhMDRhYjg2MTYwMGVkNWQ0ZDg1MTY%3D%22%5D%2C%22is_category_feed%22%3Atrue%7D%2C%22context%22%3A%7B%22app_version%22%3A%22addc92b%22%7D%2C%22module%22%3A%7B%22name%22%3A%22GridItems%22%2C%22options%22%3A%7B%22scrollable%22%3Atrue%2C%22show_grid_footer%22%3Atrue%2C%22centered%22%3Atrue%2C%22reflow_all%22%3Atrue%2C%22virtualize%22%3Atrue%2C%22item_options%22%3A%7B%22show_pinner%22%3Atrue%2C%22show_pinned_from%22%3Afalse%2C%22show_board%22%3Atrue%2C%22show_via%22%3Afalse%7D%2C%22layout%22%3A%22variable_height%22%7D%7D%2C%22append%22%3Atrue%2C%22error_strategy%22%3A2%7D&module_path=App()%3EHeader()%3EDropdownButton()%3EDropdown()%3ECategoriesMenu(resource%3D%5Bobject+Object%5D%2C+name%3DCategoriesMenu%2C+resource%3DCategoriesResource(browsable%3Dtrue))&_=1377658213300" | python -mjson.tool

D'accord, alors je pense que cela peut être (avec quelques altérations) ce dont vous avez besoin.

CAVEATS: strong> p>

1. C'est PHP, pas C # (mais vous avez dit que vous étiez intéressé par une langue côté serveur). Li>
2. Ce code accroche à des points finaux (non officiels) de pinterest. Vous devrez changer $ de données et $ Search_Res pour refléter les points d'extrémité appropriés (par exemple, BOARDFEEDRESOUCE) pour vos tâches. Remarque: au moins pour la recherche, Pinterest utilise actuellement deux points d'extrémité, un pour la charge initiale de la page, et une autre pour les actions de défilement infinies. Chacun a sa propre structure de paramètres attendue. Li>
3. Pinterest n'a pas d'API publique officielle, attendez-vous à ce que cela cumule chaque fois qu'ils changent quelque chose et sans avertissement. Li>
4. Vous pouvez trouver Pinterestapi.co.uk plus facile à mettre en œuvre et acceptable pour ce que vous faites. LI>
5. J'ai du code de démonstration / débogage sous la classe qui ne devrait pas être là une fois que vous obtenez les données souhaitées, et une limite d'extraction de la page par défaut que vous voudrez peut-être changer. LI> ol>

   points d'intérêt: strong> p>

   1. Le paramètre de soussecore _ code> prend une horodatage au format JavaScript, c'est-à-dire. Comme une fois unix, mais il a ajouté des millisecondes. Ce n'est pas réellement utilisé pour la pagination. Li>
   2. pagination utilise la propriété bookmarks code>, de sorte que vous effectuez la première demande au "nouveau" point final qui ne le nécessite pas, puis prenez les signets code> code> à partir du résultat et utilisez-le dans votre demande pour obtenir la prochaine «page» des résultats, prenez le Signets code> à partir de ces résultats pour récupérer la page suivante, etc. jusqu'à ce que vous manquiez de résultats ou d'atteindre votre pré -Sette limite (ou vous appuyez sur le serveur Max pour l'heure d'exécution du script). Je serais curieux de savoir exactement ce que les codes code> codes de marque code>. J'aimerais penser qu'il y a de la sauce secrète amusante au-delà d'un identifiant PIN ou d'un autre marqueur de page. Li>
   3. Je saute le HTML, au lieu de faire face à JSON, car il est plus facile (pour moi) que d'utiliser une solution de manipulation DOM ou un tas de regex. li> OL>

      <?php
      
      if(!class_exists('Skrivener_Pins')) {
      
        class Skrivener_Pins {
      
          /**
           * Constructor
           */
          public function __construct() {
          }
      
          /**
           * Pinterest search function. Uses Pinterest's "internal" page APIs, so likely to break if they change.
           * @author [@skrivener] Philip Tillsley
           * @param $search_str     The string used to search for matching pins.
           * @param $limit          Max number of pages to get, defaults to 2 to avoid excessively large queries. Use care when passing in a value.
           * @param $bookmarks_str  Used internally for recursive fetches.
           * @param $pages          Used internally to limit recursion.
           * @return array()        int['id'], obj['image'], str['pin_link'], str['orig_link'], bool['video_flag']
           * 
           * TODO:
              * 
              * 
           */
          public function get_tagged_pins($search_str, $limit = 1, $bookmarks_str = null, $page = 1) {
      
            // limit depth of recursion, ie. number of pages of 25 returned, otherwise we can hang on huge queries
            if( $page > $limit ) return false;
      
            // are we getting a next page of pins or not
            $next_page = false;
            if( isset($bookmarks_str) ) $next_page = true;
      
            // build url components
            if( !$next_page ) {
      
              // 1st time
              $search_res = 'BaseSearchResource'; // end point
              $path = '&module_path=' . urlencode('SearchInfoBar(query=' . $search_str . ', scope=boards)');
              $data = preg_replace("'[\n\r\s\t]'","",'{
                "options":{
                  "scope":"pins",
                  "show_scope_selector":true,
                  "query":"' . $search_str . '"
                },
                "context":{
                  "app_version":"2f83a7e"
                },
                "module":{
                  "name":"SearchPage",
                  "options":{
                    "scope":"pins",
                    "query":"' . $search_str . '"
                  }
                },
                "append":false,
                "error_strategy":0
                }');
            } else {
      
              // this is a fetch for 'scrolling', what changes is the bookmarks reference, 
              // so pass the previous bookmarks value to this function and it is included
              // in query
              $search_res = 'SearchResource'; // different end point from 1st time search
              $path = '';
              $data = preg_replace("'[\n\r\s\t]'","",'{
                "options":{
                  "query":"' . $search_str . '",
                  "bookmarks":["' . $bookmarks_str . '"],
                  "show_scope_selector":null,
                  "scope":"pins"
                },
                "context":{
                  "app_version":"2f83a7e"
                },
                  "module":{
                    "name":"GridItems",
                  "options":{
                    "scrollable":true,
                    "show_grid_footer":true,
                    "centered":true,
                    "reflow_all":true,
                    "virtualize":true,
                    "item_options":{
                      "show_pinner":true,
                      "show_pinned_from":false,
                      "show_board":true
                    },
                    "layout":"variable_height"
                  }
                },
                "append":true,
                "error_strategy":2
              }');
            }
            $data = urlencode($data);
            $timestamp = time() * 1000; // unix time but in JS format (ie. has ms vs normal server time in secs), * 1000 to add ms (ie. 0ms)
      
            // build url
            $url = 'http://pinterest.com/resource/' . $search_res . '/get/?source_url=/search/pins/?q=' . $search_str
                . '&data=' . $data
                . $path
                . '&_=' . $timestamp;//'1378150472669';
      
            // setup curl
            $ch = curl_init();
            curl_setopt($ch, CURLOPT_URL, $url);
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
            curl_setopt($ch, CURLOPT_HTTPHEADER, array("X-Requested-With: XMLHttpRequest"));
      
            // get result
            $curl_result = curl_exec ($ch); // this echoes the output
            $curl_result = json_decode($curl_result);
            curl_close ($ch);
      
            // clear html to make var_dumps easier to see when debugging
            // $curl_result->module->html = '';
      
            // isolate the pin data, different end points have different data structures
            if(!$next_page) $pin_array = $curl_result->module->tree->children[1]->children[0]->children[0]->children;
            else $pin_array = $curl_result->module->tree->children;
      
            // map the pin data into desired format
            $pin_data_array = array();
            $bookmarks = null;
            if(is_array($pin_array)) {
              if(count($pin_array)) {
      
                foreach ($pin_array as $pin) {
      
                  //setup data
                  $image_id = $pin->options->pin_id;
                  $image_data = ( isset($pin->data->images->originals) ) ? $pin->data->images->originals : $pin->data->images->orig;
                  $pin_url = 'http://pinterest.com/pin/' . $image_id . '/';
                  $original_url = $pin->data->link;
                  $video = $pin->data->is_video;
      
                  array_push($pin_data_array, array(
                    "id"          => $image_id,
                    "image"       => $image_data,
                    "pin_link"    => $pin_url,
                    "orig_link"   => $original_url,
                    "video_flag"  => $video,
                    ));
                }
                $bookmarks = reset($curl_result->module->tree->resource->options->bookmarks);
      
              } else {
                $pin_data_array = false;
              }
            }
      
            // recurse until we're done
            if( !($pin_data_array === false) && !is_null($bookmarks) ) {
      
              // more pins to get
              $more_pins = $this->get_tagged_pins($search_str, $limit, $bookmarks, ++$page);
              if( !($more_pins === false) ) $pin_data_array = array_merge($pin_data_array, $more_pins);
              return $pin_data_array;
            }
      
            // end of recursion
            return false;
          }
      
        } // end class Skrivener_Pins
      } // end if
      
      
      
      /**
       * Debug/Demo Code
       * delete or comment this section for production
       */
      
      // output headers to control how the content displays
      // header("Content-Type: application/json");
      header("Content-Type: text/plain");
      // header("Content-Type: text/html");
      
      // define search term
      // $tag = "vader";
      $tag = "haemolytic";
      // $tag = "qjkjgjerbjjkrekhjk";
      
      if(class_exists('Skrivener_Pins')) {
      
        // instantiate the class
        $pin_handler = new Skrivener_Pins();
      
        // get pins, pinterest returns 25 per batch, function pages through this recursively, pass in limit to 
        // override default limit on number of pages to retrieve, avoid high limits (eg. limit of 20 * 25 pins/page = 500 pins to pull 
        // and 20 separate calls to Pinterest)
        $pins1 = $pin_handler->get_tagged_pins($tag, 2);
      
        // display the pins for demo purposes
        echo '<h1>Images on Pinterest mentioning "' . $tag . '"</h1>' . "\n";
        if( $pins1 != false ) {
          echo '<p><em>' . count($pins1) . ' images found.</em></p>' . "\n";
          skrivener_dump_images($pins1, 5);
        } else {
          echo '<p><em>No images found.</em></p>' . "\n";
        }
      }
      
      // demo function, dumps images in array to html img tags, can pass limit to only display part of array
      function skrivener_dump_images($pin_array, $limit = false) {
        if(is_array($pin_array)) {
          if($limit) $pin_array = array_slice($pin_array, -($limit));
          foreach ($pin_array as $pin) {
            echo '<img src="' . $pin['image']->url . '" width="' . $pin['image']->width . '" height="' . $pin['image']->height . '" >' . "\n";
          }
        }
      }
      
      ?>