Lue artikkeleita palkkaseinien takana naamioitumalla Googlebotiksi

Internet on kärjessä. Mainosten estämisen jatkuva nousu on lopettanut tulomallin, joka perustuu verkkosivustojen ja yritysten toimintaan yksinomaan mainosdollareihin.

Erityisesti uutissivustot ovat alkaneet kokeilla tapoja monipuolistaa tulolähteitä, ja yksi näkyvä vaihtoehto, jonka kaikki sivustot, kuten The Wall Street Journal, Financial Times, The New York Times tai The Washington Post, ovat kaikki toteuttaneet, on paywall-järjestelmä.

Palkkapalkkeja on erityyppisiä, mutta kaikilla on yhteistä, että ne estävät pääsyn sisältöön joko suoraan tai tietyn määrän artikkeleita luettaessa sivustolla.

Sitten kävijöitä pyydetään tilaamaan sivusto jatkaakseen artikkeleiden lukemista siitä.

Liiketoiminnan kannalta se voi olla järkevää, ja se voi olla tuottoisampaa kuin taistella sitä käyttäjien kanssa, jotka käyttävät estolokeroita, mutta siinä on haittapuoli sekä maksulliselle sivustolle että estettylle käyttäjälle.

Sivustot menettävät suuren osan kävijöistä, jos ne ottavat käyttöön palomuurijärjestelmän. On epäselvää, kuinka suuri prosenttiosuus todella on, ja se todennäköisesti vaihtelee sivustolta toiselle, mutta se on todennäköisesti paljon korkeampi kuin niiden kävijöiden prosenttiosuus, jotka tilaavat sivuston sen jälkeen, kun heille on annettu tilaisuus lukea haluttu artikkeli.

Naamioi selaimesi

Ei ole mikään salaisuus, että uutissivustot mahdollistavat pääsyn uutisien kerääjille ja hakukoneille. Jos tarkistat esimerkiksi Google-uutiset tai haun, löydät artikkeleita sivustoilta, joissa palkkaseinät on lueteltu siellä.

Aikaisemmin uutissivustot antoivat pääsyn vierailijoille suurten uutisten kerääjiltä, ​​kuten Reddit, Digg tai Slashdot, mutta nykyään käytäntö näyttää olevan yhtä hyvä kuin kuollut.

Toinen temppu, jonka avulla artikkelin otsikko voidaan liittää hakukoneeseen välimuistissa olevan tarinan lukemiseksi suoraan siitä, ei näytä toimivan enää oikein, eikä artikkeleita sivustoilla, joilla on palomuurit, ei yleensä tallenneta välimuistiin.

Päivitys : The Wall Street Journal ilmoitti kiinnittävänsä alla kuvatun reiän. Voit silti lukea artikkeleita sivuston palomuurin takana seuraavalla menetelmällä:

  1. Paina F12-painiketta, kun olet artikkelisivulla leikatun artikkelin kanssa, ja tilauksen pyyntö lukea se kokonaan.
  2. Avaa konsoli-välilehti.
  3. Liitä javascript: window.location = "// m.facebook.com/l.php?u="+encodeURIComponent(window.location.href);
  4. Paina Enter.

Sivun tulee ladata uudelleen, ja artikkeli on ladattu kokonaan. Voit lähettää artikkelin linkin myös Facebookiin, esimerkiksi uuteen viestiin, jonka vain sinä näet. Lähetettyä linkkiä napsauttamalla artikkeli ladataan kokonaan The Wall Street Journal -sivustolle.

User-Agent ja Referrer

Olet todennäköisesti ihmettelemässä, kuinka sivustot estävät tai sallivat pääsyn sivuston sisältöön. Menetelmät ovat parantuneet vuosien varrella, ja ei enää riitä, että vaihdat vain selaimen viittauksen osoitteeseen //www.google.com/ saadaksesi täyden pääsyn sivuston sisältöön.

Sen sijaan sivustot käyttävät erilaisia ​​tarkistuksia, joihin sisältyy käyttäjän edustaja, viitaaja ja evästeet, ja joskus jopa enemmänkin, pääsyn laillisuuden määrittämiseen.

Yleistä tietoa

Todennäköisesti paras tapa naamioida selain on saada se näyttämään olevan Googlebot.

  • Viittaaja: //www.google.com/
  • User-Agent: Mozilla / 5.0 (yhteensopiva; Googlebot / 2.1; + // www.google.com/bot.html

Firefox

Firefox-käyttäjät tarvitsevat kaksi selaimen lisäosaa siihen: ensimmäinen, RefControl, muuttaaksesi viitearvoa vieraillessaan uutissivustoilla, toinen, User Agent Switcher, vaihtaaksesi selaimen käyttäjäagentin.

  1. Lataa ja asenna molemmat laajennukset Firefox-selaimeen.
  2. Napauta Alt-näppäintä ja valitse Työkalut> RefControl-asetukset.
  3. Napsauta "Lisää sivusto", kirjoita verkkotunnus sivuston alle, valitse mukautettu toiminto ja kirjoita viittaajaksi //www.google.com/.
  4. Toista tämä kaikille uutissivustoille, joihin haluat päästä (jotkut eivät välttämättä toimi, vaikka teet muutokset, joten pidä tämä mielessä).
  5. Kun olet valmis, sulje määritysikkuna.
  6. Napauta uudelleen Alt-näppäintä ja valitse valikosta Työkalut> Oletuskäyttäjäagentti> Muokkaa käyttäjän edustajia.
  7. Valitse Uusi> User Agent ja korvaa merkkijono User Agent -kentässä Mozilla / 5.0 (yhteensopiva; Googlebot / 2.1; + // www.google.com/bot.html). Nimeä se Googlebotiksi.
  8. Poistu valikosta.
  9. Ennen kuin pääset näille sivustoille, napauta Alt ja valitse Oletuskäyttäjäagentti> Googlebot.

Siinä kaikki on siinä. On hiukan valitettavaa, että Firefoxilla ei ole laajennusta, joka muuttaa käyttäjän edustajan automaattisesti käymäsi sivustojen perusteella.

Google Chrome

Google Chromen käyttäjät voivat asentaa laajennuksia, kuten User Agent Switcher ja Referer Control, jotka ovat käytettävissä selaimessa samaan.

On kuitenkin toinen mahdollisuus, ja se on luoda mukautettu laajennus, joka automatisoi prosessin selaimessa.

Ohjeet löytyvät Elaineou-sivustosta. Periaatteessa tarvitaan vain uuden hakemiston luominen paikalliselle tietokoneelle, sen sisällä olevien kahden tiedoston background.js ja manifest.json luominen sekä kopiointi ja liittäminen sivustolta löytyvän koodin tiedostoihin.

Sinun on otettava "kehittäjätila" käyttöön chrome: // extensions / -sovelluksessa ja voit sitten valita "Lataa pakkaamattoman laajennuksen" valitaksesi kansion, johon olet luonut kaksi tiedostoa, ladataksesi laajennuksen Chromessa.

Voit muokata tukemiensa sivustojen luetteloa lisätäksesi uusia.