Stažení výsledků hledání google přes file_get_contents..
Napsal: pon 1. úno 2016, 10:51
Ahoj, řeším tu jeden drobný problém s googlem - mám tu jednu svojí utilitku napsanou v php, která sleduje pozice ve vyhledávání na googlu, seznamu a dalších...
Funguje to tak, že mám db určitých výrazů které hledám a pak si generuji grafy jak si konkrétní fráze vedla v jednotlivých testech.
Program mi pěkně fungoval cca od srpna a vždy v noci se spustila dávka testů, ale začátkem tohoto roku mi přestal fungovat google - místo aby vrátil html s výsledky hledání, tak dostanu úvodní stranu která má i špatné písmo (místo diakritiky jen otazníky), nebo dostanu stránku s captchou, případně odkaz na redirect.
Načítání html používám klasické file_get_content (ale zkoušel jsem i curl).
Když chci např. vyhledat výsledky hledání na slovo "lékárna praha", udělám toto:
Výše uvedený kod až do teď fungoval 100%. Zkoušel jsem různé změny adresy, parametry apod. Někdy jsem se i dostal do fáze, že když jsem script odpálil v prohlížeči, tak jsem dostal výsledek, ale jakmile jsem to implementoval v programu, tak zase nic...
Asi to bude potřebovat nějaké hlavičky, ale jaké a jak je poslat?
Díky za pomoc
Funguje to tak, že mám db určitých výrazů které hledám a pak si generuji grafy jak si konkrétní fráze vedla v jednotlivých testech.
Program mi pěkně fungoval cca od srpna a vždy v noci se spustila dávka testů, ale začátkem tohoto roku mi přestal fungovat google - místo aby vrátil html s výsledky hledání, tak dostanu úvodní stranu která má i špatné písmo (místo diakritiky jen otazníky), nebo dostanu stránku s captchou, případně odkaz na redirect.
Načítání html používám klasické file_get_content (ale zkoušel jsem i curl).
Když chci např. vyhledat výsledky hledání na slovo "lékárna praha", udělám toto:
Kód: Vybrat vše
<?php
$fraze="lékárna praha";
$url = "https://www.google.cz/search?".urlencode($fraze)."&start=0";
$html = file_get_contents($url);
?>
Asi to bude potřebovat nějaké hlavičky, ale jaké a jak je poslat?
Díky za pomoc