Interne Suche mit PHP

Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

  • Interne Suche mit PHP

    Hallo,
    Ich habe ein Script gefunden. Dieses sucht nur auf dem eigendem Server. Ist es möglich dieses Script derart umzuwandeln , das es auch auf anderen Server sucht, oder im Web? Die Suche hat nur eine datei: die suchen.php :

    Quellcode

    1. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
    3. <html>
    4. <head>
    5. <title>PHP-Suchmaschine</title>
    6. <style>
    7. body,td,input { font-family:Verdana;font-size:7.9pt }
    8. .t_nummer { font-family:Verdana,Tahoma,Arial; font-size:16pt; font-weight:bold; color:#999999}
    9. .markierung {color:#ff0000}
    10. </style>
    11. </head>
    13. <body>
    15. <?
    16. ########### PHP-Suchmaschine ###########
    17. ########### powered by Viktor Widiker & [url=http://www.widiker.de]http://www.widiker.de[/url], Berlin 2002 ###########
    19. ########### Hier folgen die Einstellungen ###########
    21. $max_suchwoerter=3; # Maximale Anzahl der Suchwörter, die wahrgenommen werden
    23. $treffer_pro_seite=10; # Wie viele Treffer werden pro Ergebnisseite angezeigt?
    25. $endungen=array("html","htm","php","phtml"); # Dateien mit welchen Endungen werden durchsucht?
    27. $pfade_gesamt="./"; # Adressen (relativ zum Suchmaschinennskript) der zu durchsuchenden Ordner (durch Kommata trennen!)
    29. $max_stelle=200; # Maximale (ungefähre) Länge (in Zeichen) der ersten gefundenen Textstelle
    31. $mehr_laenge=200; # Maximale (ungefähre) Länge (in Zeichen) des Strings für weitere Vorkommnisse
    33. ########### Ab hier folgt die Suche #######
    34. if (!isset($grossschreibung)) { $grossschreibung=0; }
    35. if (!isset($ganzewoerter)) { $ganzewoerter=0; }
    36. if (!isset($index)) { $index=0; }
    38. $suchtext=trim(stripslashes($suchtext));
    39. if ($grossschreibung==0) { $suchtext=strtolower($suchtext); }
    40. $suchtext=ereg_replace(","," ",$suchtext);
    41. $suchtext2=array(); $suchwoerter=array();
    42. $suchtext2=explode(" ",$suchtext);
    43. foreach ($suchtext2 as $einwort)
    44. {
    45. if (($einwort!="") && (count($suchwoerter)<=($max_suchwoerter-1)) && (!in_array($einwort,$suchwoerter)))
    46. { array_push($suchwoerter,$einwort); }
    47. }
    48. $suchtext=implode(" ",$suchwoerter);
    49. ?>
    51. <form action="<? echo "$PHP_SELF"; ?>" method="post">
    52. <table width="500" cellpadding="5" cellspacing="0" border="0" bgcolor="#ccddee" align="center">
    53. <tr>
    54. <td align="right">
    55. <?
    56. echo "<input type=\"text\" name=\"suchtext\" size=\"";
    57. $browser=$HTTP_USER_AGENT;
    58. if (1*strpos(strtolower($browser),"msie")>0) { echo "25"; } else { echo "14"; }
    59. echo "\" value=\"".$suchtext."\"><br><br>";
    60. ?>
    61. <input type="submit" value=" suchen ">
    62. </td>
    63. <td>
    64. <b>Groß- und Kleinbuchstaben</b><br>
    65. <input type="radio" name="grossschreibung" value="1" <? if ($grossschreibung==1) echo "checked"; ?>>unterscheiden<br>
    66. <input type="radio" name="grossschreibung" value="0" <? if ($grossschreibung==0) echo "checked"; ?>>nicht unterscheiden
    67. </td>
    68. <td>
    69. <b>Art der Suche</b><br>
    70. <input type="radio" name="ganzewoerter" value="1" <? if ($ganzewoerter==1) echo "checked"; ?>>nur ganze Wörter<br>
    71. <input type="radio" name="ganzewoerter" value="0" <? if ($ganzewoerter==0) echo "checked"; ?>>Wortteile
    72. </td>
    73. </tr>
    74. </table>
    75. </form>
    77. <?
    78. if ($suchtext!="") { start(); ausgabe(); }
    80. function start()
    81. {
    82. global $suchwoerter,$grossschreibung,$ganzewoerter,$dateinummer,$treffer,$max_stelle,$mehr_laenge;
    83. global $endungen,$pfade_gesamt;
    84. $dateinummer=0;
    85. $treffer=array();
    86. $pfade=array(); $pfade=explode(",",$pfade_gesamt);
    87. foreach ($pfade as $pfad)
    88. {
    89. $ordner=opendir($pfad);
    90. while ($eintrag=readdir($ordner))
    91. {
    92. $name=$pfad.$eintrag;
    93. $dateiname=explode(".",$eintrag);
    94. if (in_array($dateiname[1],$endungen))
    95. {
    96. $anzahl=0;
    97. $schluss=0;
    98. $gefundene_woerter=array();
    99. $datei=fopen($name,"r");
    100. while (!feof($datei))
    101. {
    102. $zeile=fgetss($datei,10000,"");
    103. if ($grossschreibung==0) { $zeile=strtolower($zeile); }
    105. $woerter=explode(" ",$zeile);
    106. foreach ($woerter as $wort)
    107. {
    108. foreach ($suchwoerter as $suchwort)
    109. {
    110. ### ganze Wörter ###
    111. if ($ganzewoerter==0)
    112. {
    113. if (strstr($wort,$suchwort))
    114. {
    115. if (!in_array($suchwort,$gefundene_woerter)) { array_push($gefundene_woerter,$suchwort); }
    116. $anzahl++;
    117. $treffer["vorkommnisse"][$dateinummer]++;
    118. if ($anzahl==1)
    119. {
    120. $treffer["datei_url"][$dateinummer]=$name;
    122. $position=strpos($zeile,$wort);
    123. $wortlaenge=strlen($wort);
    124. $zeilenlaenge=strlen($zeile);
    125. if ($zeilenlaenge>$max_stelle)
    126. {
    127. $lside=$position-(($max_stelle-$wortlaenge)/2);
    128. $rside=$lside+$max_stelle;
    129. if ($lside<0) { $rside=$rside-$lside; $lside=0; }
    130. if ($rside>$zeilenlaenge) { $rside=$zeilenlaenge; }
    131. }
    132. else { $lside=0; $rside=$zeilenlaenge; }
    133. $stelle=substr($zeile,$lside,$rside-$lside);
    134. $stelle=ereg_replace($wort,"<span class=\"markierung\">".$wort."</span>",$stelle);
    135. $stelle="...".$stelle."...";
    136. $treffer["textstelle"][$dateinummer]=$stelle;
    137. }
    138. else if ($anzahl==2) { $teil=ereg_replace(",","",$teil); $mehr=$teil; }
    139. else if ($anzahl>2)
    140. {
    141. if (strlen($mehr)<$mehr_laenge) { if ($mehr=="") { $komma=""; } else { $komma=", "; } $wort=ereg_replace(", ","",$wort); $mehr.=$komma.$wort; }
    142. else { if ($schluss!=1) {$mehr=$mehr." ..."; $schluss=1;} }
    143. }
    144. }
    145. }
    146. ### ganze Wörter ENDE ###
    147. ### Wortteile ###
    148. else
    149. {
    150. if ($wort==$suchwort)
    151. {
    152. if (!in_array($suchwort,$gefundene_woerter)) { array_push($gefundene_woerter,$suchwort); }
    153. $anzahl++;
    154. $treffer["vorkommnisse"][$dateinummer]++;
    155. if ($anzahl==1)
    156. {
    157. $treffer["datei_url"][$dateinummer]=$name;
    159. $position=strpos($zeile,$wort);
    160. $wortlaenge=strlen($wort);
    161. $zeilenlaenge=strlen($zeile);
    162. if ($zeilenlaenge>$max_stelle)
    163. {
    164. $lside=$position-(($max_stelle-$wortlaenge)/2);
    165. $rside=$lside+$max_stelle;
    166. if ($lside<0) { $rside=$rside-$lside; $lside=0; }
    167. if ($rside>$zeilenlaenge) { $rside=$zeilenlaenge; }
    168. }
    169. else { $lside=0; $rside=$zeilenlaenge; }
    170. $stelle=substr($zeile,$lside,$rside-$lside);
    171. $stelle=" ".$stelle." ";
    172. $stelle=ereg_replace(" ".$wort." "," <span class=\"markierung\">".$wort."</span> ",$stelle);
    173. $stelle="...".$stelle."...";
    174. $treffer["textstelle"][$dateinummer]=$stelle;
    175. }
    176. else if ($anzahl==2) { $teil=ereg_replace(",","",$teil); $mehr=$teil; }
    177. else if ($anzahl>2)
    178. {
    179. if (strlen($mehr)<$mehr_laenge) { if ($mehr=="") { $komma=""; } else { $komma=", "; } $wort=ereg_replace(", ","",$wort); $mehr.=$komma.$wort; }
    180. else { if ($schluss!=1) {$mehr=$mehr." ..."; $schluss=1;} }
    181. }
    182. }
    183. }
    184. ### Wortteile ENDE ###
    185. }
    186. }
    187. }
    188. fclose($datei);
    189. $treffer["woerter"][$dateinummer]=count($gefundene_woerter);
    190. $treffer["mehr"][$dateinummer]=$mehr;
    191. if (count($gefundene_woerter)>0) { $dateinummer++; }
    192. }
    193. }
    194. closedir($ordner);
    195. }
    197. }
    199. function ausgabe()
    200. {
    201. global $treffer,$dateinummer,$PHP_SELF,$index,$SERVER_NAME,$treffer_pro_seite,$suchwoerter,$suchtext,$grossschreibung,$ganzewoerter;
    203. echo "<table width=\"500\" border=\"0\" align=\"center\"><tr><td>
    204. ";
    205. echo "<span style=\"font-size:13pt\"><b>Ergebnisse der Suche:</b></span><br><br>
    206. ";
    207. $treffer_anzahl=count($treffer["datei_url"]);
    208. if ($treffer_anzahl==0) { echo "<span style=\"font-size:13pt\"><b><center><br><br>Leider nichts gefunden<br><br></center></b></span></td></tr></table>
    209. "; }
    210. else
    211. {
    212. @array_multisort($treffer["woerter"],SORT_DESC,$treffer["vorkommnisse"],SORT_DESC,$treffer["datei_url"],$treffer["textstelle"],$treffer["mehr"]);
    213. $suchtext=ereg_replace(" ",", ",$suchtext);
    214. if (count($suchwoerter)>1) { echo "Gesuchte Wörter: "; } else { echo "Gesuchtes Wort: "; }
    215. echo "$suchtext<br><br>
    216. ";
    217. $anfang=$index*$treffer_pro_seite+1;
    218. $ende=$anfang+$treffer_pro_seite-1; if ($ende>$treffer_anzahl) { $ende=$treffer_anzahl; }
    219. echo "<b>Treffer $anfang-$ende von insgesamt $treffer_anzahl Treffern, beste Treffer zuerst:<br><br>
    220. ";
    221. echo "</td></tr></table>
    222. ";
    224. for ($k=0;$k<$treffer_pro_seite;$k++)
    225. {
    226. $i=$index*$treffer_pro_seite+$k;
    227. $platz=$i+1;
    228. if ($platz<=$ende)
    229. {
    230. echo "<table width=\"580\" border=\"1\" cellpadding=\"0\" cellspacing=\"0\" align=\"center\">
    231. ";
    232. $t=1;
    233. $treffer["datei_url"][$i]=ereg_replace("./","",$treffer["datei_url"][$i]);
    234. $datei=fopen($treffer["datei_url"][$i],"r");
    235. while ($t<7)
    236. {
    237. $zeile=fgetss($datei,1000,""); $zeile=trim($zeile);
    238. if ($zeile!="")
    239. {
    240. echo "<tr><td height=\"16\" colspan=\"2\">";
    241. echo "<span class=\"t_nummer\">".$platz.".</span> <a href=\"".$treffer["datei_url"][$i]."\"><b>".$zeile."</b></a>";
    242. break;
    243. }
    244. $t++;
    245. }
    246. fclose($datei);
    247. if ($treffer["woerter"][$i]==1) { $woerter="Wort"; } else { $woerter="Wörter"; }
    248. if ($treffer["vorkommnisse"][$i]==1) { $vorkommnisse="Vorkommnis"; } else { $vorkommnisse="Vorkommnisse"; }
    249. echo "<p style=\"margin-top:0pt; margin-bottom:0pt\" align=\"justify\">
    250. ";
    251. echo $treffer["textstelle"][$i]."<br>
    252. ";
    253. echo "<small><b>Weitere Vorkommnisse: </b>".$treffer["mehr"][$i]."</small></p></td></tr>
    254. ";
    255. echo "<tr><td><a href=\"http://".$SERVER_NAME."/".$treffer["datei_url"][$i]."\" target=\"_blank\">
    256. ";
    257. echo "<img src=\"newwindow.gif\" width=\"14\" height=\"10\" border=\"0\">
    258. ";
    260. echo " http://".$SERVER_NAME."/".$treffer["datei_url"][$i]."</a></td>
    261. ";
    262. echo "<td align=\"right\"><small><b>".$treffer["woerter"][$i]." ".$woerter." | ".$treffer["vorkommnisse"][$i]." ".$vorkommnisse."</b></small></td>
    263. ";
    264. echo "</td></tr></table><br><br>
    265. ";
    266. }
    267. }
    268. }
    270. if ($treffer_anzahl>0) { echo "<center>Seite:
    271. "; }
    272. $j=ceil($treffer_anzahl/$treffer_pro_seite)-1;
    273. for ($i=0;$i<=$j;$i++)
    274. {
    275. $zahl=$i+1;
    276. if (($index+1)!=$zahl) { echo "<a href=\"$PHP_SELF?suchtext=$suchtext&index=".$i."&grossschreibung=".$grossschreibung."&ganzewoerter=".$ganzewoerter."\">"; }
    277. echo $zahl;
    278. if (($index+1)!=$zahl) { echo "</a>"; }
    279. echo " ";
    280. }
    281. if ($treffer_anzahl>0) { echo "</center>
    282. "; }
    283. }
    284. ########### Ende des Suchmaschinenskripts ###########
    285. ?>
    287. </body>
    288. </html>
    Alles anzeigen


    Vielen Dank! :)

  • traffic = traffic..
    was soll ich sagen...
    alles was du in einer datenbank speichern willst, musst du von einer anderen seite übers web kopieren..kopieren = traffic
    wenn du nur urls spidern willst, macht das weniger traffic
    wenn dein spider nur die ersten 10kb einer seite kopiert, dann hast du eben nur 10kb traffic
    bilder kopiert php nicht :)

  • da kann ich nur wieder auf meinen alten beitrag verweisen..
    <a href='http://www.easy-coding.de/index.php?showtopic=256' target='_blank'>http://www.easy-coding.de/index.php?showtopic=256</a>
    und wenn du es wieder nicht installieren kannst, oder mehr brauchst, dann besorg dir einen coder ($$$)
    dabei ist phpcrawl sooo einfach
    <a href='http://phpcrawl.cuab.de/quickstart.html' target='_blank'>http://phpcrawl.cuab.de/quickstart.html</a>

  • Habe nun alles auf den Server hochgeladen ( <a href='http://www.regon.de/crawl/' target='_blank'>http://www.regon.de/crawl/</a> )
    Und ich ahbe folgende Datei erstelt: (http://www.regon.de/crawl/such.php )

    Quellcode

    1. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
    3. <html>
    4. <head>
    5. <title>PHP-Suchmaschine</title>
    6. </head>
    8. <body>
    10. <?
    11. include("classes/phpcrawler.class.php");
    12. include("classes/phpcrawlerutils.class.php"); >?
    13. class myCrawler extends phpcrawler {
    15. function handlePageData($page_data) {
    17. // your code, do something with the array $page_data
    18. // that contains the page/file-information
    20. }
    22. }
    24. $crawler = &new MyCrawler();
    26. $crawler->setURL("www.foo.com");
    27. $crawler->addReceiveContentType("/text/html/");
    28. // ...
    30. $crawler->go();
    32. <?php
    34. // It may take a whils to crawl a site ...
    35. set_time_limit(10000);
    37. // inculde class-files
    38. include("classes/phpcrawler.class.php");
    39. include("classes/phpcrawlerutils.class.php");
    41. // Extend the class and override handlePageData()-method
    42. class myCrawler extends phpcrawler {
    44. function handlePageData($page_data) {
    46. // Here comes your code.
    47. // Do whatever you want with the information given in the
    48. // Array $page_data about a page or file that the crawler actually found.
    49. // See complete list of elements the array will contain in the
    50. // class-refenence.
    51. // This is just a simple example.
    53. // Print the URL of the actual requested page or file
    54. echo "Page requested: ".$page_data[url]."<br>";
    56. // Print the first line of the header the server sent (HTTP-status)
    57. echo "Status: ".strtok($page_data[header], "
    58. ")."<br>";
    60. // Print the referer
    61. echo "Referer-page: ".$page_data[referer_url]."<br>";
    63. // Print if the content was be recieved or not
    64. if ($page_data[received]==true)
    65. echo "Content received: ".$page_data[bytes_received]." bytes";
    66. else
    67. echo "Content not received";
    69. // ...
    71. // Now you should do something with the content of the actual
    72. // received page or file ($page_data[source]), we skip it in this example
    74. echo "<br><br>";
    75. flush();
    77. }
    79. }
    81. // Now, create an instance of the class, set the behaviour
    82. // of the crawler (see class-reference for more methods)
    83. // and start the crawling-process.
    85. $crawler = &new MyCrawler();
    87. // URL to crawl
    88. $crawler->setURL("www.php.net");
    90. // Only receive content of files with content-type "text/html"
    91. // (regular expression, preg)
    92. $crawler->addReceiveContentType("/text/html/");
    94. // Ignore links to pictures, dont even request pictures
    95. // (preg_match)
    96. $crawler->addNonFollowMatch("/.(jpg|gif|png)$/ i");
    98. // Store and send cookie-data like a browser does
    99. $crawler->setCookieHandling(true);
    101. // Set the traffic-limit to 1 MB (in bytes,
    102. // for testing we dont want to "suck" the whole site)
    103. $crawler->setTrafficLimit(1000 * 1024);
    105. // Thats enough, now here we go
    106. $crawler->go();
    109. // At the end, after the process is finished, we print a short
    110. // report (see method getReport() for more information)
    112. $report = $crawler->getReport();
    114. echo "Summery:<br>";
    115. if ($report[traffic_limit_reached]==true)
    116. echo "Traffic-limit reached <br>";
    118. echo "Links followed: ".$report[links_followed]."<br>";
    119. echo "Files received: ".$report[files_received]."<br>";
    120. echo "Bytes received: ".$report[bytes_received]."<br>";
    122. ?>
    Alles anzeigen


    Ist das so alles richtig? Gibt es auch Beispiel Seiten für das Such-Sricpt ?

    Vielen Dank! :rolleyes: