Projekt von Andreas Hernitscheck
| Branche: | Reise/Tourismus |
|---|---|
| Jahr: | 2002 |
| Beschreibung: | Perl Programm zum rekursiven durchforsten einer Site. |
| Technologien: |
TQ3 - Spider
Meine Aufgabe war es ein Perl-Programm zu schreiben, das bei einem regelmäßigen Aufruf die TQ3 Webseiten komplett rekursiv indexiert und den Inhalt in eine Datenbank speichert, damit darin eine Suche durchgeführt werden konnte.
Es werden nur bestimmte, durch Tags markierte Bereiche der Website verwendet (Keine Menüs; keine Werbung) und ein paar Meta-Tags gelesen. Die Einspeisung in die Datenbank erfolgte differenziell, somit war diese zu jeder Sekunde voll einsatzbereit.
Meine Aufgabe war es ein Perl-Programm zu schreiben, das bei einem regelmäßigen Aufruf die TQ3 Webseiten komplett rekursiv indexiert und den Inhalt in eine Datenbank speichert, damit darin eine Suche durchgeführt werden konnte.
Es werden nur bestimmte, durch Tags markierte Bereiche der Website verwendet (Keine Menüs; keine Werbung) und ein paar Meta-Tags gelesen. Die Einspeisung in die Datenbank erfolgte differenziell, somit war diese zu jeder Sekunde voll einsatzbereit.