Lost in Programming

Da hat doch tatsächlich jemand einen Quelltext geschrieben der in zehn verschiedenen Programmiersprachen ausführbar ist und auch noch in jeder Sprache etwas anderes ausgibt.

Der folgende Quelltext ist unter diesen Programmiersprachen ausführbar:
C, C++, Perl, TeX, LaTeX, PostScript, sh, bash, zsh and Prolog.

%:/*:if 0;”true” +s ||true«/;#|+q|*/include<stdio.h>/*_/ {if(%)}newpath/Times-Roman findfont 20 scalefont setfont( %%)pop 72 72 moveto(Just another PostScript hacker,)show(( t)}. t:-write(‘Just another Prolog hacker,’),nl,halt. :-t. :-initialization(t). end_of_file. %)pop pop showpage(-: */ int main(){return 0&printf(“Just another C%s hacker,n”,1% sizeof’2’*2+”++”);}/*fi}csname @gobbleendcsname{egroup letLaTeXTeXifx}if00documentclass{article}begin{doc% ument}fi Just another LaTeX hacker,end{document}|if 0; /(J.*)$sh(.*)”/,print”$1Perl$2$/”if$_.=q # hack the lang! / sh=sh;test $BASH_VERSION &&sh=bash;test $POSIXLY_CORRECT&& sh=sh;test $ZSH_VERSION && sh=zsh;awk ‘BEGIN{x=”%c[A%c[K” printf(x,27,27)}’;echo “Just another $sh hacker,” #)pop%*/

Autor des Quelltextes: pts oldalai — gefunden über Raganwald.

In der Praxis ist das zwar nicht wirklich sinnvoll, aber ich finde es ziemlich cool

Mit Hilfe des relativ neuen Scrubyt-Moduls für Ruby kann man jede Webseite mit ein paar Zeilen Code in eine externe Datenbank verwandeln. Scrubyt fungiert dabei als ein Web-Grabber, mit dessen Hilfe sich Datenstrukturen (z.B. Listen, Tabellen, etc.) aus Webseiten relativ einfach extrahieren lassen.

Solche Module und Klassen gibt es zwar schon einige, allerdings setzt Scrubyt auf ein ganz neues Konzept, das mir zumindest neu war. Und zwar muss man nicht explizit vorgeben wie die Datenstruktur aussieht und wie diese ausgelesen werden sollen, sondern man gibt Scrubyt einfach einen Satz Beispieldaten vor und es bildet sich dann daraus eine eigene Formel. Unter Anwendung dieser automatisch generierten Formel können dann die Daten z.B. als XML exportiert werden oder anderweitig weiterverwendet werden.

Durch diese ausgeklügelte Methode reichen schon ca. 10 Zeilen Ruby-Code aus um z.B. eine Liste von Produkttiteln und Preisen von E-Bay oder Amazon auszulesen.

Anwendungsbeispiele
Und wofür lässt sich diese Technik in der Praxis dann nutzen? Es gibt dafür einige Anwendungsbeispiele wie z.B. das Überwachen von Auktionen, Aktienkursen oder sonstigen Daten.

Aber Vorsicht…
Bei solchen “Grabbing”-Klassen und Modulen sollte man allerdings immer bedenken das es sich beim Ergebnis um fremde Daten handelt und diese auch ggf. rechtlich geschützt sind. Daher sollte man sich bei kommerziellen, Traffic-lastigen und anderen größeren Projekten erstmal mit dem Seitenbetreiber in Verbindung setzen um die rechtliche Seite abzuklären.

Ein kurzes Beispiel:

ebay_data = Scrubyt::Extractor.define do fetch ‘http://www.ebay.com/’ fill_textfield ‘satitle’, ‘ipod’ submit click_link ‘Apple iPod’ record do item_name ‘APPLE NEW IPOD MINI 6GB MP3 PLAYER SILVER’ price ‘$71.99’ end next_page ‘Next >’, :limit => 5 end
Und das Ergebnis davon als XML: <root> <record> <item_name>APPLE IPOD NANO 4GB - MP3 PLAYER</item_name> <price>$149.95</price> </record> <record> <item_name>APPLE IPOD 30GB BLACK</item_name> <price>$172.50</price> </record> <record> <item_name>NEW APPLE IPOD NANO 4GB PINK MP3 PLAYER</item_name> <price>$171.06</price> </record> <!-- another 200+ results --> </root> (Quelle des Code-Snippets: scrubyt.org)

Mein Fazit:
Scrubyt ist eine sehr interessante und durchdachte Klasse, nur schade das diese (im Moment) nur für Ruby erhältlich ist

Weiterführende Links:

- Offizielle Webseite von Scrubyt
- Data Extraction for Web 2.0 - Tutorial

KavaScript? — Nein das ist kein Rechtschreibfehler

KavaScript ist eine neue Hybrid Programmiersprache die aus einer Kreuzung von JavaScript, Ruby und Perl besteht.

Allerdings steckt hinter KavaScript ein interessantes neues Prinzip das mir zumindest von anderen Sprachen noch nicht bekannt war. Denn im Gegensatz zu anderen Sprachen wandelt KavaScript den Quelltext in standardkonformen JavaScript Code um anstatt eigene Binaries oder ähnliches zu erzeugen. Dadurch ist es möglich das jeder modernere Webbrowser die Programme ausführen kann.

Weiterlesen »

Letztens bin ich über einen sehr interessanten neuen Service namens Feng-GUI gestoßen.

Dort kann man sich eine sogenannte “Heatmap” erzeugen lassen. Das ist eine Karte die zeigt welche Bereiche einer Webseite ein Besucher besonders wahrnimmt und welche nicht.

Solche Heatmaps sehen dann zum Beispiel so aus:


Alles in allem eine sehr interessante Sache