tjaard.nl

Reguliere expressies, ook wel regexps of regular expressions genoemd, beschrijven talen of patronen. In de informatica worden ze gebruikt in parsers om te bepalen wat er nu precies staat in een stuk programmacode, XML, HTML enzovoorts. Nu klinkt het een stuk ingewikkelder dan dat het is, hetgene waarin we hier geinteresseerd zijn is dat we met een reguliere expressie een verzameling strings kunnen samenvatten met één patroonomschrijving. Eerst zullen we bekijken hoe je in een reguliere expressie een patroon omschrijft, daarna wordt uitgelegd hoe je bepaalde URLs simpel in één patroon kunt vatten om in zo min mogelijk expressies zoveel mogelijk ongewenste content te filteren.

Adblock werkt intern met javascript, dus de expressies hebben ook deze zelfde syntax, welke op zijn beurt geleend is van de taal Perl. Helaas zijn de reguliere expressies van javascript iets minder krachtig dan die van Perl, waarbij het grootste gemis de afwezigheid van negaties van expressies is. Het is dus helaas op dit moment niet mogelijk om het filter voor bepaalde sites uit te schakelen. Gelukkig is het sinds kort mogelijk om een whitelist te definiëren, hoewel deze niet tot de syntax van javascript reguliere expressies behoren.

De syntax van reguliere expressies is vrij simpel, ze bestaan uit karakters en metakarakters. De gehele expressie staat op zijn beurt tussen slashes. De expressie wordt van links naar rechts afgewerkt. Als er karakters staan (zoals letters), wordt gekeken of op een punt deze letter in de te matchen string staat. Slaagt dit, dan wordt naar het volgende (meta)karakter in de expressie gekeken. Dit moet staan direct na het punt in de te matchen string waar je was gebleven na het vorige (meta)karakter in de expressie. Is dat niet zo, dan is er geen match. Je hebt een match als het lukt ergens in de te matchen string alle regels van de expressie van links naar rechts te doorlopen. Dit klinkt allemaal misschien zeer formeel, maar in wezen komt het neer op niet meer dan dit:
Er zullen vast mensen zijn die zich afvragen wat hier bijzonder aan is. Niet veel natuurlijk… maar er zijn nog veel meer mogelijkheden. Je kunt in reguliere expressies aangeven dat meerdere dingen mogelijk zijn, het ene, het andere, of beide. Als je wel eens geprogrammeerd hebt: inderdaad een or. Hier komen we een metakarakter tegen, in dit geval de operator |. Met deze operator kun je een keuze maken tussen wat aan weerszijden staat, uiteraard mogen ook beide opties voorkomen.
Da’s leuk, nu kun je al je losse adblockregels met |’s achterelkaar plakken in één regel. Maar da’s nog lang niet alles. Je hebt ook haakjes waarmee je een deel van de expressie kunt groeperen. Iedereen die wiskunde gehad heeft op school weet hoe haakjes zich in formules gedragen: ze gaan voor alles als je ze oplost. Dit geldt ook voor reguliere expressies: als je aankomt bij een gedeelte tussen haakjes is hetgene tussen haakjes hetgene dat in z’n geheel gematcht moet worden voordat je na het haakjespaar verder gaat. Zowel een los karakter als een expressie tussen haakjes kun je beschouwen als subexpressie. In de praktijk zul je haakjes vaak gebruiken in combinatie met de |.
Dit begint al op een bruikbaar filter te lijken, maar het zou fijn zijn als we wat flexibeler om konden gaan met wat er tussen bepaalde subexpressies mag staan. De wildcards van de simpele adblockfilters zijn te implementeren met behulp van quantifiers en tekenklassen. Klinkt ingewikkeld… is het niet. Een tekenklasse representeert één karakter uit een bepaalde verzameling, een quantifier geeft aan hoevaak de subexpressie waar hij achter staat gematcht moet worden. We introduceren de metakarakters ., *, ? en +. De . staat voor één willekeurig karakter, de * achter een subexpressie wil zeggen dat deze nul of meer keren mag matchen, de ? dat de expressie waar hij achter staat nul of één keer mag matchen en de + voor minstens één match. Enkele voorbeelden zullen dingen verduidelijken.
Geloof het of niet, zojuist zijn de belangrijkste gereedschappen beschreven voor het maken van geavanceerde filters. Er zijn echter nog wat mogelijkheden die je minder vaak gebruikt, maar wel handig zijn. Eén van deze dingen zijn zelfgemaakte quantifiers. Met behulp van van een accoladepaar achter een subexpressie heb je meer controle over het aantal keren voorkomen ervan.
Ook soms nuttig zijn de verdere tekenklassen, waarvan we de . al gezien hebben. Waar je op moet letten is dat een tekenklasse in je expressie in beginsel één match betekent. In combinatie met quantifiers worden het krachtige instrumenten, voor ons nuttige voorgedefiniëerde zijn:
Het is ook mogelijk om zelf een verzameling aan te geven die als tekenklasse dient. Dit doe je door losse karakters of bereiken van karakters tussen blokhaken te zetten. Ook kun je met behulp van de operator ^ aangeven dat je alles behalve de verzameling wilt matchen. Voorbeelden:
Wat verder nog speciale karakters zijn zijn de symbolen voor het begin en het einde van de regel, respectievelijk ^ en $. Door een ^ in je expressie te zetten geef je aan dat er niks voor dat punt mag staan, met een $ dat er niks na het punt mag staan. Wil je dus een filter maken met file-extensies kun je er uit veiligheid een $ achterzetten.
Het kan ook voorkomen dat je één van de genoemde metakarakters letterlijk wilt filteren. Dit doe je door er een \ voor te zetten: het escapekarakter. Daar URLs veel karakters bevatten die als metakarakter gezien kunnen worden zul je de \ regelmatig nodig hebben.

Dit is alle functionaliteit van reguliere expressies die we kunnen gebruiken voor het maken van goede filters. Ikzelf maak een onderscheid tussen twee ’soorten’:

• Het filteren van woorden die je niet in de url wilt zien (ad, banner en dergelijke);
• Het uitschakelen van advertentiebronnen voor een specifieke website.

Een derde optie, het blokkeren van hosts die altijd advertenties bieden, is te scharen onder woorden die je niet wilt zien.

Om te laten zien hoe je een filter van de eerste categorie kunt opbouwen geef ik als voorbeeld een vereenvoudiging van één van m’n eigen filters die allerlei iteraties van ad filtert. /ad/ voldoet niet omdat je dan ook sad, mouse_pad en dergelijke dingen filtert.
Als je bij een bepaalde website de advertentiebronnen wilt aanpakken zul je wat analyse moeten doen aan de opbouw van de site. We nemen als advertentievergeven voorbeeldsite http://www.cu2.nl en gaan daarin in de eerste plaats zoeken naar iframes, scripts en plaatjes. Kijk ook goed in welke subdirectories de normale plaatjes en de reclame staan, veel sites houden er aparte directories voor aan, iets waar je gebruik van kunt maken.
Custom filters voor sites zijn vooral de moeite waard als je die site vaak bezoekt. Wat echter vervelend is, is dat sommige sites alle plaatjes (advertenties en nuttige) in dezelfde directory hebben staan. Aangezien advertenties telkens wisselen is het ondoenlijk om deze elk apart in het filter op te nemen, de pagina-layout is een stuk minder veranderlijk en we zouden willen dat we wat uitzonderingen konden aangeven. Dat kan. Maar in zeer beperkte mate.
Een feature die adblock geërfd heeft van Perl is lookahead assertion. In adblock kunnen we, nadat het filter is doorlopen, erna nog uitzonderingen aangeven. Deze staan in een subexpressie tussen (?! ). Erna mogen geen filterregels meer staan.
Ookal is dit mechanisme in vergelijking met de mogelijkheden in Perl zeer beperkt, het is afdoende om een goed filter te maken voor de zelf gehoste reclame van startkabel.nl. Een zeer nuttige methode om na te gaan wat gewenste URLs zijn en wat niet is het naar de site surfen en op het adblock-knopje in Firefox klikken. Als je uit de lijst een URL selecteert gaat het object namelijk knipperen, wat het eenvoudig maakt na te gaan welke URL bij welk plaatje hoort en dus ook om na te gaan wat de URLs zijn van de plaatjes die je wilt behouden.

Sinds kort heeft adblock de mogelijkheid om een whitelist aan te leggen. Deze werken heel simpel: zet @@ voor de expressie en alle items die eraan voldoen zullen altijd getoond worden. Omdat deze whitelist nog steeds op het niveau van de URL van de objecten werkt zul je hiervan ook uit moeten zoeken hoe ze in elkaar zitten; websites opgeven waarop helemaal geen filtering plaats moet vinden is niet mogelijk in de filters. Nieuwere versies van Adblock Plus hebben echter een aparte lijst van sites waarop geen filtering toegepast wordt. En een lijst van sites waarvan de advertenties wel geladen maar niet getoond worden. Aan alles is gedacht ;) .

Op verzoek hier nog een overzicht van alle speciale karakters om alles achteraf nog eens rustig te kunnen overkijken :) .

Ik hoop dat dit een zinnige tutorial was. Als je foutjes hebt gevonden of aanvullingen/opmerkingen hebt hoor ik ze graag! Als je inspiratie nodig hebt (of lui bent :P ) kun je mijn filters eens bekijken en in adblock importeren. Er staan expressies in voor bepaalde woorden, bepaalde hosts en specifieke filters voor bepaalde websites en reclame van gratis hosts. Ik moet erbij zeggen dat ik niet perfect ben en sommige filters misschien handiger kunnen. /affiliates?/ heeft een overbodige s? bijvoorbeeld, ga zelf maar na waarom ;) .