programmation-python.org - Tarek Ziad�

AfpySprint � Dijon

L'A.G. de l'Afpy organis�e ce week-end � Dijon, s'est transform�e en AfpySprint par manque de monde pour atteindre le quorum. Le nouveau bureau de l'association sera donc vot� plus tard :)

Entre deux restos et une d�gustation de vins, nous avont boss� sur trois ateliers:

pr�paration des JFP'08, qui a �t� l'occasion d'une d�mo par Seb de MinMap pour la prise de note, avec Freemind;
cr�ation d'une application Django (afpy_jobs) pour les offres d'emplois du site, qui deviendra jobs.afpy.org � terme;
reprise du taf sur mailwoman, qui doit nous permettre � terme de fusionner mailman et le forum web du site.

Pour info, l'association a maintenant son propre serveur dedibox, et vous pouvez suivre les devs sur le repository : http://trac.afpy.org/misc

Dijon capitale du V.. Libre !

Hasard du calendrier, le mois de septembre sera riche en �v�nements open source � Dijon:

Rendez-vous cartographique (20 sept)

Si vous aimez le vin, il faut aller au #2 ;)

Recherche des similitudes par inf�rence Bayesienne

Le site fr.luvdit.com permet de proposer aux visiteurs une s�lection de livres gr�ce au k-NN, mais il part du principe que ces derniers utilisent avec pertinence les �tiquettes, ce qui est loin d'�tre syst�matique: seuls les geeks et les personnes habitu�es aux sites comme flickr ou delicious le font correctement.

Pour pallier � ce probl�me, une autre m�thode de s�lection peut venir renforcer celle du k-NN: l'inf�rence bayesienne. Cette technique permet d'associer � des cat�gories une liste de mots (==un texte). Lorsqu'une nouvelle liste de mots est rencontr�e, le syst�me calcul la probabilit� d'appartenance � chacune des cat�gories existantes, en fonction des listes de mots d�j� crois�es. Pour augmenter la pertinence, les mots communs ou courts sont supprim�s, pour tenter de conserver l'essence du texte.

Elle est appliqu�e ainsi au site:

Le r�sum� (==la liste des mots) de chaque livre comment� par un utilisateur est associ� � une �tiquette correspondant � la note que ce dernier a donn�;
de la m�me mani�re, le r�sum� est associ� � chaque �tiquette que l'utilisateur a donn�.

Lorsque des nouveaux livres sont ajout�s, le syst�me va calculer pour chaque:

la note que l'utilisateur pourrait donner;
les �tiquettes qu'il pourrait mettre.

Les propositions obtenues par le k-NN peuvent d�s lors �tre renforc�es par ce r�sultat:

les livres � note possible �lev�e sont mis en avant;
lorsque l'utilisateur choisi des �tiquettes, celles calcul�es par le syst�mes sont propos�es.

Pour affiner les calculs, l'utilisateur pourra r�futer un livre en indiquant que ce dernier ne l'int�resse pas. Cette action aura pour effet de recalculer les probabilit�s des cat�gories. Le code-maquette est ici: http://hg.programmation-python.org/browser/classifier. Mais est encore affreusement lent � cause d'une mauvaise conception au niveau du stockage SQL. Il est en cours de refactorisation, mais fonctionne d�j�. A terme le paquet classifier pourra servir � n'importe quel besoin d'inf�rence bay�sienne (et il y en a partout). Le doctest montre le fonctionnement.

Ressources Python

Cette page regroupe une liste de ressources web pour le langage Python, organis�es en cat�gories. Elle d�marre � peine et sera mise � jour r�guli�rement.

Cat�gories:

R�f�rence du langage
Aide-m�moire
Biblioth�ques tierces
Frameworks web
Blogs
Sites web
Pr�sentations, tutoriels

R�f�rence du langage

http://docs.python.org/ est le point de d�part pour rechercher de la documentation en ligne sur la syntaxe de Python. Les sections les plus importantes sont:

Aide-m�moire

Laurent Pointal maintient une Quick Reference Card qui regroupe sur une feuille A4 une cheatsheet.

Biblioth�ques tierces

SQLAlchemy, ORM le plus utilis�

Frameworks web

Django

Extensions

Extension django-openid

Extension django-voting

Plus d'extensions via une recherche google

Environnement de d�veloppement pour Windows: Instant Django

Pylons
Zope
TurboGears

Comparatifs en fran�ais : Django vs Turbogears

Blogs

Biologeek, orient� Django
Kib's blog, LaTeX, Django et reSTructuredText
Je Hais le Printemps, Django, Ubuntu

-> si vous avez un blog, n'h�sitez pas � le signaler en commentant

Sites web

Le site de l'Afpy (Asssociation Francophone Python) : http://afpy.org
LearningPython, tutoriel simples et efficaces en anglais
Dive Into Python, version anglaise, version fran�aise

Pr�sentations, tutoriels

Django � Oscon: http://toys.jacobian.org/presentations/2007/oscon/tutorial/

N'h�sitez pas � commenter ce billet pour le compl�ter

Un widget flash pour luvdit!

Julien m'a fait un petit widget flash pour ludvit!. Le code r�cup�re un flux xml sur le site, qui permet de lister les 5 derniers items comment�s ou ajout�s par un utilisateur donn�. Il appara�t sur mon blog � gauche.

Voici le code � inclure:

<object classid="clsid:d27cdb6e-ae6d-11cf-96b8-444553540000" 
        codebase="http://fpdownload.macromedia.com/pub/shockwave/cabs/flash/swflash.cab#version=8,0,0,0" 
        width="80" height="450" id="widget" align="middle">
 <param name="allowScriptAccess" value="sameDomain" /> 
 <param name="FlashVars" value="user=tarek">
 <param name="wmode" value="transparent" />
 <param name="movie" value="http://fr.luvdit.com/js/widget.swf" />
 <param name="loop" value="false" />
 <param name="menu" value="false" />
 <param name="quality" value="high" />
 <param name="bgcolor" value="#ffffff" />
 <embed src="http://fr.luvdit.com/js/widget.swf" 
        FlashVars="user=tarek" loop="false" menu="false" 
        quality="high" bgcolor="#ffffff" width="80" 
        height="450" name="widget" align="middle" 
        allowScriptAccess="sameDomain" 
        wmode="transparent"
        type="application/x-shockwave-flash" 
        pluginspage="http://www.macromedia.com/go/getflashplayer" />
<br/>
<a href="http://fr.luvdit.com">luvdit!</a>

Si vous avez un compte sur le site, il suffit de remplacer 'tarek' par votre login dans les param�tres du widget.

Au coeur de Python Volume 1

J'ai re�u la traduction de l'ouvrage de Wesley Chun, "Core Python Programming". La version fran�aise se pr�sente en deux tomes, dont voici le premier:

Au coeur de Python, Tome 1, Notions fondamentales

Si vous l'avez lu, n'h�sitez pas � commenter la fiche

Un site de critiques de livre

J'ai commenc� � regrouper sur un site toutes mes lectures. L'application qui fait fonctionner ce site reprend tous les principes �nonc�s dans les billets suivants:

Un widget en flash permet aussi d'afficher sur un blog (regardez � gauche) ses 5 derni�res critiques (merci Julien).

Et c'est Django Powered. Si vous aimez bien lire et partager, rejoignez moi sur fr.luvdit.com, m�me s'il n'est pas tout � fait termin�, il est d�j� utilisable.

Un joli trac pour mes projets

J'ai insall� un trac pour mes projets, avec le plugin Mercurial.

http://hg.programmation-python.org/

L'interface est beaucoup pus agr�able que le browser web par d�faut de Mercurial.

Joie.

Service de mailing asynchrone pour Django, Plone, etc..

Django ne d�roge pas � la r�gle, et fourni dans comme pour la plupart des frameworks web Python, un module pour l'envoi de mail totalement... inutilisable dans des conditions de production. En effet, send_mail et send_mass_mail, les deux API de django.core.mail, envoient tous les deux les mails de mani�re synchrone.

L'effet est relativement d�sastreux sur les performances du site puisque chaque envoi de mail provoque un blocage du thread en cours, le temps de l'�change avec le serveur SMTP via telnet. Sur un site charg�, ou qui utilise de fa�on massive les envois de mails, l'emploi de django.core.mail est donc fortement d�conseill�.

Plus globalement, tout code qui n'entre pas en ligne de compte pour calculer la page � afficher, ne doit pas s'ex�cuter de mani�re synchrone (autres exemples de calculs asynchrones: calculs des voisins, indexation, etc).

Zope 3, un peu plus mature et sophistiqu� que les autres frameworks sur ce point pr�cis, propose un module d'envoi de mails asynchrone, qui recopie les mails dans un r�pertoire au format Maildir, et lance un thread en charge de d�piler les mails du r�pertoire. L'inter�t, outre l'aspect asynchrone qui permet d'acc�lerer les envois et de lib�rer le thread qui sert la page imm�diatement, est la robustesse: si le serveur tombe, le thread peut reprendre son travail d'envoi lorsqu'il est relanc�.

Mais cette solution reste li�e au serveur d'application car le thread est li� au processus. L'autre d�faut est qu'il est n�cessaire, si l'on veut ajouter des informations suppl�mentaires aux mails � traiter, d'ajouter des en-t�tes pour respecter le format RFC-2822 des mails qui sont recopi�s dans la maildir (et de les retirer avant l'envoi r�el des mails). Enfin, le code devient d�pendant du syst�me de fichiers, ce qui peut poser des probl�mes d'infrastructure si l'on d�ploie ce service d'envoi de mails sur une machine tierce au serveur d'application.

Une autre solution, beaucoup plus robuste, consiste � d�poser ces mails dans une table de base de donn�e relationnelle (celle employ�e par le site dans Django, ou une d�di�e pour Zope) qui est lue r�guli�rement par un service d'envois de mails, totalement ind�pendant du serveur web.

Deux tables pour le prix d'une

Pour mettre en place ce service, deux tables sont cr��es dans la base de donn�es, gr�ce � SQLAlchemy:

mail_data = Table('mailer_mail_data', metadata,
                   Column('id', Integer, primary_key=True, autoincrement=True),
                   Column('subject', String(300)),
                   Column('sender', String(300)),
                   Column('recipients', String(300)),
                   Column('date', DateTime()),
                   Column('data', TEXT()))

mailed_data = Table('mailer_mailed_data', metadata,
                   Column('id', Integer, primary_key=True, autoincrement=True),
                   Column('subject', String(300)),
                   Column('sender', String(300)),
                   Column('original_id', Integer),
                   Column('recipients', String(300)),
                   Column('error', String(300)),
                   Column('data', TEXT()),
                   Column('date', DateTime()),
                   Column('status', String(10)),)

La table mail_data sert � stocker les informations sur les mails � envoyer, et la table mailed_data permet de stocker les mails envoy�s, avec pour chaque un statut, si jamais l'envoi a �chou�. Cette deuxi�me table permet aux applications de mettre en place du feedback en cas de probl�me d'envoi.

Travailleuse, travailleur

Le programme en charge d'envoyer les mails est un thread qui ouvre r�guli�rement la base pour:

Lire la table mail_data et envoyer les mails qu'elle contient
Archiver les mails envoy�s, avec ou sans erreurs, dans mailed_data
Supprimer les mails envoy�s de la table mail_data

Il est lanc� comme programme ind�pendant vi un script run.py, qui peut �tre dameonis� sur le serveur gr�ce aux dameontools par exemple (il y a surement plus simple de nos jours avis aux experts Linux...)

class MailWorker(Thread):
    """reads the SQLDB to do the jobs"""

    def __init__(self):
        Thread.__init__(self)
        self.is_working = False
        self.running = False

    def _get_mails(self):
        """returns lines of mail_data """
        return mail_data.select().execute().fetchall()

    def _get_message(self, mail):
        """returns a Mime"""
        msg = MIMEText(b64decode(mail.data))
        msg['From'] = mail.sender
        msg['To'] = mail.recipients
        msg['Subject'] = mail.subject

        msg['Date'] = mail.date.isoformat()
        return msg

    def _send_mail(self, mail):
        """sends the mail"""
        server = smtplib.SMTP(settings.SMTP_SERVER)
        msg = self._get_message(mail)
        try:
            server.sendmail(msg['From'], msg['To'], msg.as_string())
        finally:
            server.quit()
        logging.debug('mailer:message sent to %s' % msg['To'])

    def _store_mail(self, mail, error=None):
        """stores the mail"""
        if error is not None:
            error = str(error)
        ins = mailed_data.insert()
        ins.execute(subject=mail.subject, sender=mail.sender,
                    original_id=mail.id, recipients=mail.recipients,
                    error=error, data=mail.data, date=datetime.now(),
                    status='processed')

        # removes from original table
        mail_data.delete().execute(id=mail.id)

    def run(self):
        """called threaded"""
        self.running = True
        logging.debug('mailer:launched')

        while self.running:
            # index
            self.is_working = True
            try:
                # get mails to send
                mails = self._get_mails()
                for mail in mails:
                    try:
                        # send then
                        self._send_mail(mail)
                    except Exception, e:
                        logging.debug('mailer:failed to send mail')
                        self._store_mail(mail, e)
                    else:
                        self._store_mail(mail)
            finally:
                self.is_working = False
                time.sleep(.1)

        logging.debug('mailer:stopped')

worker = None

def start_server():
    """starts the worker"""
    global worker
    worker = MailWorker()
    worker.start()

def stop_server():
    """stops the worker"""
    global worker
    if worker is not None:
        worker.running = False
        worker.join()
        worker = None

def is_working():
    """tells if the worker works"""
    return worker.is_working

# will make sure the thread stops when the process quits
from atexit import register
register(stop_server)

API d'envoi de mail

Enfin, les applications peuvent se servir du module sender pour envoyer des mails. Ce dernier injecte dans la table mail_data le mail et rend la main imm�diatement

def send_mail(sender, recipients, subject, msg):
    """sends the mail by storing it into the DB"""
    inserter = mail_data.insert()
    res = inserter.execute(subject=subject, sender=sender,
                          recipients=','.join(recipients),
                          data=b64encode(msg), date=datetime.now())

    return res.last_inserted_ids()[0]

J'utilise cette API dans mes applications pour tous les envois de mail. Dans Django, elle remplace avantageusement django.core.mail.

Exemple complet

Voici la docstring du paquet que j'ai con�u

mailer
=====

Mailer provides:

- a simple method to send mails (eg: store them)
- a worker that actually sends them

Let's work on a sql data file for the tests:

    >>> import settings
    >>> settings.DATABASE = test_db

send mails
----------

To send a mail, the package provides the `sender` module::

    >>> from sender import send_mail
    >>> mail_id = send_mail(sender='tarek@ziade.org',
    ...                     recipients=['ziade.tarek@gmail.com'],
    ...                     subject='hello',
    ...                     msg='h�llo')


The mail is then stored in the database, and the id returned is the
mail id in the DB.

Another API will give the status of the mail in process::

    >>> from sender import mail_status
    >>> mail_status(mail_id)
    u'processing'

When the id is not given, the whole mailed table is returned::

    >>> mail_status()
    []

We can ask for the queue size as well::

    >>> from sender import mail_queue_size
    >>> mail_queue_size()
    1

sending mails, for real
-----------------------

A worker is in charge of sending mails::

    >>> from mailer import start_server, stop_server
    >>> start_server()

The mail is then processed::

    >>> import time
    >>> while mail_status(mail_id) == u'processing':
    ...     time.sleep(0.2)
    >>> mail_status(mail_id)
    u'processed'

Let's stop the server::

    >>> stop_server()

And see the status::

    >>> status = mail_status()
    >>> status[0]['subject']
    u'hello'
    >>> status[0]['status']
    u'processed'

Et, � joie, le code est disponible, comme d'habitude, sur http://hg.programmation-python.org, dans le paquet mailer.

Qui est mon voisin ?

Dans un site de contenu, pour rechercher les similitudes entre deux documents bas�e sur les tags qui leur ont �t� associ�s, on recherche l'intersection commune. En d'autres termes, on recherche dans le corpus des documents les documents avec le plus grand nombre de tags communs.

Les algorithmes de voisinage, qui sont les plus simples � mettre en oeuvre, permettent de trouver rapidement ces similitudes en disposant dans un espace multidimensionnel les documents. Chaque dimension est un tag et le document se trouve dans cette dimension
� la coordon�e 0 ou 1 (le document poss�de ce tag ou non).

Une fois cette carte dress�e, il est possible de retrouver les "voisins" d'un document, c'est-�-dire les documents les plus proche dans l'espace.

Cet algorithme s'appel le k-Nearest Neighbor, ou k-NN.

Le livre de r�f�rence en mati�re de IA ("Artificial Intelligence: A Modern Approach"), propose une impl�mentation de cet algorthime en Python, disponible sur son site.

Qui sont mes copains ?

Les cas d'utilisations ne manquent pas pour le k-NN. Il peut par exemple �tre employ� pour rechercher des similitudes entres utilisateurs de la m�me application. C'est le cas par exemple sur Last.Fm, qui propose une fonctionnalit� de "Voisinage" o� la liste des utilisateurs les plus proches de vos choix en mati�re de Tags, est affich�e. Cette liste de personne est susceptible d'avoir des go�ts tr�s similaires aux v�tres.

Le paquet neighbors

Pour une de mes applications, j'ai d�velopp� un paquet au dessus du code du livre, qui propose une api simplifi� qui permet de retrouver les voisins d'un utilisateur, en fonction des tags utilis�s.

Il corrige aussi des erreurs (signal�es) dans l'impl�mentation propos�e par le livre et fourni un syst�me de persistence en base, qui permet de d�coupler le travail de calcul des requ�tes: une application peut requ�ter la base pour conna�tre les voisins d'un utilisateur, pendant qu'un processus se charge de les calculer et les mettre � jour r�guli�rement.

Voici le docstring du paquet:

=======
neartag
=======

This module implements the k-nearest neighbor algorithme (k-NN) that allows
to compute the distance between elements, given a set of value. Each value
is a dimension and the set are the coordinates of the element in the multi
dimensional space.

For tags, the idea is to find neighbours of a given user, depending on the
tags she uses. The `NearestByTag` class is instanciated with those tags::

    >>> from neartag import NearestByTag
    >>> tags = ["django", "python", "zen", "fun", "scary"]
    >>> solver = NearestByTag(tags)

Then each user is added with her name and tag values (boolean value)::

    >>> user_1 = 'user 1', ["django", "python"]
    >>> user_2 = 'user 2', ["zen", "fun", "scary"]
    >>> user_3 = 'user 3', ["django"]
    >>> user_4 = 'user 4', ["django", "python"]
    >>> for user, tags in (user_1, user_2, user_3, user_4):
    ...     solver.add_user(user, tags)

The class then will give a sorted list of neighbours of a given user::

    >>> solver.neighbours('user 1')
    [(0.16..., 'user 4'), (0.3..., 'user 3'), (1.0, 'user 2')]
    >>> solver.neighbours('user 2')
    [(0.83..., 'user 3'), (1.0, 'user 1'), (1.0, 'user 4')]
    >>> solver.neighbours('user 3')
    [(0.33..., 'user 1'), (0.33..., 'user 4'), (0.83..., 'user 2')]
    >>> solver.neighbours('user 4')
    [(0.16..., 'user 1'), (0.33..., 'user 3'), (1.0, 'user 2')]

The smallest the returned value is, the closest the user is.

`neighbours` will return at most 10 neighbours, but this size can be changed::

    >>> solver.neighbours('user 1', 1)
    [(0.16..., 'user 4')]

This class works in-memory, since the loaded values are small enough to fit.

How to use it with an application
=================================

Tags changes all the time in an application. The best use is to instanciate
the class over data retrieved from a database and to compute the distances,
then to save them within a dedicated table. Since the computation can take
time, a thread worker can update those distances from time to time in the
background.

Le paquet neighbors est disponible sur mon repository Mercurial: http://hg.programmation-python.org/repositories/public/ (il faut vraiment que je fasse une autre interface web que celle par d�faut de Mercurial...)

Merci � Olivier pour ses pr�cieux conseils en IA !

Am�liorer la recherche sur un site de contenu

Il y a beaucoup de sites web qui me frustrent : une recherche avec un mot donn� ne fonctionne pas alors que je sais qu'il existe sur le site en question des documents correspondants.

La technique la plus simple pour essayer de maximiser les r�sultats de recherche est d'ajouter un maximum de m�tadonn�es sur les documents, ou d'ajouter une m�canique de synonymes dans le moteur de recherche. Mais ce travail est fastidieux.

Pour faciliter ce travail, j'utilise maintenant une table qui stocke l'int�gralit� des recherches qui ne donnent aucun r�sultat, avec pour chacune le nombre de demandes.

Cette table permet de d�celer les informations que les utilisateurs tente le plus souvent de trouver sur le site sans succ�s. La mise en place des m�tadonn�es devient enfantine, et lorsqu'aucun document ne peut correspondre, une attente de contenu est d�cel�e.

Id�e simple, pas nouvelle, mais rudement efficace :)

Et vous, connaissez vous des techniques pour am�liorer l'indexation d'un site ?

Cache local pour des ressources tierces avec Memcached pour un site Django

Lorsqu'un site web a besoin d'afficher du contenu r�cup�r� sur un autre site, il rend la rapidit� d'affichage d�pendante des performances du site tiers. Pour r�soudre le probl�me, la solution la plus simple consiste � rapatrier les ressources pour ne plus avoir � appeler le site tiers, et � les mettre � jour r�guli�rement.

La mise en place de cette m�canique peut devenir un d�veloppement � part enti�re si l'on souhaite utiliser les ressources depuis plusieurs applications web ou dans une infrastucture redondante pour les mont�es en charge.

Heureusement il y a ~~Findus~~ Memcached. Ce serveur de cache distribu� r�duit � quelques lignes le code n�cessaire pour fournir � une application Python un syst�me de cache ultra performant. Le framework Django, ansi que de nombeux produits Plone, utilisent d'ors et d�j� memcached pour la mise en cache des pages web.

Pour mettre en cache des pages web externes ou des images, le petit module ci-dessous suffit:

import memcache
from urllib2 import urlopen

host = 'localhost:11211'

mc = memcache.Client([host], debug=0)
connected = mc.servers[0].connect() != 0
if not connected:
    raise Exception('%s seems down' % host)

def _get_metadata(url):
    """get url infos"""
    return urlopen(url).info()

def _get_content(url):
    """get url content"""
    return urlopen(url).read()

def get_content(url, control=False):
    """get cached content"""
    cached = mc.get(url)
    if cached is not None:
        infos, cached = cached
        # controls the metadata to see
        # if the source has changed
        if control:
            latest_infos = _get_metadata(url)
            if latest_infos.values() == infos.values():
                return infos, cached
        else:
            return infos, cached
    cached = _get_content(url)
    infos = _get_metadata(url)
    mc.set(url, (infos, cached))
    return infos, cached

Il peut ensuite �tre utilis� pour l'affichage par le serveur d'application via une de ces solutions:

Un proxy local appel� via une rewrite rule d'Apache qui rep�re les �l�ments externes au domaine par expression r�guli�re. (solution la plus �l�gante)
Des urls sp�cifiques qui appelent une fonction en charge de renvoyer la ressource

Dans Django, avec la solution n�2, une nouvelle expression dans urls.py et une vue sp�cialis�e, en charge de renvoyer la ressource, peuvent �tre utilis�es. Attention cependant � conserver des urls fixes, uniques (REST quoi ;)) pour chaque image, pour ne pas perdre le cache du navigateur cot� client.

Voici un exemple d'utilisation via Django.

Dans urls.py l'expression r�guli�re suivante :

(r'^ext/(?P<url>.*)$', 'views.get_external')

permet d'intercepter les urls qui commencent par /ext sur le portail. En remplacant les urls des ressources externes par des urls internes et en retirant le http://, on obtient des urls uniques:

http://example.com/media/image1.jpg

devient

/ext/example.com/media/image1.jpg

La vue invoqu�e peut alors appeler le module de cache:

def get_external(request, url):                                                 
    """retrieves external url""" 
    infos, content = cached_url.get_content('http://%s' % url)                  
    response = HttpResponse(content)
                                                                                
    del response.headers['Content-Type']                                        

    hop_by_hop = ('connection', 'keep-alive', 'proxy-authenticate',             
                  'proxy-authorization', 'te', 'trailers',
                  'transfer-encoding', 'upgrade')                               
  
    for key in infos.keys():
        if key in hop_by_hop:
            continue
        response.headers[key] = infos[key]
 
    # XXX cache info need more infos                                            
    response.headers['via2'] = 'Django memcached App'                           
                                                                                
    return response

Ce qui n'a pas �t� couvert dans ce billet:

Le flush
La gestion fine des timeout du cache, avec le header Age

Il existe d'autres solutions, via des extensions pour Apache, pour mettre en place ce fonctionnement. Mais la simplicit� et la rapidit� de mise en oeuvre de Memcached est telle qu'il ne faudrait pas s'en priver ;). De plus, si ce sont des images que vous r�cup�rez, vous pouvez imaginer toute sorte de traitement avec PIL avant de les ranger dans le cache, ou m�me cr�er un syst�me de thumbnails tr�s performant.

Serveur d'indexation pour Django avec Xapian

Dans mon post pr�c�dent, je parlais de l'indexation avec Xapian. Le fonctionnement du paquet a du �tre revu pour fonctionner convenablement avec un site Django (ou tout autre site web). En effet un site internet peut manipuler le code par le biais de plusieurs threads et processus, et Xapian ne peut avoir qu'un seul acc�s en �criture � sa base de donn�es. Il est donc n�cessaire de d�coupler l'indexation des requ�tes de recherche.

Une des solutions est de maintenir sur le filesystem un fichier de lock pour s'assurer que la base n'est pas ouverte en �criture par deux threads au m�me moment, mais cette solution fonctionne mal en cas de crash de l'application. De plus, les donn�es en cours d'indexation peuvent �tre perdues.

La solution optimale est d'opter pour un pattern producers-consumer avec une pile persistente des donn�es de travail, ind�pendante du site web, qui ne devient qu'un client parmi d'autres.

Voici les modifications apport�es au paquet pour mettre en place ce fonctionnement :

Les demandes d'indexation sont maintenant stock�es dans une base de donn�e sqlite. Comme SQLALchemy est employ�, un passage � postgres ou mysql est direct.
Un thread est en charge de lire la base pour r�cup�rer les demandes d'indexations et acter
L'API de recherche ouvre la base Xapian en lecture seule pour les requ�tes

Cette architecture offre en outre un fonctionnement rapide : lorsque des documents sont ajout�s ou modifi�s dans le site, leur indexation est fait de mani�re asynchrone. Le syst�me des signals est utilis� pour d�clencher une indexation � chaque modification d'un document bas� sur un model. Ce m�canisme, bas� sur le framework d'events de Django, est expliqu� ici: http://www.mercurytide.com/whitepapers/django-signals/.

Au final, pour utiliser le paquet il faut:

Lancer le thread en charge des indexations (via le script run.py)
Importer dans son code les modules searcher et indexer pour travailler

Voici le doctest complet pour bien comprendre le fonctionnement :

=======
indexer
=======

The indexer provides:

- client-side modules : API for client to ask for indexations and query the
  Xapian database. When an indexation is asked, it is stored in a sql
  database;

- server-side application: a standalone thread that indexes what has been
  asked by reading the sql database.


Let's import the modules used by the client-side::

    >>> import indexer
    >>> import searcher

Let's reset the SQL DB first::

    >>> indexer.reset()

Let's also reset the Xapian DB::

    >>> from xapindexer import force_reset
    >>> force_reset()

The Xapian DB should be empty now::

    >>> searcher.corpus_size()
    0

Indexation
==========

Each indexable content has a unique id, and a text to index::

    >>> uid = '1'
    >>> text = 'my taylor is not rich anymore'

Let's index it::

    >>> indexer.index_document(uid, text)

Another one::

    >>> indexer.index_document('2', 'pluto is a dog')

Let's start the worker that is in charge of asynchronous indexation::

    >>> from xapindexer import start_server
    >>> start_server()

Let's wait a bit so the worker has the time to read the SQL Database
and do the work::

    >>> import time
    >>> while indexer.is_working():
    ...     time.sleep(0.2)

`is_working` looks in the SQL DB if there is some work left.

The Xapian DB has two documents now::

    >>> searcher.corpus_size()
    2

Searching
=========

Let's search now, with `searcher`. Operator is AND by default::

    >>> res = searcher.search('rich')
    >>> list(res)
    ['1']
    >>> res = searcher.search('pluto')
    >>> list(res)
    ['2']
    >>> res = searcher.search('dog')
    >>> list(res)
    ['2']
    >>> res = searcher.search('rich dog')
    >>> list(res)
    []

Or operator::

    >>> res = searcher.search('rich dog', or_=True)
    >>> res = list(res)
    >>> res.sort()
    >>> res
    ['1', '2']

We have an API to detect if a document is present::

    >>> searcher.document_exists('2')
    True
    >>> searcher.document_exists('ttt')
    False

And another one to retrieve indexed terms::

    >>> list(searcher.document_terms('2'))
    ['dog', 'is', 'pluto']


Reindexation
============

The document can also be reindexed::

    >>> indexer.index_document('2', 'pluto is a cat')
    >>> indexer.work_in_process()
    ([2], [])

Let's wait a bit::

    >>> while indexer.is_working():
    ...     time.sleep(0.2)

Let's make sure the document has been reindexed::

    >>> list(searcher.document_terms('2'))
    ['cat', 'is', 'pluto']

Then check the indexation has changed::

    >>> res = searcher.search('rich dog', or_=True)
    >>> list(res)
    ['1']

Or deleted::

    >>> res = searcher.search('pluto')
    >>> list(res)
    ['2']
    >>> indexer.delete_document('2')
    >>> while indexer.is_working():
    ...     time.sleep(0.2)
    >>> res = searcher.search('pluto')
    >>> list(res)
    []

Sur la maquette que j'ai mont� pour tester l'outil, j'ai �t� surpris de la rapidit� de la solution. Le couple Xapian+Django permet de mettre en place un moteur de recherche tr�s efficace. Lorsque le site en cours de conception sera termin�, je posterais un lien sur mon blog pour d�mo.

Le code peut �tre r�cup�r� dans xap ici: http://hg.programmation-python.org/repositories/public/

Prochains billets possibles sur ce sujet (� vous de choisir en commentant ce billet):

commentaires d�tail�s sur le code con�u
explications sur les signaux dans Django
...

Indexation facile et rapide avec Xapian

J'en avais parl� il y a quelques mois, Xapian est tr�s simple � utiliser et � mettre en oeuvre pour des besoins l�gers d'indexation. Malgr� son API tr�s orient�e page html (chaque document index� l'est avec le contenu de la page), l'outil peut �tre utilis� pour fournir un moteur de recherche light rapide. Le syst�me de Query qui p�chait encore il y a quelque temps (combinaisons limit�es) est maintenant plus complet.

Xapian s'installe tr�s facilement, ainsi que son binding Python (voir site)

J'avais besoin d'un petit moteur pour un site que je suis en train de monter en Django. Voici le principe mise en oeuvre:

Cr�ation d'une base de type Flint
Indexation de documents
Recherches simples AND ou OR

La base est cr�� par l'API flint_open:

>>> import xapian
>>> DB = xapian.flint_open('file.db', xapian.DB_CREATE_OR_OPEN)

Puis chaque document est index� par la cr�ation d'un Document et un appel successif � ses m�thodes add_term et add_posting, sachant que set_data n'est pas utilis� dans notre cas.

set_data permet de d�finir le contenu du document � stocker, puisque le moteur prend aussi en charge les donn�es.
add_posting permet de stocker les mots-clefs associ�s au document, qui permettent de le retrouver dans une recherche.
add_term est utilis� pour stocker la cl� unique, pr�fix�e d'un 'Q'

Pour des besoins simples d'indexation, set_data se contente de stocker un identifiant unique, comme un uuid ou une url:

>>> uri = '111'
>>> doc = xapian.Document()
>>> doc.add_term('Q%s' % uri, 1)

Enfin, chaque mot est associ� au document avec add_posting:

>>> i = 1
>>> for word in ('cat', 'pussy', 'cool'):
...     doc.add_posting(word, i)
...     i += 1

Puis le document ajout� � la base:

>>> DB.add_document(doc)

La recherche est ensuite effectu�e par le biais d'un object Query:

>>> enquire = xapian.Enquire(DB)
>>> query = xapian.Query('pussy')
>>> enquire.set_query(query)
>>> res = enquire.get_mset(0, 100)
>>> res[0].document.termlist().next().term[1:]
'111'

Les API delete_document et replace_document permettent aussi de g�rer la r�indexation, en retrouvant le document d�j� index� par le biais d'une recherche sur le term qui sert de clef.

Xapian fourni �galement des tokenizers pour faciliter le travail d'extraction des mots � associer au document. J'utilise pour ma part un tokenizer maison plus param�trable.

Si vous avez envie d'utiliser Xapian pour un projet Python, n'h�sitez pas � r�cup�rer le paquet (embryon en cours de conception) que j'ai fait sur mon repository. Il g�re l'indexation, la r�indexation, la suppression, etc.

Repo (cliquer sur manifest, puis aller dans 'xap'): http://hg.programmation-python.org/repositories/public/

Il fournit une API extr�ment simple � mettre en oeuvre. (c.f. le doctest dans doc/db.txt)

Feedback welcome !

Slides JPF

Billet tr�s rapide ;)

mes slides des JFP :

N'h�sitez pas � commenter ce billet pour toute question ou remarque

Sondage sur le livre "Programmation Python"

Une deuxi�me �dition est pr�vue pour le livre Programmation Python, et je souhaiterais avoir l'avis des lecteurs pour am�liorer l'ouvrage. Voici un questionnaire auquel vous pouvez me r�pondre par mail ou directement sur ce billet. Merci d'avance !

1. Pour chacun des chapitres quels sont, selon vous, les points faibles � corriger:

- Introduction:
- Python pour quel usage ?:
- Environnement de d�veloppement:
- Syntaxe du langage:
- Structuration du code:
- Primitives:
- Conventions de codage:
- Principaux modules 1:
- Principaux modules 2:
- Principaux modules 3:
- Exercices corrig�s:
- Programmation par les tests:
- Bonnes pratioques et optimisation:
- POO:
- Annexes:

2. Quelles sont les parties du livre qui vous ont paru trop longues ?

3. Quelles sont les parties du livre qui vous ont paru trop courtes ?

4. Quels sont les sujets qui n'ont pas �t� trait�, � tort ?

5. Voici une liste de sujets qui se rajouteront � la deuxi�me �dition

- Python 3000
- Etude de cas

En voyez vous d'autres que vous aimeriez voir aborder ?

6. Qu'avez vous le plus appr�ci� dans le livre ?

7. Qu'avez vous le plus moins appr�ci� dans le livre ?

Merci d'avance � ceux qui r�pondront !

Journ�es Python Francophone

Wow ! Les Journ�es Python Francophone se d�rouleront dans moins de 15 jours et c'est d�j� une �norme r�ussite pour l'association. De nombreux partenaires se sont joint � l'�v�nement, le programme est riche et tr�s vari�, et plus de 80 personnes se sont pr�-inscrites sur le site.

Cerise sur le gateau: pour ceux qui ne peuvent pas faire le d�placement, Merlin Rocket va diffuser les conf�rences sur Second Life !

Ces journ�es, c'est une occasion unique, outre pour venir voir les conf�rences bien s�r, de venir rencontrer les gens de la communaut� Python francophone.

J'y serais en compagnie de mon fils, avec qui j'irais faire un tour � la CradExpo (ca rentre pile-poil dans ses pr�occupations actuelles ;) ). Et comme c'est la f�te des m�res pendant les journ�es, n'oubliez pas de vous inscrire sur le site pour lui faire gagner un magnifique mug ActiveState par exemple, qu'elle pourra montrer avec fiert� � ses proches, la larme � l'oeil, en disant : "C'est un cadeau de mon fils (ma fille), il (elle) est � la pointe des nouvelles technologies gr�ce � Python, je suis tellement fi�re !"

Petit guide � l'usage du d�veloppeur agile

Je suis ravi de vous annoncer la parution prochaine (le 16 ao�t) de mon deuxi�me livre. Il para�tra chez Dunod et sera orient� m�thodologie, mais appliqu�e, et de mani�re concr�te, � Python.

J'attends le feu vert de l'�diteur pour publier l'index, et quelques morceaux. En attendant
voici la liste des chapitres:

- Introduction
- Environnement de d�veloppement
- Architecture
- D�veloppement
- Bonnes pratiques
- D�veloppement dirig� par les tests
- D�veloppement dirig� par la documentation
- Gestion de projet

Ce livre vient en format r�duit (192 pages) et se d�tache de tous les �l�ments qui peuvent �tre trouv�s facilement sur le net. Le lectorat cible est le d�veloppeur qui a un peu d'exp�rience en d�veloppement, mais pas forc�ment en Python, et le chef de projet qui a en charge le d�veloppement d'un projet Python.

Son objectif est de:

sensibiliser le d�veloppeur Python sur la qualit� du code qu'il produit, et de lui proposer des m�thodes agiles pour l'am�liorer;
sensibiliser les chefs de projet sur les techniques agiles de gestion de projet.

Il compl�tera mon livre pr�c�dent qui lui est dans un format plus complet et moins orient� m�thodologie. Ce dernier sera d'ailleurs mis � jour tr�s prochainement et j'inviterais les lecteurs interess�s � me proposer des modifications, am�liorations, etc.

Stay tuned for more infos !

Critique de livre: The Tipping Point

En achetant ce livre, j'avais peur qu'il soit trop emprunt de culture Am�ricaine pour que je puisse comprendre pr�cis�ment ce que Malcom Gladwell d�crit, et le retrouver dans un contexte culturel Europ�en. Finalement, mise � part quelques r�f�rences am�ricano-am�ricaines, ce livre reste tout � fait limpide et se lit comme un livre de la biblioth�que verte ;).

Le Tipping Point c'est ce moment particulier, quantique, qui fait basculer une mode, une fa�on de penser ou encore une id�e, du quasi-anonymat vers un ph�nom�ne de soci�t�. Gladwell, dans un style journalistique tr�s agr�able d�cortique ce ph�nom�ne par le biais de nombreux exemples pour proposer un mod�le bas� sur l'�pid�miologie.

Ce livre s'addresse � toutes les personnes d�sireuses de mieux propager leurs id�es, ou tout simplement curieuses de mieux comprendre pourquoi le badge revient � la mode !

Ce qu'il en ressort est une meilleure compr�hension des ph�nom�nes de masse, et, que vous soyez dans le marketing, le d�veloppement ou tout autre activit� "informatis�e" un meilleur usage de tous les outils actuels (web 2.0) ax�s sur le social tagging (flickr, digg, etc.).

Les cinq lois de la programmation �volutive

Ecrire des programmes qui fonctionnent est � la port�e de chacun. Surtout en Python ;). La difficult� principale est de r�ussir � �crire des programmes qui �voluent dans le bon sens, et �viter l'effet spaghetti*. Les cinq lois �nonc�es ci-dessous synth�tisent les bonnes pratiques � adopter pour favoriser une croissance contr�l�e des programmes.

Les bon noms font les bons amis
Soigne ta signature
Ecourter les conversations
Ne jamais radoter
Diviser pour mieux r�gner

Les bon noms font les bons amis

Choisissez avec soin le nom de vos variables, modules, fonctions, classes et m�thodes. Chacun d'entre eux doit �tre explicite et indiquer clairement son objectif.

Quelques pistes:

Respectez le PEP8
Utilisez des conventions pour les m�thodes et fonctions...

qui retournent des s�quences : conjugez le nom au pluriel ou ajoutez un suffixe explicite comme 'list' (getElements, itemList, ...)
qui renvoient un bool�en: pr�fixez de 'is' ou 'has'

Attention � la redondance dans les noms: les m�thodes d'une classe par exemple ne doivent pas avoir un nom dont une partie du sens est donn� par la classe:

MaList.getList() -> MaList.get()
RS232.rs232_read() -> RS232.read()

Soigne ta signature

Les arguments de chaque m�thode ou fonction doivent �galement �tre pr�cis. Eviter les signatures magiques avec *args et autres **kw, qui rendent les interd�pendances floues.

Quelques cas particuliers:

Les fonctions de traitement de formulaires dans la programmation web
Les decorators appliqu�s sur des fonctions dont les param�tres ne sont pas connus
Plus globalement: Les briques interm�diaires en charge de relayer des informations sans connaitre les partis

Ecourter les conversations

Lorsqu'un �l�ment (classe, module, etc.) est utilis� dans du code, si plusieurs appels successifs sont effectu�s pour l'utiliser (sans ou avec peu d'interactions), ses APIs doivent �tre modifi�es pour �courter les �changes au maximum. Le module __init__ d'un paquet est un bon outil pour synth�tiser son utilisation.

Exemple de conversation trop bavarde:

from Paquet import misfit
from Paquet import cat

params = misfit.makeParams()
truc = cat.generateTruc(params)
bidule = cat.pondBiduleAvecTruc(truc)

Les apis du Paquet et de ses modules peuvent �tre am�lior�s pour obtenir:

from Paquet import pondBidule

bidule = pondBidule()

Le module __init__ joue alors le r�le d'int�rm�diaire entre cat et misfit

Ne jamais radoter

L'ennemi du code est le doublon. D�s que deux blocs pr�sentent des similitudes, il est n�cessaire de les r�unir.

Diviser pour mieux r�gner

une fonction ne devrait jamais d�passer un �cran. Il est n�cessaire de la subdiviser le cas �cheant. Il en va de m�me pour les classes, modules, et paquets: il ne faut pas avoir peur de diviser son paquet en une multitudes de petits paquets.

*spaghetticus effectus: transformation d'un programme en un bloc monolithique ou chaque �l�ment ne peut plus �voluer ind�pendamment des autres. Porte aussi le nom de pieuvre � 6 t�tes dans la mythologie geek.

Slides PyCon 2007

Je suis actuellement � Dallas. J.R. a vraiment pris un coup de vieux...

En attendant d'autres photos de mon voyage � Dallas, et des billets sur les pr�sentations que je regarde, voici les slides de mon tutoriel de Jeudi:

PyCommunity 0.1 bient�t dans les bacs

Le projet PyCommunity, que je package en ce moment pour PyCon, est bient�t visible. Je viens d'en parler sur mon blog anglais. (un peu paresseux ce soir, de r��crire un billet complet).

J'ai mis en ligne un exemple de g�n�ration ici: http://programmation-python.org/pycommunity/
qui explique aussi un peu plus en d�tail le principe.

Le code est visible dans un repository Mercurial ici: http://hg.programmation-python.org/repositories/public

Enfin, un egg est accessible ici: http://programmation-python.org/pycommunity/PyCommunity-0.1a-py2.5.egg

Et peut �tre install� avec easy_install:

sudo easy_install pycommunity

Bloggeurs de la Plan�te Francophone

Les blogs Python sympas et actifs en ce moment:

Kib's Blog: Actif depuis 5 mois, Kib nous fait suivre le d�veloppement de son blog en Django, publie une s�lection r�guli�re de ses liens.

Biologeek: Issu de la plan�te Ubuntu, David s'int�resse beaucoup � Python et nous offre des billets de qualit� sur le sujet. Les personnes qui s'int�ressent � cette distribution, s'int�resseront � Python gr�ce � son blog, qui fait le lien entre les deux mondes.

Si vous en connaissez d'autre n'h�sitez pas � commenter ce billet

Slides Solutions Linux

Voici les slides de ma pr�sentation d'hier. Le salon �tait un peu plus rempli que la veille, et s'est termin� par une session nocturne chez Emencia, avec Maik Roeder, Kamon Ayeva, Kit Blake et d'autres membres de la communaut� Zope.

Maik nous a pr�sent� un nouvel outil de tests fonctionnels assez pouss� qu'il est en train d'�laborer. Vivement que ce soit releas�. :)

Mercredi 31 janvier 2007 - 16h - Solutions Linux - D�veloppement Dirig� par la Documentation

Si vous �tes de passage mercredi � Solutions Linux, je pr�sente au village ASS2L un petit sujet de 20 minutes sur la programmation dirig�e par la documentation.

Cette m�thode de programmation agile permet d'int�grer de mani�re transparente la constitution de la documentation technique dans le cycle de d�veloppement. Elle r�soud les probl�matiques de mise � jour de la documentation des logiciels et permet un meilleur suivi des d�veloppements par la communaut� lorsque le logiciel est open source, gr�ce � la g�n�ration automatique de pages html bas�es sur le contenu des documents.

C'est une m�thode qui est appliqu�e au d�veloppement d'ECS, framework d'e-commerce Python developp� par Emencia, ma nouvelle entreprise (Python powa ! ;) ).

A terme, le site d'ECS concernant les modules seront g�n�r�s � la vol�e � chaque modification du code par le biais de PyCommunity, l'outil de synchronisation entre un repository de code et un site web, que je suis en train de d�velopper.

commit hook en Python pour mercurial

Mercurial est un syst�me distribu� de gestion de sources �crit en Python. Il permet � des d�veloppeurs de travailler avec leur code et de le versionner comme avec Subversion, mais sans avoir � d�pendre d'un serveur centralis�: chaque modification est conserv�e localement, et le d�veloppeur peut � tout moment se synchroniser avec un autre repository, qu'il soit sur un serveur ou sur un autre poste de d�veloppement.

Un repository Mercurial est accessible entres autres en SSH, et peut �tre recopi� localement pour �tre modifi� (commande clone), puis mis � jour avec la commande push. L'utilisation de Mercurial est tr�s similaire � celle de Subversion:

dabox:~ tarek$ hg
Mercurial Distributed SCM

basic commands (use "hg help" for the full list or option "-v" for details):

 add        add the specified files on the next commit
 annotate   show changeset information per file line
 clone      make a copy of an existing repository
 commit     commit the specified files or all outstanding changes
 diff       diff repository (or selected files)
 export     dump the header and diffs for one or more changesets
 init       create a new repository in the given directory
 log        show revision history of entire repository or files
 parents    show the parents of the working dir or revision
 pull       pull changes from the specified source
 push       push changes to the specified destination
 remove     remove the specified files on the next commit
 revert     revert files or dirs to their states as of some revision
 serve      export the repository via HTTP
 status     show changed files in the working directory
 update     update or merge working directory

Mettre en place un projet bas� sur Mercurial consiste donc � mettre � disposition des d�veloppeurs un repository via un utilisateur SSH. Cette mise en place est expliqu�e sur cette page : http://www.selenic.com/mercurial/wiki/index.cgi/MultipleCommitters.

Mercurial propose, comme Subversion un syst�me de hook pour effectuer des op�rations lorsqu'un d�veloppeur "push" des modifications sur le serveur d�sign� comme "central". Un script pour envoyer des mails � chaque push est fourni sur le site, mais n'est pas tr�s souple (script shell basic).

Voici un script Python qui offre un peu plus de souplesse:

#!/usr/bin/python
import sys
import os
import smtplib
from email.MIMEText import MIMEText
from ConfigParser import ConfigParser
from email.Utils import formatdate

conffile = os.path.join(os.path.dirname(__file__), 'commithook.conf')
config = ConfigParser()
config.read(conffile)

def command(cmd):
    return os.popen(cmd, 'r').read()

def send_mail(log, email, subject):
    msg = MIMEText(log, 'plain', 'UTF-8')
    sender = config.get('configuration', 'sender')
    prefix = config.get('configuration', 'prefix')
    msg['From'] = sender
    msg['To'] = email
    msg['Date'] = formatdate(localtime=True)
    msg['Subject'] = '%s %s' % (prefix, subject)
    server = smtplib.SMTP('localhost')
    try:
        server.sendmail(sender, [email], msg.as_string())
    finally:
        server.quit()

if __name__ == '__main__':
    hg_node = os.getenv('HG_NODE')
    subject = command('hg log -r %s | grep "^summary:" | cut -b 14-' % hg_node)
    emails = config.get('configuration', 'emails').split(',')
    for email in emails:
        log = command('hg log -vpr %s' % hg_node)
        send_mail(log, email, subject)

Il est associ� � un fichier de configuration qui permet d'indiquer:

le nom de l'exp�diteur
le pr�fix des mails
la liste des emails

exemple de fichier:

[configuration]
sender=tarek_at_ziade.org
prefix=[commit]
emails=bob_at_gmail.com,tarek_at_ziade.org

Ces deux fichiers sont plac�s dans le r�pertoire .hg du repository du serveur, et indiqu�s dans le fichier hgrc de ce m�me r�pertoire:

[hooks]
incoming = commithook

Mercurial, pour conclure, est probablement l'un des syst�mes de gestion de source les plus souples pour des projets personnels : le repository local peut �tre � tout moment clon� sur une autre machine, ce qui offre �norm�ment de facilit� pour partager son travail versionn�, ou mettre en place un syst�me de sauvegarde passif bas� sur des push r�guliers vers un serveur.

Il est probablement �quivalent � Bazaar, que je n'ai pas encore test�.

OpenID, syst�me d�centralis� de login

Je suis tomb� sur ce billet � propos d'OpenID via digg, un syst�me que je ne connaissais pas et qui a un peu plus de 6 mois d'existence. OpenID est un syst�me d�centralis� de login d�velopp� par LiveJournal. Le principe est simple: le login sur un site est effectu� par un appel � un webservice sur un site tiers en charge d'authentifier l'utilisateur.

Ce concept n'est pas nouveau (Passeport Windows, Passeport Google..) mais ce qui est vraiment int�ressant est que le login de l'OpenID est une url, correspondante au site qui sera appel�. En d'autres termes, il est possible de mettre en place son propre syst�me d'identification pour conserver ses mots de passe au frais. Par exemple, si l'OpenID est tarek.ziade.org, il suffit d'impl�menter � cet addresse un service OpenID conforme aux sp�cifications.

Pour des sites comme l'afpy, ou comme ce blog, proposer ce m�canisme d'authentification l�g�re a un grand inter�t pour les visiteurs qui souhaitent poster un commentaire, ou dans un forum. (une biblioth�que Python est disponible, et une impl�mentation Plone aussi apparament)

Reste � voir si ce standard va prendre, pour l'instant c'est un peu calme...

MacBook

Je lisais le billet de David hier, sur ses essais avec un MacBook. Pour ma part ca fait maintenant deux mois que je suis pass� � cette machine, et je suis aussi tout simplement conquis par sa qualit�, son faible encombrement et sa maniabilit�. Rapport qualit�-prix imbattable. Et cette dalle de 13 wide est tellement lumineuse qu'elle vaut largement les 14 ou 15 wide de la plupart des PC.

En terme de syst�me, Mac OS X est � mon sens le meilleur syst�me d'exploitation actuel, et je l'ai pris en main sans le connaitre en quelques jours. Voici la liste des logiciels que j'ai install� pour mettre en place un laptop de d�veloppement et retrouver tout ce que j'avais sous Ubuntu:

iTerm, pour remplacer le terminal de base et avoir un syst�me d'onglets
vim, qui est devenu mon �diteur de pr�dilection depuis
adium, pour jabber et msn
xChat, pour l'irc
Firefox et Thunderbird
TeXShop, pour l'�dition LaTeX
VLC, pour la visualisation des vid�os
X11, et du coup: Ooo et Gimp
Google Notifier
MenuMeters : et oui, l'engin est tellement silencieux, qu'il est bon de savoir quand il travaille
Fink et DarwinPort, pour installer tous les outils de dev. Par contre ca d�multiplie les combinaisons, les PATHs etc.. je m'y perd un peu..

Et vous, quels sont les logiciels dont vous ne pouvez pas vous passer sous Mac ?

Au niveau du terminal, il a fallu le configurer pour que les touches home/end, del, etc, fonctionnent, et d�finir les locales.

dans HOME/.profile, ajout de export LANG="fr_FR.UTF-8"
et enfin voici mon HOME/.inputrc:

# inputrc - config file for libreadline
# Save as .inputrc (note the leading dot) in your $HOME directory
# See readline man page for more information.

set meta-flag on

# activate 8 bit characters
set input-meta on
set output-meta on
set convert-meta off

# suppress bell ringing
set bell-style none

# case insensitive TAB-completion
set completion-ignore-case on

# enable Delete/Home/end key in xterm and iTerm
"\e[3~": delete-char 
"\e[1~": beginning-of-line
"\e[4~": end-of-line

Les points n�gatifs de OS X sont inh�rents au mod�le commercial:

impossible de regarder une vid�o en plein �cran avec QuickTime: il faut acheter la version pro (!!)

Le logiciel iWorks, pour faire des slides, est payant, les nagscreens n'oublient pas de le rappeler
Avant l'installation de Ooo, le pack office m'a bien fatigu� avec ses nagscreens aussi

Ca reste minime, mais c'est dommage pour les slides pilotables avec la t�l�commande, il faut que j'essaye avec Ooo...

En conclusion, je trouve qu'Ubuntu, que j'ai utilis� depuis quasiment ses d�buts, n'est pas si loin que �a de Mac OS X en terme d'ergonomie et de qualit�, et sera certainement au m�me
niveau d'ici quelques ann�es. De plus, la sup�riorit� d'une solution machine/os issue du m�me constructeur est de plus en plus relative: les laptops sont maintenant quasiment tous �quivalents en terme de composants.

Le programme de PyCon 2007

Quel malheur. PyCon 07 est en m�me temps que le FOSDEM cette ann�e. Il en �tait de m�me cet �t� pour Europython et les RMLL. Le choix va �tre difficile, surtout que l'Afpy organise cet ann�e une dev room enti�rement consacr�e � Python (yehaaa). Pour ma part le choix est fait car j'anime un tutorial � PyCon.

Les pr�sentations

Pycon, c'est plus de 60 talks sur Python cet ann�e :'). Voici celles que j'aimerais voir le plus:

twill, scotch and figleaf (Titus Brown): outils pour les tests fonctionnels web
the state of Python advocacy (Jeff Rush): par le responsable PSF de la promotion de Python
testing tool panel (Grig Gheorghiu): panorama de tous les outils de tests pour Python
the absolute minimum an open source developer must know about intellectual property (Van Lindberg): tout est dans le titre
Distributing your project with Python eggs (Stephen Pascoe) : l'art du packaging
Web framework panel (Titus Brown et al): "confrontation" des core developers des outils web. Toujours int�ressant mais tr�s dur � bien ficeler (ie le m�me panel � Europython qui �tait un peu d�sorganis�) On verra..
Packaging Python apps for Linux Distributions (Monty Taylor) : beaucoup de choses � apprendre, et par quelqu'un qui sait de quoi il parle
SQLAlchemy (Mark Ramm-Christensen): il va falloir y arriver t�t
Interactive Parallel and Distributed Computing with IPython (Brian Granger) : wOOt
Easy creation of interactive tutorials (Andre Roberge) : demo de Crunchy Python. Ca m'interesse au plus haut point car c'est proche de la documentation agile
Python and VIM (Sean Reifshneider) : adieu pydev ;)
Unit testing with mocxk objects using PyMock (Jeff Younker) : j'en ai parl� il y a quelques tickets. A voir/
Software development with Trac (Matthew Good): La partie plugins pour le developpement de QA tools et les liaisons avec buildbot.

Projet de reportage Python

Apr�s le tutoriel je vais arpenter les conf�rences pour en voir un maximum. Il y aura certainement beaucoup de bloggeurs et filmeurs � Pycon mais probablement pas �norm�ment de francophone. Je lance ici une proposition : si vous �tes passionn� de Python et possesseur d'une petite cam�ra num�rique, et pr�t � me pr�ter ce mat�riel, je propose de faire des comptes rendus par blog et vid�os chaque jour pass� � PyCon.

Le cot� obscur de la force

EXTERIEUR: PLANETE DAGOBAH -- JOUR

Avec Yoda accroch� sur son dos, Luke grimpe sur les vignes qui entourent les mar�cages, pour atteindre le laboratoire de statistiques de Dagobah. Il continue sa formation, en pratiquant la programmation dirig�e par les tests, en faisant des fakes, des mocks...

YODA: Code ! Test ! Oui. La force d'un programmeur provient de la non-regression. Les tests arr�ter tu ne dois jamais. Le cot� obscur de la maintenabilit� atteindre tu risques sans les tests. Facile � �crire tes paquets Python sans tests sont. Quand � arr�ter les tests tu commences, le cot� obscure tu te diriges vers. Ta destin�e domin�e sera.

LUKE: Mais ce n'est pas mieux sans tests ?

YODA: Non... non... non. Plus facile, plus rapide, plus s�duisant.

LUKE: Alors pourquoi faire des tests ?

YODA: Tu sauras. Dans six mois. Quand ton code de corriger tu essayeras.
--

adaptation du post Perl vs Python

Sortie de PyFAQ 1.0 beta 1