Historique
J'avais déjà présenté Django l'année derniÚre et j'avais vraiment eu l'impression de passer à cÎté de ma conf. Outre le fait que j'étais bien crevé d'avoir mis en ligne django-fr, j'ai relevé 3 gros défauts :
- je voulais que la présentation serve aussi pour les personnes souhaitant la consulter en ligne, au final c'est beaucoup trop verbeux et le code distrait à mon avis l'auditoire qui vient à une conférence pour s'enrichir d'une expérience et non pour une lecture de code ;
- je voulais faire plaisir Ă tout le monde en partant de la base pour aller vers des techniques plus avancĂ©es et au final personne n'y trouve vr ©aiment son compte ;
- je voulais garder le public connecté et j'ai le sentiment d'avoir été plutÎt ennuyeux : c'était long et ça manquait tout simplement de vitalité (sans compter quelques soucis avec S5).
Partant de ce constat, j'ai essayé cette année de :
- faire des slides minimaliste, l'objectif Ă©tait qu'ils soient tout simplement inutiles sans moi (d'oĂč le besoin de les enrichir pour vous les prĂ©senter maintenant, pas sĂ»r que ce soit bon pour moi ça :p), c'est Ă mon avis le seul moyen de se focaliser sur l'expĂ©rience du prĂ©sentateur et donc sur le message Ă faire passer ;
- scinder en deux sessions débutant/avancé pour laisser le choix au visiteur de n'assister qu'à la conférence qui l'intéresse ;
- trouver un moyen de rendre les confs plus vivantes (et utiliser Keynote).
Alors pari rĂ©ussi ? Mon retour personnel aprĂšs chaque confĂ©rence ci-dessous. J'essaye de retrouver ce que j'ai dit de tĂȘte, ça sera forcĂ©men Șt diffĂ©rent des vidĂ©os qui devraient arriver plus tard : moins de stress, davantage de temps pour Ă©toffer et des liens en bonus.
Pourquoi Django ?
Je n'ai jamais eu de cours de marketing et je hais les commerciaux donc c'est vraiment une épreuve pour moi de « vendre mon produit ». J'ai surtout voulu aller à l'essentiel pour pouvoir ensuite en débattre pendant les questions/réponses.
Avant de parler de Django, il est bon de rappeler les intĂ©rĂȘts d'un framework web face Ă l'approche plus traditionnelle par applications fonctionnelles toutes prĂȘtes. Qu'est-ce qui a pu suscitĂ© un tel engouement ?
On connaĂźt tous des p «rojets qui commencent avec un projet tout simple (je prends souvent l'exemple du blog car il est assez parlant). Il existe des trillions de moteurs de blog et il est donc aisĂ© d'en prendre un tout fait :
Mais bien (trop) souvent, un projet évolue en cours de route et l'ajout de fonctionnalités (galerie de photos, paiement en ligne, inclusion de vidéos) aboutit finalement à un cahier des charges ressemblant plutÎt à :
Si vous ĂȘtes parti d'un simple moteur de blog rafistolĂ©, il est trĂšs probable que vous arriviez Ă un rĂ©sultat de piĂštre qualitĂ© :
La solution est de partir d'une approche plus bas niv Źeau : la caisse Ă outil qui va vous permettre de construire vos propres briques fonctionnelles et de rĂ©aliser un projet de maniĂšre cohĂ©rente et Ă©volutive.
De cette façon, vous allez énormément gagner en agilité, la clé de voûte de la qualité (du projet), de la sérénité (du développeur) et de la satisfaction (du client).
Maintenant que vous ĂȘtes convaincu du bien fondĂ© des frameworks web, il est temps de passer au plat de rĂ©sistance : pourquoi Django ?
Django est Ă©crit en Python et vous permet d'Ă©crire du Python, il n'y a pas de fichiers de configuration en xml (ai-je besoin de rappeler que ce format est fait pour les machines ?).
Django est trĂšs facile Ă prendre en main, il suffit de quelques heures (mĂȘme sans connaĂźtre initialement Python) pour avoir une premiĂšre application qui tourne et en comprendre les principaux concepts.
Face aux deux approches : framework glue vs. réinvention de la roue, Django a choisi la seconde ce qui apporte une cohérence à tous les niveaux (documentation, code, aide, etc) au détriment de sa modularité intrinsÚque.
La documentation est un rĂ©el atout, surtout lorsqu'on dĂ©bute. C'est l'une des meilleures documentation technique que je connaisse et elle est źen train d'ĂȘtre encore amĂ©liorĂ©e !
Je suis assez mal placé pour parler de rapidité de développement avec la refonte de ce blog qui a pris... du temps. Néanmoins, pour l'utiliser quotidiennement, je peux affirmer que le développement avec ce framework permet de concrétiser plus rapidement des projets. L'un des atouts est par exemple de prototyper des applications en des temps records, aprÚs bien sûr les détails prennent plus de temps, comme partout.
L'interface d'administration auto-générée est vraiment utile et participe à l'« effet Wow !© » initial. Difficile de s'en priver ensuite.
L'Ă©chap Żpement des caractĂšres html par dĂ©faut peut ĂȘtre un Ă©lĂ©ment important pour une personne dĂ©butant en dĂ©veloppement web. Ce choix est une rĂ©elle sĂ©curitĂ© si vous ne maĂźtrisez pas vraiment toutes les failles possibles d'un code (mĂȘme s'il serait bon de vous renseigner Ă ce sujet si c'est le cas !).
Django est simple, autant dans ses concepts que dans leurs mises en application, si vous connaissez Python, vous pouvez mĂȘme sans peine plonger dans le code de Django et dĂ©couvrir quelques pĂ©pites.
La maturitĂ© est souvent un facteur dĂ©cisif d'un point de vue professionnel, aprĂšs 5 ans de dĂ©veloppement, le framework est devenu stable et Ă Ă©normĂ©ment gagnĂ© de son ouverture °en Open-Source (pour ceux qui se demandent ce qu'une litiĂšre pour chat vient faire ici, c'est un jardin zen, j'ai pas trouvĂ© mieux).
Quelques chiffres issus de la présentation de l'année précédente, on voit bien la progression en terme d'utilisateurs et donc de contributeurs potentiels.
Enfin, l'avantage d'avoir des outils Ă sa disposition est de pouvoir laisser s'exprimer sa crĂ©ativitĂ©, le plus important est ce que l'on fait avec ses outils. Vous pouvez prendre le meilleur des frameworks, ça ne vous assurera pas une application Ă succĂšs. Ăa serait bien trop facile sinon ;-).
AprĂšs avoir vantĂ© au ±tant de qualitĂ©s, voyons pour quels projets cette caisse Ă outils s'applique.
Il n'y a pas d'outil miracle, notre mĂ©tier est un Ă©ternel compromis et il faut savoir faire avec. L'avantage de Django est qu'il permet de couvrir un trĂšs large pĂ©rimĂštre d'applications mais si vous voulez construire un gratte-ciel il va peut-ĂȘtre falloir penser Ă autre chose.
Cela dit, il y a un trÚs faible pourcentage de projets web qui doivent en arriver là et il sera toujours temps de changer certaines parties ou d'améliorer les performances le moment venu.
On termine avec un peu de teasing...
On ne l'attend plus mais Django 1.0 arrive ! (si si, je vous assure) La premiÚre branche importante (queryset-refactor) a été mergée au trunk.
Et la suivante (newforms-admin) est en cours de finitions actives. Ce n'est plus qu'une question de ... (mettez ce qui vous semble le plus crédible et votez sur whendjangowillreleaseonepointzero.com).
Des fois que le message n'ait pas Ă©tĂ© assez clair (j'adore les photos de gens qui sautent dans les prĂ©sentations, je trouve łĂ§a kitsch au possible ;-)).
Bilan personnel
Difficile d'enchaßner une nuit trop alcoolisée courte (il faut croire que c'est une malédiction) et d'insuffler suffisamment de vitalité. Je suis néanmoins assez satisfait car je pense avoir bien fait passer le message qui était tout simple : essayez Django !
L'exemple initial Ă©tait assez fort pour capter directement l'attention, la liste des avantages Ă©tait assez claire. Bon par contre je suis conscient qu'il y a du progrĂšs Ă faire au niveau de la conclusion car je n'ai pas assez insistĂ© Ă l'oral sur l'intĂ©rĂȘt d'avoir une simple caisse Ă outils pour laisser s'exprimer sa crĂ©ativitĂ© et je voulais insister lĂ -dessus.
Je me suis permis quelques trolls un peu douteux sur Zope 3 (un peu la chance d'avoir assistĂ© Ă la conf dessus la veille, un peu car on en a parlĂ© une bo Žnne partie de la nuit), je suis pas vraiment sĂ»r que ça avait sa place. Quoi qu'il en soit, les Ă©lĂ©ments de comparaison citĂ©s dans la discussion qui a suivie Ă©taient intĂ©ressants.
Django : performances et qualité
J'ai eu beaucoup plus de mal à préparer cette présentation car elle était trÚs dépendante du public. Je voulais éviter de ne m'adresser qu'à une poignée de personnes et j'ai donc choisi au final une approche plus généraliste sur les bonnes pratiques web, appliquées à Django.
Un rapide sondage m'a montré que ce choix était pertinent et que me craintes étaient fondées. Moins d'un quart de la salle avait déjà essayé Django, et une poignée sur de gros projets. Adaptation à chaud : il valait mieux passer du temps sur les aspects pas trop pointus... quitte à décevoir ceux qui étaient venus pour l'intitulé de la conf !
Un rappel prĂ©alable sur le coĂ»t de la qualitĂ© et des performances s'impose. C'est un investissement dans une logique qui s'inscrit dans la durĂ©e, ce n'est pas forcĂ©ment adaptĂ© Ă tous les projets et ça doit ĂȘtre mis en place d'un commun accord entre les acteurs du projet (les tests sont trĂšs difficiles Ă facturer).
Un titre qui claque, je suis sûr qu'en anglais ça rend encore mieux.
Il existe de nombreux outils de détection, du simple module logging à ceux permettant de stresser votre application et votre architecture.
Avant d'optimiser, il faut bien évaluer la situation, il ne sert à rien d'optimiser un site qui ne rencontre pas de problÚmes de performances, privilégiez plutÎt l'expérience utilisateur (ergonomie, etc). Si vous n'avez pas le temps d'optimiser, vous pouvez toujours avoir une expansion horizontale dans un premier temps (plus de serveurs) si vous disposez des fonds nécessaires. J'ai oublié de parler de l'évolution vers les clouds pour gérer ce type de problématiques.
On entre dans le vif du sujet.
Le cache est l'Ă©lĂ©ment le plus simple Ă mettre en Ćuvre et il existe diffĂ©rents niveaux avec Django (page, fragment, vue, quer ·yset, etc) qui permettent d'avoir la modularitĂ© nĂ©cessaire. Attention, il ne faut pas oublier d'avoir des mĂ©canismes d'invalidation du cache ! (pas comme sur ce blog par exemple...)
Le cache est bien pratique mais insuffisant parfois. Lorsqu'on arrive sur des gros projets, il est quasi illusoire de vouloir s'en tenir à des données normalisées. Ne serait-ce que pour le nombre d'items, il faut avoir recours à des champs dénormalisés. Django dispose de signals pour gérer ça de façon automatisée.
De nombreuses choses peuvent ĂȘtre faites en asynchrone (envoi de mail, prĂ©chargements de widget coĂ»teux, etc), AJAX peut žici prendre tout son sens.
Il faut bien faire la différence entre ce qui est imputable à Django et ce qui concerne l'architecture de votre projet, un bon admin sys et/ou DBA peut faire des miracles. Il ne faut pas oublier non plus que les performances css/js jouent un rÎle important à ce niveau...
Une petite astuce propre à Django, l'utilisation du tag {% with %} pour créer des alias dans les templates lorsqu'une méthode coûteuse est évaluée dans une boucle par exemple.
Le traitement des performances se fait de maniÚre itérative, essayez de toujours identifier le facteur limitant de la réactivité de votre application.
Un résultat est important, que ce soit un échec ou pas (le scientifique reprend le dessus), pensez à documenter vos essais, que ce soit pour votre équipe ou de maniÚre publique (blog, djangosnippets, etc).
Un autre titre jemelapĂštegrave.
La pĂ©rennitĂ© d'une application web est toute relative, l'Ă©volut șion technologique est telle qu'il est difficile d'ĂȘtre pertinent Ă plus de 3 ans. Ăa veut dire qu'il faut quand mĂȘme rester Ă©volutif jusque lĂ !
Les rĂšgles qui s'appliquent ici sont les mĂȘmes que pour un projet Python, il est impĂ©ratif de tester les diffĂ©rentes fonctionnalitĂ©s grĂące aux unittests et doctests. Django dispose d'un module entier consacrĂ© à ça, il est temps de s'en servir. Un client spĂ©cifique aux tests permet mĂȘme de tester les diffĂ©rentes vues et le rĂ©sultats des appels (GET, POST, etc).
En découplant les différentes applications de votre projet (lire à ce sujet l'excellent post de James Bennett), vous allez pouvoir vous constituer (ou récupérer) un bibliothÚque d'applications web réutilisables dans plusieurs de vos projets.
On ne mentionnera jamais assez à quel point la documentation d'un projet est importante. Normalement les doctests doivent permettre de « raconter une histoire », développez vos talents d'écrivain !
Cerise sur le gĂąteau, Django vous permet de gĂ©nĂ©rer automatiquement la documentation Ă partir du code dans l'interface d'administration, ce qui s'avĂšre trĂšs pratique si vous travaillez avec une Ă©quipe Œ de plusieurs personnes dont certaines s'occupent exclusivement du html/css/js.
Exemple d'itération sur l'implémentation des URL.
Utilisation assez naïve avec la construction d'URL à la main, c'est une mauvaise pratique car vous devez modifier les URL à de nombreux endroits si vous décidez de changer votre schéma.
La seconde mĂ©thode s'appuie sur une mĂ©thode du modĂšle (diffĂ©rente ici du bien connu get_absolute_url car on veut accĂ©der au profil et non Ă l'utilisateur), c'est dĂ©jĂ mieux mais il œ faut encore modifier l'URL Ă deux endroits en cas de modification.
Enfin la bonne méthode est d'utiliser les URL nommées, qui permettent de ne dupliquer la création des URL à aucun endroit, si vous modifiez celle dans urls.py ça va impacter sur l'ensemble des URL de votre site. Cela est permis grùce au décorateur permalink.
Ces différentes pratiques vous permettent d'opérer des refactoring important de code tout en étant serein et de vous concentrer sur d'autres fonctionnalités.
Je voulais terminer sur un point qui me semble capital pour améliorer la qualité d'une application (pas forcément Django).
L'idée m'est venue en consultant la présentation de Cameron Moll et plus spécifiquement le slide comparant le bon designer au super designer.
J'en suis arrivé à la conclusion qu'un bon développeur est consciencieux, il connaßt ses outils et sait parfaitement obtenir un résultat satisfaisant avec. Qu'est-ce qu'il lui manque alors ?
Bien souvent la curiosité, celle de fureter pour finalement trouver une solution plus adaptée ou un module qui fait déjà ce qu'il a mis une semaine à coder, celle d'aller à des conférences, de lire des livres, d'essayer de comprendre pourquoi certaines choses ont été faites ainsi. Cette qualité vous permet de vous épanouir quotidiennement dans votre travail.
Bon avec tous ces conseils, vous allez forcément faire une appli qui va conquérir le monde, faire chuter l'action Google et sauver la planÚte.
Les crĂ©dits, merc Ài ! (complĂštement illisibles, il faut que je trouve un moyen simple de formater ça)
Bilan personnel
Je suis beaucoup moins satisfait de ma seconde prestation, j'ai remis en question chaque concept prĂ©sentĂ© au fur et Ă mesure, doutant de l'intĂ©rĂȘt pour quelqu'un s'intĂ©ressant peu Ă Django. Du coup j'Ă©tais un peu hĂ©sitant et je pense que ça s'est ressenti.
Au final, j'ai un peu le sentiment que ceux qui connaissaient pas trop ces problématiques se sont ennuyés et ceux qui y étaient confrontés aussi car je ne suis pas allé assez loin...
Concernant Keynote (ça vaut pour les deux confs) : aucun problÚme au niveau des images, par contre je n'ai pas pris le temps de configurer l'écran pour voir le slide suivant + le temps sur l'écran et c'était un tort car ça aide beaucoup.
Conclusion
ÁIl y a probablement des formats plus appropriĂ©s pour aborder les problĂ©matiques de performances/qualitĂ©s comme des tables rondes ou des sĂ©ances de questions/rĂ©ponses comme me le suggĂ©rait Fabien par mail. Pour montrer la rapiditĂ© de dĂ©veloppement de Django et donner envie d'essayer, rien ne vaut un atelier avec un petit projet de mise en bouche. Autant de pistes qu'il faudra explorer lors des journĂ©es 2009 !
Vous y Ă©tiez ?
Votre avis m'intĂ©resse Ă©normĂ©ment. J'aimerais vraiment pouvoir progresser Ă ce niveau et vous ĂȘtes le mieux placĂ© pour m'aider. J'ai dĂ©jĂ eu des retours par blog (merci Sunny), par email et sur irc mais si vous avez un peu de temps, n'hĂ©sitez pas, je prends le bon mais aussi et surtout le mauvais. N'ayez pas peur d'y aller trop fort, j'encaisse derriĂšre :-).
[Edit] : Âles vidĂ©os sont en ligne ! Merci l'AFPy.
Conférences Django pour PyCon fr
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 21 Mai 2008. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
J'ai eu le privilĂšge de prĂ©senter Django lors des journĂ©es organisĂ©es par l'afp Ăy. C'Ă©tait vraiment un weekend exceptionnel, une organisation exemplaire, des confĂ©rences de qualitĂ©, des discussions de geek, que du bon. Je me suis enfin dĂ©cidĂ© Ă mettre les slides en ligne, en attendant les vidĂ©os.
Historique
J'avais déjà présenté Django l'année derniÚre et j'avais vraiment eu l'impression de passer à cÎté de ma conf. Outre le fait que j'étais bien crevé d'avoir mis en ligne django-fr, j'ai relevé 3 gros défauts :
- je voulais que la présentation serve aussi pour les personnes souhaitant la consulter en ligne, au final c'est beaucoup trop verbeux et le code distrait à mon avis l'auditoire qui vient à une conférence pour s'enrichir d'une expérience et non pour une lecture de code ;
- je voulais faire plaisir Ă tout le monde en partant de la base pour aller vers Ädes techniques plus avancĂ©es et au final personne n'y trouve vraiment son compte ;
- je voulais garder le public connecté et j'ai le sentiment d'avoir été plutÎt ennuyeux : c'était long et ça manquait tout simplement de vitalité (sans compter quelques soucis avec S5).
Partant de ce constat, j'ai essayé cette année de :
- faire des slides minimaliste, l'objectif Ă©tait qu'ils soient tout simplement inutiles sans moi (d'oĂč le besoin de les enrichir pour vous les prĂ©senter maintenant, pas sĂ»r que ce soit bon pour moi ça :p), c'est Ă mon avis le seul moyen de se focaliser sur l'expĂ©rience du prĂ©sentateur et donc sur le message Ă faire passer ;
- scinder en deux sessions débutant/avancé pour laisser le choix au visiteur de n'assister qu'à la conférence qui l'intéresse ;
- trouver un moyen de rendre les confs plus vivantes (et utiliser Keynote).
Alors pari rĂ©ussi ? Mon retour personnel aprĂšs chaque confĂ©rence ci-dessous. J' Ćessaye de retrouver ce que j'ai dit de tĂȘte, ça sera forcĂ©ment diffĂ©rent des vidĂ©os qui devraient arriver plus tard : moins de stress, davantage de temps pour Ă©toffer et des liens en bonus.
Pourquoi Django ?
Je n'ai jamais eu de cours de marketing et je hais les commerciaux donc c'est vraiment une épreuve pour moi de « vendre mon produit ». J'ai surtout voulu aller à l'essentiel pour pouvoir ensuite en débattre pendant les questions/réponses.
Avant de parler de Django, il est bon de rappeler les intĂ©rĂȘts d'un framework web face Ă l'approche plus traditionnelle par applications fonctionnelles toutes prĂȘtes. Qu'est-ce qui a pu suscitĂ© un tel engouement ?
On connaßt tous des projets qui commencent avec un projet tout simple (je prends souvent l'exemple du blog car il est assez parlant). Il existe des trillions de moteurs de blog et il est donc aisé d'en prendre un tout fait :
Mais bien (trop) souvent, un projet évolue en cours de route et l'ajout de fonctionnalités (galerie de photos, paiement en ligne, inclusion de vidéos) aboutit finalement à un cahier des charges ressemblant plutÎt à :
Si vous ĂȘtes parti d'un simple moteur de blog rafistolĂ©, il est trĂšs probable que vous arriviez Ă un rĂ©sultat de piĂštre qualitĂ© :
La solution est de partir d'une approche plus bas niveau : la caisse à outil qui va vous permettre de construire vos propres briques fonctionnelles et de réaliser un projet de maniÚre cohérente et évolutive.
De cette façon, vous allez énormément gagner en agilité, la clé de voûte de la qualité (du projet), de la sérénité (du développeur) et de la satisfaction (du client).
Maintenant que vous ĂȘtes convaincu du bien fondĂ© des frameworks web, il est temps de passer au plat de rĂ©sistance : pourquoi Django ?
Django est Ă©crit en Python et vous permet d'Ă©crire du Python, il n'y a pas de È fichiers de configuration en xml (ai-je besoin de rappeler que ce format est fait pour les machines ?).
Django est trĂšs facile Ă prendre en main, il suffit de quelques heures (mĂȘme sans connaĂźtre initialement Python) pour avoir une premiĂšre application qui tourne et en comprendre les principaux concepts.
Face aux deux approches : framework glue vs. réinvention de la roue, Django a choisi la seconde ce qui apporte une cohérence à tous les niveaux (documentation, code, aide, etc) au détriment de sa modularité intrinsÚque.
La documentation est un rĂ©el atout, surtout lorsqu'on dĂ©bute. C'est l'une des Émeilleures documentation technique que je connaisse et elle est en train d'ĂȘtre encore amĂ©liorĂ©e !
Je suis assez mal placé pour parler de rapidité de développement avec la refonte de ce blog qui a pris... du temps. Néanmoins, pour l'utiliser quotidiennement, je peux affirmer que le développement avec ce framework permet de concrétiser plus rapidement des projets. L'un des atouts est par exemple de prototyper des applications en des temps records, aprÚs bien sûr les détails prennent plus de temps, comme partout.
L'interface d'administration auto-générée est vraiment utile et participe à l'« effet Wow !© » initial. Difficile de s'en priver ensuite.
L'Ă©chappement des caractĂšres html par dĂ©faut peut ĂȘtre un Ă©lĂ©ment important pour une personne dĂ©butant en dĂ©veloppement web. Ce choix est une rĂ©elle sĂ©curitĂ© si vous ne maĂźtrisez pas vraiment toutes les failles possibles d'un code (mĂȘme s'il serait bon de vous renseigner Ă ce sujet si c'est le cas !).
Django est simple, autant dans ses concepts que dans leurs mises en application, si vous connaissez Python, vous pouvez mĂȘme sans peine plonger dans le code de Django et dĂ©couvrir quelques pĂ©pites.
La maturitĂ© est souvent un facteur dĂ©cisif d'un point de vue professionnel, aprĂšs 5 ans de dĂ©veloppement, le framewo Ërk est devenu stable et Ă Ă©normĂ©ment gagnĂ© de son ouverture en Open-Source (pour ceux qui se demandent ce qu'une litiĂšre pour chat vient faire ici, c'est un jardin zen, j'ai pas trouvĂ© mieux).
Quelques chiffres issus de la présentation de l'année précédente, on voit bien la progression en terme d'utilisateurs et donc de contributeurs potentiels.
Enfin, l'avantage d'avoir des outils Ă sa disposition est de pouvoir laisser s'exprimer sa crĂ©ativitĂ©, le plus important est ce que l'on fait avec ses outils. Vous pouvez prendre le meilleur des frameworks, ça ne vous assurera pas une application Ă succĂšs. Ăa serait bien trop facile sinon ;-).
AprÚs avoir vanté autant de qualités, voyons pour quels projets cette caisse à outils s'applique.
Il n'y a pas d'outil miracle, notre mĂ©tier est un Ă©ternel compromis et il faut savoir faire avec. L'avantage de Django est qu'il permet de couvrir un trĂšs large pĂ©rimĂštre d'applications mais si vous voulez construire un gratte-ciel il va peut-ĂȘtre falloir penser Ă autre chose.
Cela dit, il y a un trÚs faible pourcentage de projets web qui doivent en arriver là et il sera toujours temps de changer certaines parties ou d'améliorer les performances le moment venu.
On termine avec un peu de teasing...
On ne l'attend plus mais Django 1.0 arrive ! (si si, je vous assure) La premiÚre branche importante (queryset-refactor) a été mergée au trunk.
Et la suivante (newforms-admin) est en cours de finitions actives. Ce n'est plus qu'une question de ... (mettez ce qui vous semble le plus crédible et votez sur whendjangowillreleaseonepointzero.com).
Des fois que le message n'ait pas Ă©tĂ© assez clair (j'adore le Îs photos de gens qui sautent dans les prĂ©sentations, je trouve ça kitsch au possible ;-)).
Bilan personnel
Difficile d'enchaßner une nuit trop alcoolisée courte (il faut croire que c'est une malédiction) et d'insuffler suffisamment de vitalité. Je suis néanmoins assez satisfait car je pense avoir bien fait passer le message qui était tout simple : essayez Django !
L'exemple initial Ă©tait assez fort pour capter directement l'attention, la liste des avantages Ă©tait assez claire. Bon par contre je suis conscient qu'il y a du progrĂšs Ă faire au niveau de la conclusion car je n'ai pas assez insistĂ© Ă l'oral sur l'intĂ©rĂȘt d'avoir une simple caisse Ă outils pour laisser s'exprimer sa crĂ©ativitĂ© et je voulais insister lĂ -dessus.
Je me suis permis quelques trolls un peu douteux sur Zope 3 (un peu la chance d'avoir assist ÏĂ© Ă la conf dessus la veille, un peu car on en a parlĂ© une bonne partie de la nuit), je suis pas vraiment sĂ»r que ça avait sa place. Quoi qu'il en soit, les Ă©lĂ©ments de comparaison citĂ©s dans la discussion qui a suivie Ă©taient intĂ©ressants.
Django : performances et qualité
J'ai eu beaucoup plus de mal à préparer cette présentation car elle était trÚs dépendante du public. Je voulais éviter de ne m'adresser qu'à une poignée de personnes et j'ai donc choisi au final une approche plus généraliste sur les bonnes pratiques web, appliquées à Django.
Un rapide sondage m'a montré que ce choix était pertinent et que me craintes étaient fondées. Moins d'un quart de la salle avait déjà essayé Django, et une poignée sur de gros projets. Adaptation à chaud : il valait mieux passer du temps sur les aspects pas trop pointus... quitte à décevoir ceux qui étaient venus pour l'intitulé de la conf !
Un rappel prĂ©alable sur le coĂ»t de la qualitĂ© et des performances s'impose. C'est un investissement dans une logique qui s'inscrit dans la durĂ©e, ce n'est pas forcĂ©ment adaptĂ© Ă tous les projets et ça doit ĂȘtre mis en place d'un commun accord entre les acteurs du projet (les tests sont trĂšs difficiles Ă facturer).
Un titre qui claque, je suis sûr qu'en anglais ça rend encore mieux.
Il existe de nombreux outils de détection, du simple module logging à ceux permettant de stresser votre application et votre architecture.
Avant d'optimiser, il faut bien évaluer la situation, il ne sert à rien d'optimiser un site qui ne rencontre pas de problÚmes de performances, privilégiez plutÎt l'expérience utilisateur (ergonomie, etc). Si vous n'avez pas le temps d'optimiser, vous pouvez toujours avoir une expansion horizontale dans un premier temps (plus de serveurs) si vous disposez des fonds nécessaires. J'ai oublié de parler de l'évolution vers les clouds pour gérer ce type de problématiques.
On entre dans le vif du sujet.
Le cache est l'Ă©lĂ©ment le plus simple Ă mettre en Ćuvre et il e Òxiste diffĂ©rents niveaux avec Django (page, fragment, vue, queryset, etc) qui permettent d'avoir la modularitĂ© nĂ©cessaire. Attention, il ne faut pas oublier d'avoir des mĂ©canismes d'invalidation du cache ! (pas comme sur ce blog par exemple...)
Le cache est bien pratique mais insuffisant parfois. Lorsqu'on arrive sur des gros projets, il est quasi illusoire de vouloir s'en tenir à des données normalisées. Ne serait-ce que pour le nombre d'items, il faut avoir recours à des champs dénormalisés. Django dispose de signals pour gérer ça de façon automatisée.
De nombreuses choses peuvent ĂȘtre faites en asynchrone (env Óoi de mail, prĂ©chargements de widget coĂ»teux, etc), AJAX peut ici prendre tout son sens.
Il faut bien faire la différence entre ce qui est imputable à Django et ce qui concerne l'architecture de votre projet, un bon admin sys et/ou DBA peut faire des miracles. Il ne faut pas oublier non plus que les performances css/js jouent un rÎle important à ce niveau...
Une petite astuce propre à Django, l'utilisation du tag {% with %} pour créer des alias dans les templates lorsqu'une méthode coûteuse est évaluée dans une boucle par exemple.
Le traitement des performances se fait de maniÚre itérative, essayez de toujours identifier le facteur limitant de la réactivité de votre application.
Un résultat est important, que ce soit un échec ou pas (le scientifique reprend le dessus), pensez à documenter vos essais, que ce soit pour votre équipe ou de maniÚre publique (blog, djangosnippets, etc).
Un autre titre jemelapĂštegrave.
La Ő pĂ©rennitĂ© d'une application web est toute relative, l'Ă©volution technologique est telle qu'il est difficile d'ĂȘtre pertinent Ă plus de 3 ans. Ăa veut dire qu'il faut quand mĂȘme rester Ă©volutif jusque lĂ !
Les rĂšgles qui s'appliquent ici sont les mĂȘmes que pour un projet Python, il est impĂ©ratif de tester les diffĂ©rentes fonctionnalitĂ©s grĂące aux unittests et doctests. Django dispose d'un module entier consacrĂ© à ça, il est temps de s'en servir. Un client spĂ©cifique aux tests permet mĂȘme de tester les diffĂ©rentes vues et le rĂ©sultats des appels (GET, POST, etc).
En dĂ©couplant les diffĂ©rentes app Ölications de votre projet (lire Ă ce sujet l'excellent post de James Bennett), vous allez pouvoir vous constituer (ou rĂ©cupĂ©rer) un bibliothĂšque d'applications web rĂ©utilisables dans plusieurs de vos projets.
On ne mentionnera jamais assez à quel point la documentation d'un projet est importante. Normalement les doctests doivent permettre de « raconter une histoire », développez vos talents d'écrivain !
Cerise sur le gĂąteau, Django vous permet de gĂ©nĂ©rer automatiquement la documentation Ă partir du code dans l'interface d'administration, ce Ś qui s'avĂšre trĂšs pratique si vous travaillez avec une Ă©quipe de plusieurs personnes dont certaines s'occupent exclusivement du html/css/js.
Exemple d'itération sur l'implémentation des URL.
Utilisation assez naïve avec la construction d'URL à la main, c'est une mauvaise pratique car vous devez modifier les URL à de nombreux endroits si vous décidez de changer votre schéma.
La seconde mĂ©thode s'appuie sur une mĂ©thode du modĂšle (diffĂ©rente ici du bien connu get_absolute_url car on veut accĂ©de Űr au profil et non Ă l'utilisateur), c'est dĂ©jĂ mieux mais il faut encore modifier l'URL Ă deux endroits en cas de modification.
Enfin la bonne méthode est d'utiliser les URL nommées, qui permettent de ne dupliquer la création des URL à aucun endroit, si vous modifiez celle dans urls.py ça va impacter sur l'ensemble des URL de votre site. Cela est permis grùce au décorateur permalink.
Ces différentes pratiques vous permettent d'opérer des refactoring important de code tout en étant serein et de vous concentrer sur d'autres fonctionnalités.
< Ùp>
Je voulais terminer sur un point qui me semble capital pour améliorer la qualité d'une application (pas forcément Django).
L'idée m'est venue en consultant la présentation de Cameron Moll et plus spécifiquement le slide comparant le bon designer au super designer.
J'en suis arrivĂ© Ă la conclusion qu'un bon dĂ©veloppeur est consciencieux, il connaĂźt ses outils et sait parfaitement obtenir un rĂ©sultat satisfaisant av Úec. Qu'est-ce qu'il lui manque alors ?
Bien souvent la curiosité, celle de fureter pour finalement trouver une solution plus adaptée ou un module qui fait déjà ce qu'il a mis une semaine à coder, celle d'aller à des conférences, de lire des livres, d'essayer de comprendre pourquoi certaines choses ont été faites ainsi. Cette qualité vous permet de vous épanouir quotidiennement dans votre travail.
Bon avec tous ces conseils, vous allez forcément faire une appli qui va conquérir le monde, faire chuter l'action Google et sauver la planÚte.
Les crédits, merci ! (complÚtement illisibles, il faut que je trouve un moyen simple de formater ça)
Bilan personnel
Je suis beaucoup moins satisfait de ma seconde prestation, j'ai remis en question chaque concept prĂ©sentĂ© au fur et Ă mesure, doutant de l'intĂ©rĂȘt pour quelqu'un s'intĂ©ressant peu Ă Django. Du coup j'Ă©tais un peu hĂ©sitant et je pense que ça s'est ressenti.
Au final, j'ai un peu le sentiment que ceux qui connaissaient pas trop ces problématiques se sont ennuyés et ceux qui y étaient confrontés aussi car je ne suis pas allé assez loin...
Concernant Keynote (ça vaut pour les deux confs) : aucun problĂšme au niveau des images, par contre je n'ai pas pris le temps de configurer l'Ă©cran pour voir le slide suivant + le temps sur l'Ă©cran et c'Ă©t Üait un tort car ça aide beaucoup.
Conclusion
Il y a probablement des formats plus appropriés pour aborder les problématiques de performances/qualités comme des tables rondes ou des séances de questions/réponses comme me le suggérait Fabien par mail. Pour montrer la rapidité de développement de Django et donner envie d'essayer, rien ne vaut un atelier avec un petit projet de mise en bouche. Autant de pistes qu'il faudra explorer lors des journées 2009 !
Vous y Ă©tiez ?
Votre avis m'intĂ©resse Ă©normĂ©ment. J'aimerais vraiment pouvoir progresser Ă ce niveau et vous ĂȘtes le mieux placĂ© pour m'aider. J'ai dĂ©jĂ eu des retours par blog (merci Sunny), par email et sur irc mais si vous avez un peu de temps, n'hĂ©sitez pas, je prends le bon mais aussi et surtout le mauvais. N'ayez pas peur d'y aller trop fort, j'encaisse derriĂšre :-).
[Ed it] : les vidéos sont en ligne ! Merci l'AFPy.
Conférences Django pour PyCon fr
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 21 Mai 2008. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Ăa faisait un moment que je n'avais pas parlĂ© des bonnes pratiques Python mais l'approche de Pycon fr (oĂč je prĂ©senterai Django : le pourquoi et le comment le 18 mai), ß± 5AAŻ5Ż5oWhttp://www.biologeek.com/conferences,django,python/conferences-django-pour-pycon-fr/2008-08-31 17:41:09.3462412008-05-21 00:57:53.000000
J'ai eu le privilĂšge de prĂ©senter Django lors des journĂ©es organisĂ©es par l'afpy. C'Ă©tait vraiment un weekend exceptionnel, une organisati § 8 ~ òäÌŸ«waSE/!îàÒÆžȘs]OA3 ôéÚÉ»Źk\PA( ț ń â Ô Ç ž © ~ django/ unix. python. pylons- python- wsgi, zope3, python+ wsgi+ python* web) python) -bio-informatique( python( web' python' -bonnes-pratiques& python& -bonnes-pratiques% python% livre$ critique$ python$ web# ~ python# } web" | python"{ -bonnes-pratiques! z python! y python x django w )web-frameworks v python u )web-frameworks t #conferences s django r python q rest p python o django n )web-frameworks m livre l critique k python j )web-frameworks i django h pythong )web-semantiquef %informatiquee !traduction d djangoc #conferences b pythona -bonnes-pratiques ` python _ django à l'Ă©vĂ©nement Python incontournable avec un programme des plus allĂ©chants, m'a bien motivĂ© pour effectuer la traduction de l'une des meilleures prĂ©sentation par David Goodger que je connaisse qui remet les bonnes pratiques Python Ă plat, ce qui est toujours bon avant d'aller plus loin.
La lisibilité est importante
Les programmes doivent ĂȘtre Ă©crits pour ĂȘtre lus par des gens et accidentellement exĂ©cutĂ©s par les machines.
-- Abelson & Sussman, Structure and Interpretation of Computer Programs
Essayez de rendre vos programmes faciles Ă lire et Ă©vidents.
PEP 8 : Style Guide pour le code Python
Une lecture immanquable : http://www.python.org/dev/peps/pep-0008/ (PEP = Python Enhan ácement Proposal)
Un PEP est une document procurant des informations à la communauté Python, ou décrivant une nouvelle fonctionnalité de Python et ses processus ou de son environnement.
La communauté Python a ses propres standards sur ce à quoi doit ressembler le code, codifiés dans le PEP8. Ces standards sont différents de ceux des autres communautés, comme C, Java, etc.
L'indentation et les espaces étant si importants en Python, ce Style Guide est une standard. Il est important que vous adhériez au guide ! La plupart des projets suivent ces conventions.
Whitespace 1
- 4 espaces par niveau d'indentation.
- Pas de tabs.
- Ne jamais mixer des tabs et des espaces.
- Un saut de ligne entre les fonctions.
- Deux sauts de ligne entre les classes.
Whitespace 2
- Ajoutez un espace aprĂšs ", ", dans les dictionnaires, les listes, les tuples, les arguments d'une liste d'arguments et apr âĂšs ":" dans les dictionnaires mais pas avant.
- Mettez des espaces autour des assignements et des comparaisons (excepté pour les arguments d'une liste).
- Pas d'espace aux ouvertures/fermetures de parenthĂšses ou juste avant une liste d'arguments.
Pas d'espace en ouverture/fermeture de docstrings.
def make_squares(key, value=0): """Return a dictionary and a list...""" d = {key: value} l = [key, value] return d, l
Nommage
joined_lowerpour les fonctions, méthodes et attributsjoined_lowerouALL_CAPSpour les constantesStudlyCapspour les classescamelCaseseulement pour suivre des conventions pré-existantes- Attributs:
interface,_internal,__private
Mais essayez d'éviter la forme __privée. Je ne l'utilise jamais.
Fa ăites moi confiance. Si vous l'utilisez, vous le regretterez plus tard.
Longues lignes et continuité
Garder une taille de ligne inférieure à 80 caractÚres.
Utilisez la continuité implicite des lignes au sein des parenthÚses/crochets/accolades :
def __init__(self, first, second, third,
fourth, fifth, sixth):
output = (first + second + third
+ fourth + fifth + sixth)
Utilisez les backslashs en dernier recours :
VeryLong.left_hand_side \
= even_longer.right_hand_side()
Les backslashs sont locaux, ils doivent terminer la ligne sur laquelle ils sont. Si vous ajoutez un espace aprÚs le backslash, ça ne sert à rien. Ah aussi, c'est laid.
Longues chaĂźnes de caractĂšres
Les chaßnes de caractÚres adjacentes sont concaténées par le parser:
>>> print 'o' 'n' "e"
one
Les espaces entre les chaĂźnes ne sont pas requis, ämais aident Ă la lisibilitĂ©. Tous les types de quotes sont utilisable :
>>> print 't' r'\/\/' """o"""
t\/\/o
La chaßne précédée par "r" est une chaßne de type "raw". Les backslashs ne sont pas évalués comme étant des caractÚres d'échappement dans les chaßnes de type raw. Elles sont utiles pour les expressions réguliÚres et les chemins de fichiers Windows.
Notez que les chaßnes de caractÚres nommées ne sont pas concaténées :
>>> a = 'three'
>>> b = 'four'
>>> a b
File "<stdin>", line 1
a b
^
SyntaxError: invalid syntax
Cela vient du fait que la concaténation automatique est une fonctionnalité du parser/compiler Python, pas de l'interpréteur. Vous devez utiliser le signe "+" pour concaténer des chaßnes de caractÚres à l'éxecution.
text = ('Long strings can be made up ' 'of several shorter strings.')Les parenthÚses autorisent la continuité implicite des lignes. Les chaßnes de caractÚres sur plusieurs lignes utilisent les triple quotes :
"""Triple double quotes""" '''\ Triple single quotes\ '''Dans le dernier exemple ci-dessus (simple triple quotes), notez l'utilisation du backslash pour Ă©chapper les nouvelles lignes. Cela Ă©limine les nouvelles lignes en conservant les quotes joliment alignĂ©es Ă gauche. Les backslashs doivent ĂȘtre Ă la fin de leurs lignes.
DĂ©clarations
Bon :
if foo == 'blah': do_something() do_one() do_two() do_three()Mauvais :
if foo == 'blah': do_something() do_one(); do_two(); do_three()Les espaces et l'indentation sont de bons indicateurs visuels du flot du programme. L'indentation de la seconde ligne du "Bon" ci-dessus montre au lecteur que quelque chose va se produire, alors que le manque d'indentation dans le "Mauvais" exemple cach æe le "if".
Les dĂ©clarations multiples sur une mĂȘme ligne sont une torture. En Python, la lisibilitĂ© compte.
Docstrings et Commentaires
Docstrings = Comment utiliser le code
Commentaires = Pourquoi (rationnel) et comment le code fonctionne
Les docstrings expliquent comment utiliser le code et sont lĂ pour les utilisateurs de votre code. Quelques usages :
- Expliquer le but d'une fonction mĂȘme si ça vous semble Ă©vident car ça ne semblera pas forcĂ©ment Ă©vident Ă une personne plus tard.
- Décrire les paramÚtres attendus, les valeurs retournées et les exceptions levées.
- Si la méthode est fortement couplée à un seul appelant, mentionner la fonction appelante (attention au fait que celle-ci puisse changer).
Les commentaires expliquent pourquoi et sont pour les mainteneurs de votre code. Examples inclu çant des notes pour vous-mĂȘme, comme :
# !!! BUG: ...
# !!! FIX: This is a hack
# ??? Why is this here?
Les deux types sont de votre ressort donc Ă©crivez de bonnes docstrings et de bons commentaires !
Les docstrings sont utiles pour un usage interactif (help()) et pour
les systĂšmes d'auto-documentation.
Les commentaires et docstrings faux sont pire que tout. Donc conservez les à jour ! Lorsque vous effectuez des modifications, assurez vous que les commentaires et les docstrings sont cohérents avec le code.
Il y a un PEP entier consacré aux docstrings, PEP 257, "Docstring Conventions".
La pratique a raison de la théorie
Il y a toujours des exceptions. Issu du PEP 8 :
Mais plus important : sachez ĂȘtre pertinents - parfois le style guide ne s'applique pas. Lorsque vous avez un doute, utilisez votre raison. Ătudie èz d'autres possibilitĂ©s et dĂ©cidez de ce qui vous semble le mieux. Et n'hĂ©sitez pas Ă demander ! Deux bonnes raisons de ne pas suivre une rĂšgle particuliĂšre :
(1) Lorsque appliquer la rĂšgle va rendre le code moins lisible, mĂȘme pour quelqu'un qui est habituĂ© Ă lire du code qui suit les rĂšgles.
(2) Pour ĂȘtre cohĂ©rent avec du code prĂ©existant qui enfreint aussi ces rĂšgles (peut-ĂȘtre pour des raisons historiques) -- mĂȘme si c'est aussi une opportunitĂ© pour faire un peu de nettoyage (dans un pur style XP).
... mais la pratique ne doit pas réduire la théorie à néant !
On plonge maintenant au cĆur du tutoriel : les astuces. On va commencer avec les plus faciles et augmenter progressivement le niveau.
Variables intermédiaires
Dans les autres langages :
temp = a
a = b
b = temp
En Python :
b, a = a, b
Vous l'avez peut-ĂȘtre d éĂ©jĂ rencontrĂ© mais savez vous comment ça fonctionne ?
- La virgule est la syntaxe de construction du tuple.
- Un tuple est créé à droite (tuple packing).
- Un tuple en est la cible Ă gauche (tuple unpacking).
La partie à droite est unpackée dans les noms de tuple de la partie à gauche.
D'autres exemples:
>>> l =['David', 'Pythonista', '+1-514-555-1234']
>>> name, title, phone = l
>>> name
'David'
>>> title
'Pythonista'
>>> phone
'+1-514-555-1234'
Utile dans les boucles sur des données structurées (la variable l
ci-dessus a été conservée) :
>>> people = [l, ['Guido', 'BDFL', 'unlisted']]
>>> for (name, title, phone) in people:
... print name, phone
...
David +1-514-555-1234
Guido unlisted
Chaque item de people est unpackĂ© dans le tuple (name, êtitle, phone).
Il est aussi possible de faire le chemin inverse, il faut juste s'assurer d'avoir la mĂȘme structure Ă droite et Ă gauche :
>>> david, (gname, gtitle, gphone) = people
>>> gname
'Guido'
>>> gtitle
'BDFL'
>>> gphone
'unlisted'
>>> david
['David', 'Pythonista', '+1-514-555-1234']
Aller plus loin avec les tuples
On a vu que la virgule Ă©tait le constructeur du tuple, pas les parenthĂšses. Par exemple :
>>> 1,
(1,)
L'interprĂ©teur Python montre les parenthĂšses pour que ce soit plus clair et je vous conseille de faire de mĂȘme :
>>> (1,)
(1,)
Mais n'oubliez pas la virgule !
>>> (1)
1
Dans un tuple contenant un seul Ă©lĂ©ment, la virgule est nĂ©cessaire. Dans un tuple avec plus de 2 Ă©lĂ©ments, la virgule finale est optionnelle. Pour un tuple vide ë, une paire de parenthĂšses suffit :
>>> ()
()
>>> tuple()
()
Une erreur de typo courante est de laisser une virgule alors que vous ne souhaitez pas avoir un tuple. Il est trĂšs facile de l'oublier dans votre code :
>>> value = 1,
>>> value
(1,)
Donc si vous vous retrouvez avec un tuple alors que vous ne vous y attendiez pas, cherchez la virgule ! (Note du traducteur : de ma propre expérience, il est plus courant d'oublier la virgule pour un tuple ne contenant qu'un seul élément, dans les settings de Django par exemple, cherchez plutÎt la virgule manquante dans ces cas là ).
Le "_" interactif
C'est une fonctionnalité trÚs utile que peu de développeurs connaissent. (Note du traducteur : bien entendu vous n'en faites pas partie et vous connaissez les dangers associés.)
ìDans un interprĂ©teur interactif, que vous Ă©valuiez une expression ou que
vous appeliez une fonction, le résultat est stocké dans une variable
temporaire, _ (un underscore) :
>>> 1 + 1
2
>>> _
2
_ stocke la derniÚre valeur affichée.
Lorsqu'un résultat vaut None, rien n'est affiché, donc _ ne change
pas. C'est normal !
Ăa ne marche que dans un interprĂ©teur interactif, pas dans un module.
C'est particuliÚrement utile lorsque vous travaillez sur un problÚme de maniÚre interactive, et que vous souhaitez stocker la valeur du dernier résultat :
>>> import math
>>> math.pi / 3
1.0471975511965976
>>> angle = _
>>> math.cos(angle)
0.50000000000000011
>>> _
0.50000000000000011
Construction de chaĂźnes de caractĂšres
Commençons avec une liste de chaßnes de caractÚres :
ícolors = ['red', 'blue', 'green', 'yellow']
On veut concaténer ces chaßnes ensemble pour en créer une longue. ParticuliÚrement lorsque le nombre de sous-chaßnes est gros...
Ne faites pas :
result = ''
for s in colors:
result += s
C'est trĂšs lent. Ăa utilise Ă©normĂ©ment de mĂ©moire et de performances. La somme va additionner, stocker, et ensuite passer Ă la suite pour chaque Ă©tape intermĂ©diaire.
Faites plutĂŽt ceci :
result = ''.join(colors)
La méthode join() fait toute la copie en une seule passe.
Lorsque vous ne traitez qu'une petite centaine de chaßnes de caractÚres, ça ne fait aucune différence. Mais prenez l'habitude de construire vos chaßnes de façon optimale, car avec des milliers ou des boucles, ça va faire la différence.
Construire des chaĂźnes, solutions 1
Voici quelques techniques pour utiliser la mĂ©thode î join().
Si vous voulez un espace comme séparateur :
result = ' '.join(colors)
ou une virgule et un espace :
result = ', '.join(colors)
voici un cas courant d'utilisation :
colors = ['red', 'blue', 'green', 'yellow']
print 'Choose', ', '.join(colors[:-1]), \
'or', colors[-1]
Pour faire une phrase grammaticalement correcte, on veut des virgules entre
chaque valeurs sauf la derniĂšre, oĂč l'on prĂ©fĂšre un "ou". La syntaxe de
découpage d'une liste s'occupe du reste. La "partie jusqu'à -1" ([:-1])
retourne tout sauf la derniÚre valeur, que l'on peut concaténer avec nos
virgules.
Bien sûr, ce code ne fonctionnera pas avec les cas particuliers comme une liste de taille 0 ou 1. Ce qui retourne :
Choose red, blue, green or yellow
Construire des chaĂźnes, solutions 2
Vous avez besoin d'appliquer une fonction pour gĂ ï©nĂ©rer les chaĂźnes initiales :
result = ''.join(fn(i) for i in items)
Ăa utilise une generator expression, dont on parlera plus tard.
Si vous devez modifier les chaßnes de maniÚre incrémentale, commencez par les stocker dans une liste pour commencer :
items = []
...
items.append(item) # de nombreuses fois
...
# une fois la liste complétée
result = ''.join(fn(i) for i in items)
On accumule les parties de la liste afin de pouvoir appliquer le join,
ce qui est plus rapide.
Utilisez in lorsque c'est possible (1)
Bon :
for key in d:
print key
inest généralement plus rapide.- Ce pattern marche aussi pour des items dans des containers arbitraires (comme les listes, les tuples ou les tests).
inest aussi un opérateur (comme on va le voir).
Mauvais :
for key đ in d.keys():
print key
C'est limité aux objects ayant une méthode keys().
Utilisez in lorsque c'est possible (2)
Mais .keys() est nécessaire lorsque vous modifiez le dictionnaire :
for key in d.keys():
d[str(key)] = d[key]
d.keys() crée une liste statique des clés du dictionnaire. Sinon, vous
allez lever une exception "RuntimeError: dictionary changed size during iteration".
Utilisez key in dict, et non dict.has_key() :
# faites ça :
if key in d:
...do something with d[key]
# mais pas ça :
if d.has_key(key):
...do something with d[key]
in est ici utilisé comme un opérateur.
La méthode get des dictionnaires
On doit souvent initialiser les entrées d'un dictionnaire avant de les utiliser:
Voici la maniĂšre naĂŻve de faire :< ń/p>
navs = {}
for (portfolio, equity, position) in data:
if portfolio not in navs:
navs[portfolio] = 0
navs[portfolio] += position * prices[equity]
dict.get(key, default) permet de ne pas avoir Ă se soucier du test :
navs = {}
for (portfolio, equity, position) in data:
navs[portfolio] = (navs.get(portfolio, 0)
+ position * prices[equity])
Beaucoup mieux.
La méthode setdefault des dictionnaires (1)
Ici on doit initialiser les valeurs d'un dictionnaire mutables. Chaque valeur du dictionnaire sera une liste. Voici la maniĂšre naĂŻve :
equities = {}
for (portfolio, equity) in data:
if portfolio in equities:
equities[portfolio].append(equity)
else:
equities[portfolio] = [equity]
dict.setdefault(key, default) s'occupe de ça de maniÚre beaucoup plus rapide :
equities = {}
f òor (portfolio, equity) in data:
equities.setdefault(portfolio, []).append(equity)
dict.setdefault() est Ă©quivalent Ă "get ou set & get". Ou
"set si nécessaire, puis get". C'est particuliÚrement rapide si votre clé de
dictionnaire est coûteuse à générer ou longue à taper.
Le seul problÚme avec dict.setdefault() c'est que la valeur par défaut est
Ă©valuĂ©e, qu'elle soit utilisĂ©e ou non. Ăa ne pose problĂšme que si la clĂ© est
coûteuse à calculer.
Si la valeur par défaut est coûteuse à calculer, vous devriez plutÎt
utiliser la classe defaultdict.
La méthode setdefault des dictionnaires (2)
On va voir qu'il est possible d'utiliser setdefault pour déclarer une valeur par défaut :
navs = {}
for (portfolio, equity, position) in data:
navs.setdefault(portfolio, 0)
navs[portfolio] += position * prices[equity]
La méthode setdefault d'un dictionnaire retourne la valeur par défaut, mais
nous l'ignorons ici. On tire profit d'une conséquence de l'utilisation de
setdefault, la valeur n'est initialisée que si elle n'existe pas déjà .
defaultdict
Nouveau avec Python 2.5.
defaultdict est nouveau dans Python 2.5, il fait partie du module
collections. defaultdict est identique aux dictionnaires classiques,
excepté pour deux cas :
- il prend un premier argument optionnel : une fonction factory par défaut
- lorsqu'une clé de dictionnaire est rencontrée pour la premiÚre fois, la fonction factory par défaut est appelée et le résultat initialise la valeur du dictionnaire.
Il y a deux maniÚres d'accéder à defaultdict :
importer le module
collectionset l'appeler Ă travers le module :import collections d = co ôllections.defaultdict(...)ou importer
defaultdictdirectement :from collections import defaultdict d = defaultdict(...)
Voici l'exemple dĂ©jĂ traitĂ©, oĂč chaque valeur du dictionnaire fois ĂȘtre
initialisĂ© pour ĂȘtre une liste vide, rĂ©Ă©crit en utilisant defaultdict :
from collections import defaultdict
equities = defaultdict(list)
for (portfolio, equity) in data:
equities[portfolio].append(equity)
Il n'y a plus d'astuce ici. Dans ce cas, la fonction factory par défaut est
list, ce qui retourne une liste vide.
C'est la maniÚre d'avoir un dictionnaire avec les valeurs par défaut à 0,
utilisez int comme factory :
navs = defaultdict(int)
for (portfolio, equity, position) in data:
navs[portfolio] += position * prices[equity]
Il faut faire attention Ă defaultdict quand mĂȘme. Vou ős ne pouvez pas
utiliser l'exception KeyError sur un dictionnaire initialisé avec defaultdict.
Vous devez utiliser la condition "key in dict" si vous voulez vérifier
l'existence d'une clé de maniÚre spécifique.
Construire et scinder des dictionnaires
Voila une technique utile pour construire un dictionnaire à partir de deux listes (ou séquences), une liste pour les clés, une liste pour les valeurs :
given = ['John', 'Eric', 'Terry', 'Michael']
family = ['Cleese', 'Idle', 'Gilliam', 'Palin']
pythons = dict(zip(given, family))
>>> pprint.pprint(pythons)
{'John': 'Cleese',
'Michael': 'Palin',
'Eric': 'Idle',
'Terry': 'Gilliam'}
L'inverse est trivial bien sûr :
>>> pythons.keys()
['John', 'Michael', 'Eric', 'Terry']
>>> pythons.values()
['Cleese', 'Palin', 'Idle', 'Gilliam']
Notez que l'ordre du rĂ©sultat des .keys() et .values() Ă est diffĂ©rent des ölistes utilisĂ©es lors de la crĂ©ation du dictionnaire. L'ordre d'entrĂ©e est diffĂ©rent de l'ordre de sortie car un dictionnaire n'est pas ordonnĂ©. Par contre, l'ordre des clĂ©s est consistant avec celui des valeurs, Ă condition que le dictionnaire n'ait pas Ă©tĂ© modifiĂ© entre temps.
Tester des valeurs vraies
Il est élégant et rapide de tirer partie des avantages de Python en ce qui concerne les valeurs booléennes :
# faites ça : # et pas ça :
if x: if x == True:
pass pass
Test d'une liste :
# faites ça : # et pas ça :
if items: if len(items) != 0:
pass pass
# et surtout pas ça :
if items != []:
pass
Valeurs vraies
Les noms True et False sont des instances intrinsĂšques Ă Python de type
bool, des valeurs booléennes. Comme None, il n'existe qu'une seule
instance de chaque.
| False | True |
|---|---|
False (== 0)
|
True (== 1)
|
"" (empty string)
|
toutes les chaĂźnes Ă part "" (" ",
"nimportequoi")
|
0, 0.0
|
n'importe quel chiffre Ă part 0
(1, 0.1, -1, 3.14)
|
[], (),
ű {}, set()
|
n'importe quel container non vide
([0], (None,), [''])
|
None
|
pratiquement tous les objets qui ne sont explicitement Ă©quivalents Ă False |
Voici par exemple un objet qui est toujours vrai :
>>> class C:
... pass
...
>>> o = C()
>>> bool(o)
True
>>> bool(C)
True
Pour contrÎler la valeur booléenne d'une instance ou d'une classe définie,
utilisez les méthodes spéciales __nonzero__ ou __len__. Utilisez
__len__ si votre classe est un container qui a une taille :
class MyContainer(object):
def __init__(self, data) ù:
self.data = data
def __len__(self):
"""Return my length."""
return len(self.data)
Si votre classe n'est pas un container, utilisez __nonzero__ :
class MyClass(object):
def __init__(self, value):
self.value = value
def __nonzero__(self):
"""Return my truth value (True or False)."""
# This could be arbitrarily complex:
return bool(self.value)
En Python 3.0, __nonzero__ a Ă©tĂ© renommĂ© __bool__ afin d'ĂȘtre consistant
avec le type bool natif. Pour ĂȘtre compatible, ajoutez ceci Ă la dĂ©finition
de votre classe :
__bool__ = __nonzero__
Index & Item (1)
Voici une maniÚre élégante de vous épargner quelques lignes si vous avez besoin d'une liste de mots :
>>> items = 'zero one two three'.split()
>>> print items
['zero', 'one', 'two', 'three']
Prenons l'exemple d'un itération entre les items d'une liste, pour laquelle nous voulons à la fois l'item et la position (l'index) de cet item dans la liste :
- ou -
i = 0
for item in items: for i in range(len(items)):
print i, item print i, items[i]
i += 1
Index & Item (2): enumerate
La fonction enumerate prend une liste et retourne des paires (index, item) :
>>> print list(enumerate(items))
[(0, 'zero'), (1, 'one'), (2, 'two'), (3, 'three')]
Il est nécessaire d'avoir recours à une list pour afficher les résultats
car enumerate est une fonction fainĂ©ante, gĂ©nĂ©rant un item (une paire) Ă
la fois, seulement lorsqu'il est demandé. Une boucle for nécessite un tel
mécanisme. enumerate est un exemple de générateur dont on parlera plus
tard des dĂ©tails. ûprint ne prend pas un rĂ©sultat Ă la fois mais doit ĂȘtre
en possession de la totalité du message à afficher. On a donc converti
automatiquement le générateur en une liste avant d'utiliser print.
Notre boucle devient beaucoup plus simple :
for (index, item) in enumerate(items):
print index, item
# comparé à : # comparé à :
index = 0 for i in range(len(items)):
for item in items: print i, items[i]
print index, item
index += 1
La version avec enumerate est plus courte et plus simple que la version
de gauche, et plus facile Ă lire que les deux autres.
Un exemple montrant que la fonction enumerate retourne un itérateur
(un générateur est une sorte d'itérateur) :
>>> enumerate(items)
<enumerate object at 0x011EA1C0>
>>> e = enumerate(items)
>>> e.next()
(0, 'zero')
>>> e.next()
(1, 'one')
>> ü;> e.next()
(2, 'two')
>>> e.next()
(3, 'three')
>>> e.next()
Traceback (most recent call last):
File "<stdin>", line 1, in ?
StopIteration
Les autres langages ont des "variables"
Dans de nombreux autres langages, assigner une variable revient Ă mettre une valeur dans une boĂźte.
int a = 1;
La boĂźte "a" contient maintenant un integer 1.
Assigner une autre valeur Ă la mĂȘme variable remplace le contenu de la boĂźte :
a = 2;
Maintenant la boĂźte "a" contient un integer 2.
Assigner une variable à une autre crée une copie de la valeur et la met dans une nouvelle boßte :
int b = a;
"b" est une seconde boßte, avec une copie de l'entier 2. La boßte "a" en a une copie séparée.
Python a des "noms"
En Python, un "nom" ou "identifiant" est comme une étiquette attachée à un objet.
a = 1
Ici, un objet integer 1 a une étiquette appelée "a".
Si on réassigne "a", on déplace juste l'étiquette sur un autre objet :
a = 2
Mainte țnant le nom "a" est attachĂ© Ă un objet entier 2.
L'objet entier 1 n'a plus le tag "a". Il peut encore exister mais on n'y a plus accÚs via le nom "a". (Lorsqu'un objet n'a plus aucune référence ou étiquette, il est supprimé de la mémoire.)
Si l'on assigne un nom Ă un autre, on attache juste une autre Ă©tiquette Ă un objet existant :
b = a
Le nom "b" est juste une seconde Ă©tiquette attachĂ©e au mĂȘme objet que "a".
Bien que l'on réfÚre communément aux "variables" en Python (car c'est une terminologie commune aux autres langages), on manipule vraiment de "noms" ou "identifiants". En Python, les "variables" sont des étiquettes pour des valeurs, non des boßtes nommés.
Si vous ne comprenez rien au reste de ce tutoriel, j'espĂšre que vous aurez$ au moins retenu la façon dont les noms fonctionnent. Une bonne ÿcomprĂ©hension vous permettra d'apprendre rapidement et d'Ă©viter des erreurs comme celle-ci:
Valeurs de paramÚtres par défaut
C'est une erreur courante que les dĂ©butants font souvent. MĂȘme les dĂ©veloppeurs plus expĂ©rimentĂ©s la font s'ils n'ont pas compris comment fonctionnent les noms en Python.
def bad_append(new_item, a_list=[]):
a_list.append(new_item)
return a_list
Le problÚme ici c'est que la valeur par défaut a_list, une liste vide,
est évaluée lors de la définition de la fonction. Ainsi à chaque fois que
vous appelez la fonction vous obtenez la mĂȘme valeur par dĂ©faut.
Essayez plusieurs fois :
>>> print bad_append('one')
['one']
>>> print bad_append('two')
['one', 'two']
Les listes sont modifiables, vous pouvez modifier leur contenu. La bonne maniÚre d'avoir une liste par défaut (ou dictionnaire, ou set) est de la créer au moment du lance ment, au sein de la fonction :
def good_append(new_item, a_list=None):
if a_list is None:
a_list = []
a_list.append(new_item)
return a_list
Formattage des chaĂźnes de caractĂšres avec %
L'opérateur % fonctionne en Python comme la fonction sprintf de C.
Bien sûr si vous ne connaissez pas C, ça ne vous aide pas. Pour faire simple, vous définissez un template ou format et des valeurs qui seront interprétées.
Dans cet exemple, le template contient deux spécifications de conversion
"%s" signifie "insérer une chaßne de caractÚre ici" et "%i" signifie
"convertir un integer en string et l'insérer ici". "%s" est particuliÚrement
utile car il utilise la fonction standard str() pour convertir un objet
en une chaĂźne de caractĂšres.
Les valeurs proposées doivent correspondrent au template, on a deux valeurs ici, un tuple.
name = 'David'
messages = 3
text = ('Hello %s, you have %i messages'
% (name, messages))
print text
Ce qui donne :
Hello David, you have 3 messages
Les détails sont dans la Python Library Reference, section 2.3.6.2, "String Formatting Operations". Mettez cette page en favoris !
Si vous ne l'avez pas encore fait, allez sur python.org, téléchargez la documentation en HTML (dans un .zip ou une archive), et installez la sur votre machine. Il n'y a rien de mieux que d'avoir la ressource de référence à portée de clavier.
Formattage des chaßnes de caractÚres avancé
Pourquoi est-ce qu'il y a autant de personnes qui ne réalisent pas qu'il y a d'autres façons de formater les chaßnes de caractÚres qui peuvent s'avérer plus puissantes ?
Avec des noms grĂące Ă un dictionnaire :
values = {'name': name, 'messages': messages} print ('Hello %(name)s, you have %(messages)i ' 'messages' % values)Ici on a spécifié les noms des valeurs interprétées, qui constituent les clés du dictionnaire.
Vous trouvez qu'il y a de la redondance ? Les noms "name" et "messages" sont déjà définis localement. On peut en tirer parti.
En utilisant les variables locales :
print ('Hello %(name)s, you have %(messages)i ' 'messages' % locals())La fonction
locals()retourne un dictionnaire de toutes les variables locales disponibles.C'est trÚs puissant. Grùce à ça, vous pouvez formater toutes les chaßnes de caractÚres que vous voulez sans avoir à vous soucier de la correspondance positionnelle avec les valeurs soumises en argument.
Mais le pouvoir peut ĂȘtre dangereux. ("With great power comes great responsibility.") Si vous utilisez
locals()avec un template issu d'une ressource externe, vous exposez l'intĂ©gralitĂ© de votre espace de noms local. C'est une chose Ă garder en tĂȘte.Pour exam iner votre espace de nom local :
>>> from pprint import pprint >>> pprint(locals())
pprintest un module trĂšs utile. Si vous ne le connaissiez pas dĂ©jĂ , essayez de jouer avec. Ăa rend le debugging des donnĂ©es structurĂ©es beaucoup plus simple !Formattage des chaĂźnes de caractĂšres avancĂ©
L'espace de nom des attributs d'une instance d'objet est simplement un dictionnaire,
self.__dict__.En utilisant l'espace de nom d'une instance :
print ("We found %(error_count)d errors" % self.__dict__)Equivalent Ă , mais moins flexible que :
print ("We found %d errors" % self.error_count)Note: Les attributs d'une classe sont dans le
__dict__de la classe. Les espaces de noms sont hérités et constituent donc des dictionnaires chaßnés.List Comprehensions
Les list comprehensions ("listcomps" p our les intimes) sont des raccourcis syntaxiques pour ce pattern généralement utilisé.
La maniĂšre traditionnelle avec
foretif:new_list = [] for item in a_list: if condition(item): new_list.append(fn(item))En utilisant une list comprehension :
new_list = [fn(item) for item in a_list if condition(item)]Les listcomps sont claires et concises, directes. Vous pouvez avoir plusieurs boucles
foret conditionsifau sein d'une mĂȘme listcomp, mais au-delĂ de deux ou trois, ou si les conditions sont complexes, je vous suggĂšre d'utiliser l'habituelle bouclefor. En appliquant le Zen de Python, utilisez la mĂ©thode la plus lisible.Par exemple, la liste des carrĂ©s de 0 Ă 9 :
>>> [n ** 2 for n in range(10)] [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]La liste des nombres impairs au sein de la prĂ ©cĂ©dente liste :
>>> [n ** 2 for n in range(10) if n % 2] [1, 9, 25, 49, 81]Generator Expressions (1)
Faisons la somme des carrés des nombres inférieurs à 100 :
Avec une boucle :
total = 0 for num in range(1, 101): total += num * numOn peut aussi utiliser la fonction
sumqui fait plus rapidement le travail pour nous en construisant la bonne séquence.Avec une list comprehension :
total = sum([num * num for num in range(1, 101)])Avec une generator expression :
total = sum(num * num for num in xrange(1, 101))Les generator expressions ("genexps") sont comme les list comprehensions, excepté dans leur calcul, les genexps sont fainéantes. Les listcomps calculent l'intégralité du résultat en une seule passe, pour le stocker dans une liste. Les generator expressions calculent une valeur à la fois, lorsqu'elle est nécessaire. C'est particuliÚrement utile lorsque la séquence est trÚs longue lorsque la liste générée n'est qu'une étape intermédiaire et non le résultat final.
Dans ce cas, on est uniquement intéressé par la somme, on n'a pas besoin de la liste des résultats intermédiaires. On utilise
xrangepour la mĂȘme raison, ça gĂ©nĂšre les valeurs une par une.Generator Expressions (2)
Par exemple si on doit faire la somme des carrés de plusieurs milliards d'entiers, on va arriver à une saturation de la mémoire avec une list comprehension, mais les generator expressions ne vont avoir aucun problÚme. Bon ça va prendre un certain temps par contre !
total = sum(num * num for num in xrange(1, 1000000000))La différence de syntaxe est que les listcomps ont des crochets, alors que les genexps n'en ont pas. Les generator expressions nécessitent parfois des parenthÚses par contre, vous devriez donc toujours les uti liser.
En bref :
- Utilisez une list comprehension lorsque le résultat escompté est la liste.
- Utilisez une generator expression lorsque la liste n'est qu'un résultat intermédiaire.
Voici un récent exemple de ce que j'ai vu au boulot.
On avait besoin d'un dictionnaire qui corresponde aux chiffres des mois (Ă la fois via des chaĂźnes de caractĂšres et via des integers) au code des mois pour un client. Cela peut ĂȘtre fait avec une ligne de code.
Ăa fonctionne de la maniĂšre suivante :
- La fonction de référence
dict()prend en argument une liste de paires de clés/valeurs (2-tuples). - On a une liste des codes des mois (chaque code est une simple lettre, et une chaßne de caractÚres est aussi une simple liste de lettres). On parcours cette liste pour obtenir à la fois le code du mois et l'index.
- Le nombre des mois commence Ă 1 mais Python commence l'indexation Ă 0, le nombre des mois correspond dont Ă index+1.
- On veut avoir la correspondance Ă la fois avec les nombres et les chaĂźnes
de caractĂšres. On peut utiliser les fonctions
int()etstr()pour ça et itérer dessus.
L'exemple en question :
month_codes = dict((fn(i+1), code)
for i, code in enumerate('FGHJKMNQUVXZ')
for fn in (int, str))
Le résultat obtenu pour month_codes :
{ 1: 'F', 2: 'G', 3: 'H', 4: 'J', ...
'1': 'F', '2': 'G', '3': 'H', '4': 'J', ...}
Ordonner
Il est trĂšs simple d'ordonner une liste en Python :
a_list.sort()
(Notez que la liste est ordonnée sur place, la liste originale est ordonnée
et la fonction sort ne retourne pas une liste ou une copie.)
Mais que faire lorsque vous avec une liste de données à ordonner, mais quelle ne s'ordonne pas de maniÚre naturelle ? Par exemple ordonner se lon la premiÚre colonne, puis la quatriÚme.
On peut utiliser la fonction de référence sort avec une méthode définie
par nos soins :
def custom_cmp(item1, item2):
returm cmp((item1[1], item1[3]),
(item2[1], item2[3]))
a_list.sort(custom_cmp)
Ăa marche, mais c'est extrĂȘmement lent pour les listes Ă©normes.
Ordonner avec DSU
DSU = Decorate-Sort-Undecorate
Note: DSU n'est bien souvent plus nécessaire, cf. section suivante.
Au lieu de crĂ©er une fonction de comparaison personnalisĂ©e, on crĂ©e une liste intermĂ©diaire qui va pourvoir ĂȘtre ordonnĂ©e naturellement :
# Decorate:
to_sort = [(item[1], item[3], item)
for item in a_list]
# Sort:
to_sort.sort()
# Undecorate:
a_list = [item[-1] for item in to_sort]
La premiÚre ligne crée une liste contenant des tuples, une copie de la valeur à ordonner en premier argument, suivi de la valeur complÚte d e la liste.
La seconde ligne ordonne grĂące Ă la fonction Python, ce qui est trĂšs rapide.
La troisiÚme ligne récupÚre la derniÚre valeur de la liste une fois ordonnée. Souvenez-vous, cette derniÚre valeur correspond à l'item complet. On n'utilise plus la partie ayant permis d'ordonner, elle a joué son rÎle et n'est plus utile.
C'est un compromis espace mémoire + complexité vs. temps. Plus simple et rapide mais on est obligé de dupliquer la liste originale.
Ordonner avec keys
Python 2.4 a introduit un nouvel argument à la méthode sort des listes,
"key", qui permet de spécifier une fonction à un argument qui est utilisée
pour comparer chaque élément d'une liste avec les autres. Par exemple :
def my_key(item):
return (item[1], item[3])
to_sort.sort(key=my_key)
La fonction my_key va ĂȘtre appelĂ©e une fois par item de la liste to_sort.
Vous pouve z utiliser votre propre fonction ou utiliser une fonction existante qui ne prend qu'un seul argument :
str.lowerpour ordonner alphabétiquement sans tenir compte de la casse.lenpour ordonner selon la taille des items (chaßnes de caractÚres ou containers).intoufloatpour ordonner numériquement avec des valeurs qui sont des chaßnes de caractÚres comme "2", "123", "35".
Generators
On a déjà vu les generator expressions. On peut créer nos propres generators, comme des fonctions :
def my_range_generator(stop):
value = 0
while value < stop:
yield value
value += 1
for i in my_range_generator(10):
do_something(i)
Le mot-clé yield transforme une fonction en generator. Lorsque vous
appelez une fonction generator, au lieu d'exécuter le code directement,
Python retourne un objet generator, qui est un itérateur. Il a une méthode
next. Les boucles for appellent la méthode next de l'itérateur,
jusqu'à ce qu'une exception du type StopIteration soit levée.
Vous pouvez lever l'exception StopIteration explicitement ou de maniĂšre
implicite comme dans le code ci-dessous.
Les gĂ©nĂ©rateurs peuvent simplifier la maniĂšre de gĂ©rer les sĂ©quences/itĂ©rateurs, car on n'a pas besoin de crĂ©er des listes intermĂ©diaires. Ăa ne gĂ©nĂšre qu'une valeur Ă la fois.
Voici comment la boucle for fonctionne réellement. Python analyse la
séquence déclarée avec le mot-clé in. Si c'est un simple container (comme
une liste, un tuple, un dictionnaire, un set ou un container défini par
l'utilisateur) Python le converti en itérateur. Si c'est déjà un itérateur,
Python ne fait rien.
Python appelle ensuite de maniÚre itérative la méthode next de
l'itérateur, assignant la valeur retournée au compteu
r de la boucle (i
dans notre cas), et exécute le code indenté. C'est répété, encore et encore
jusqu'à ce que StopIteration soit levée, ou qu'un break soit exécuté.
Une boucle for peut ĂȘtre dotĂ©e d'un else, au sein de laquelle le
code est exécuté si rien ne s'est produit dans la boucle for, mais non
aprÚs un break. Cette distinction permet de faire des choses élégantes.
else est rarement utilisé avec la boucle for mais peut s'avérer
trĂšs puissant lorsque la logique correspond Ă ce que vous souhaitez faire.
Par exemple, si on doit vérifier qu'une condition est toujours remplie par tous les items d'une liste :
for item in sequence:
if condition(item):
break
else:
raise Exception('Condition not satisfied.')
Exemple de generator
Filtrer les colonnes vides Ă partir d'un fichier CSV (ou des items d'une liste) :
def filter_rows(row_iterator):
for row in row_iterator:
if row:
yield row
data_file = open(path, 'rb')
irows = filter_rows(csv.reader(data_file))
Lire les lignes d'un fichier de données
datafile = open('datafile')
for line in datafile:
do_something(line)
C'est possible car les fichiers sont dotés d'une méthode next, comme
d'autres itérateurs : les listes, les tuples, les dictionnaires (pour leurs
clés), les generators.
Il y a un piÚge ici : étant donnée la façon dont sont mises en cache les
données, vous ne pouvez pas utiliser à la fois les méthodes .next et
.read* Ă moins que vous n'utilisez Python 2.5+.
EAFP vs. LBYL
Il est plus facile de demander le pardon que la permission (EAFP) vs. analyser avant d'échouer (LBYL). Généralement EAFP est préféré, mais pas toujours.
- Duck typing Si ça marche comme un canard, parle comme un canard et ressemble à un canard : c'est un canard.
- Exceptions
Essayez de forcer le type si un objet doit ĂȘtre d'un type particulier.
Si
xdoit ĂȘtre une chaĂźne de caractĂšres pour que votre code fonctionne, pourquoi ne pas appelerstr(x)au lieu d'essayer quelque` chose commeisinstance(x, str).
Exemple EAFP try/except
Vous pouvez encapsuler vos exceptions dans un bloc try/except pour
pour récupérer les erreurs et vous allez probablement arriver à une solution
qui est beaucoup plus générale que si vous aviez essayer d'anticiper chaque
cas.
try:
return str(x)
except TypeError:
...
Note: Spécifiez toujours l'exception à attraper. N'utilisez jamais
except tout seul. Sinon except va cacher d'autres exceptions qui
risquent d'ĂȘtre levĂ©es rendant votre code trĂšs difficile Ă debugger.
Importer
from module import *
Vous avez probablement dĂ©jĂ vu cette maniĂšre de faires des imports avec une "Ă©toile". Vous l'apprĂ©ciez peut-ĂȘtre. Ne l'utilisez pas.
Pour paraphraser un exemple trĂšs connu :
LUKE: Est-ce que
from module import *est meilleur que des imports explicites ?
YODA: Non, pas meilleur. Plus rapide, plus simple, plus séduisant.
LUKE: Mais comment saurais-je pourquoi les imports explicites sont meilleurs que les formes étoilées ?
YODA: Tu sauras lorsque ton code dans 6 mois tu essayeras de lire.
Les imports étoilés sont le mauvais cÎté de la Force en Python.
Les imports de type from module import * polluent votre espace de nom.
Vous allez avoir des choses que vous n'attendiez pas. Vous pouvez avoir des
conflits avec les noms que vous avez défini localement. Vous n'allez plus
savoir d'oĂč viennent certains noms. Bien que ce soit un raccourci pratique,
ça ne doit pas arriver en production.
Morale : n'utilisez pas d'imports étoilés !
Il est bien meilleur de référencer les noms à partir de leurs modules :
import module
module.name
importer un module avec un nom plus court si nécessaire (avec alias) :
import long_module_name as mod
mod.name
ou importer juste les noms dont vous avez besoin de maniĂšre explicite :
from module import name
name
Notez qu'il est nécessaire d'utiliser "reload()" sur un module lorsque vous utilisez le prompt interactif si vous éditez celui-ci.
Modules et scripts
Pour faire à la fois un module importable et un script exécutable :
if __name__ == '__main__':
# script code here
Lorsqu'il est importé, un attribut__name__ est setté, correspondant au
nom du fichier du module, sans ".py". Le code ci-dessus ne va donc pas ĂȘtre
lancé lors d'un import. Lorsqu'il est lancé comme un script, l'attribut
__name__ est settĂ© Ă "main" et le script va ĂȘtre exĂ©cutĂ©.
Excepté pour certains cas spéciaux, vous ne devriez placer aucun code
important au plus haut niveau. Placez votre code dans des fonctions, classes,
méthodes et protégez le avec if __name__ == '__main__'.
Structure d'un module
"""module docstring"""
# imports
# constants
# exception classes
# interface functions
# classes
# internal functions & classes
def main(...):
...
if __name__ == '__main__':
status = main()
sys.exit(status)
C'est la façon dont un module devrait ĂȘtre structurĂ©.
Utilisation de la ligne de commande
Exemple (Note du traducteur : j'ai déjà parlé de ç a aussi) :
#!/usr/bin/env python
"""
Module docstring.
"""
import sys
import optparse
def process_command_line(argv):
"""
Return a 2-tuple: (settings object, args list).
`argv` is a list of arguments, or `None` for ``sys.argv[1:]``.
"""
if argv is None:
argv = sys.argv[1:]
# initialize the parser object:
parser = optparse.OptionParser(
formatter=optparse.TitledHelpFormatter(width=78),
add_help_option=None)
# define options here:
parser.add_option( # customized description; put --help last
'-h', '--help', action='help',
help='Show this help message and exit.')
settings, args = parser.parse_args(argv)
# check number of arguments, verify values, etc.:
if args:
parser.error('program takes no command-line arguments; '
'"%s" ignored.' % (args,))
# further process settings & args if necessary
return settings, args
def main(argv=None):
settings, ar gs = process_command_line(argv)
# application code here, like:
# run(settings, args)
return 0 # success
if __name__ == '__main__':
status = main()
sys.exit(status)
Packages
package/
__init__.py
module1.py
subpackage/
__init__.py
module2.py
- Utilisés pour organiser un projet.
- Réduisent le nombre d'entrées lors du chargement.
- RĂ©duisent les conflits en cas d'imports.
Exemple :
import package.module1
from packages.subpackage import module2
from packages.subpackage.module2 import name
En Python 2.5 on a maintenant les imports absolus et relatifs via un import du futur :
from __future__ import absolute_import
Je n'ai pas encore eu l'occasion de tester ça moi-mĂȘme, on va donc couper court Ă toute discussion Ă ce sujet.
Simple is Better Than Complex
DĂ©bugger e st deux fois plus difficile que d'Ă©crire du code en premier jet. De plus, si vous Ă©crivez le code aussi intelligemment que possible, vous ĂȘtes, par dĂ©finition, pas assez intelligent pour le dĂ©bugger.
-- Brian W. Kernighan, co-auteur de The C Programming Language et le "K" dans "AWK"
En d'autres termes, gardez vos programmes simples !
Ne réinventez pas la roue
Avant d'Ă©crire une seule ligne de code,
- VĂ©rifiez que cela n'est pas dans la bibliothĂšque standard de Python.
- VĂ©rifiez que cela n'est pas dans le Python Package Index (the "Cheese Shop")
- Cherchez sur le web. Google is your friend.
Retour du traducteur
Pour terminer, et si vous souhaitez aller plus loin, une excellente prĂ©sentation sur les gĂ©nĂ©rateurs que je n'aurais malheureusement pas le temps de traduire pe rmet d'envisager la programmation Python d'une maniĂšre tout Ă fait diffĂ©rente. Elle est orientĂ©e administration systĂšme mais elle peut vraiment ĂȘtre appliquĂ©e Ă de nombreux cas. Et si vous voulez comprendre l'intĂ©rĂȘt des dĂ©corateurs, un bon exemple vaut mieux que tous les discours. Mangez du Python, c'est bon pour la santĂ© !
Bonnes pratiques et astuces Python
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 11 Mai 2008. à part exceptions, c'est
©2008 David Larlet et s ous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Ăa faisait un moment que je n'avais pas parlĂ© des bonnes pratiques Python mais l'approche de Pycon fr (oĂč je prĂ©senterai Django : le pourquoi et le comment le 18 mai), l'Ă©vĂ©nement Python incontournable avec un programme des plus allĂ©chants, m'a bien motivĂ© pour effectuer la traduction de l'une des meilleures prĂ©sentation par David Goodge r que je connaisse qui remet les bonnes pratiques Python Ă plat, ce qui est toujours bon avant d'aller plus loin.
La lisibilité est importante
Les programmes doivent ĂȘtre Ă©crits pour ĂȘtre lus par des gens et accidentellement exĂ©cutĂ©s par les machines.
-- Abelson & Sussman, Structure and Interpretation of Computer Programs
Essayez de rendre vos programmes faciles Ă lire et Ă©vidents.
PEP 8 : Style Guide pour le code Python
Une lecture immanquable : http://www.python.org/dev/peps/pep-0008/ (PEP = Python Enhancement Proposal)
Un PEP est une document procurant des informations à la communauté Python, ou décrivant une nouvelle fonctionnalité de Python et ses processus ou de son environnement.
La communauté Python a ses propres standards sur ce à quoi doit ressembler le code, codifiés dans le PEP8. Ces standards sont di fférents de ceux des autres communautés, comme C, Java, etc.
L'indentation et les espaces étant si importants en Python, ce Style Guide est une standard. Il est important que vous adhériez au guide ! La plupart des projets suivent ces conventions.
Whitespace 1
- 4 espaces par niveau d'indentation.
- Pas de tabs.
- Ne jamais mixer des tabs et des espaces.
- Un saut de ligne entre les fonctions.
- Deux sauts de ligne entre les classes.
Whitespace 2
- Ajoutez un espace aprĂšs ", ", dans les dictionnaires, les listes, les tuples, les arguments d'une liste d'arguments et aprĂšs ":" dans les dictionnaires mais pas avant.
- Mettez des espaces autour des assignements et des comparaisons (excepté pour les arguments d'une liste).
- Pas d'espace aux ouvertures/fermetures de parenthĂšses ou juste avant une liste d'arguments.
Pas d'espace en ouverture/fermeture de docstrings.
def make_squares(key, value=0): """Return a dictionary and a list...""" d = {key: value} l = [key, value] return d, l
Nommage
joined_lowerpour les fonctions, méthodes et attributsjoined_lowerouALL_CAPSpour les constantesStudlyCapspour les classescamelCaseseulement pour suivre des conventions pré-existantes- Attributs:
interface,_internal,__private
Mais essayez d'éviter la forme __privée. Je ne l'utilise jamais.
Faites moi confiance. Si vous l'utilisez, vous le regretterez plus tard.
Longues lignes et continuité
Garder une taille de ligne inférieure à 80 caractÚres.
Utilisez la continuité implicite des lignes au sein des parenthÚses/crochets/accolades :
def __init__(self, first, second, third,
fourth, fifth, sixth):
output = (first + second + third
+ fourth + fifth + sixth)
Utilisez les backslashs en dernier recours :
VeryLong.left_hand_side \
= even_longer.right_hand_side()
Les backslashs sont locaux, ils doivent terminer la ligne sur laquelle ils sont. Si vous ajoutez un espace aprÚs le backslash, ça ne sert à rien. Ah aussi, c'est laid.
Longues chaĂźnes de caractĂšres
Les chaßnes de caractÚres adjacentes sont concaténées par le parser:
>>> print 'o' 'n' "e"
one
Les espaces entre les chaßnes ne sont pas requis, mais aident à la lisibilité. Tous les types de quotes sont utilisable :
>>> print 't' r'\/\/' """o"""
t\/\/o
La chaßne précédée par "r" est une chaßne de type "raw". Les backslashs ne sont pas évalués comme étant des caractÚres d'échappement dans les chaßnes de type raw. Elles sont utiles pour les expressions réguliÚres et les chemins de fichiers Windows.
Notez que les chaßnes de caractÚres nommées ne sont pas concaténées :
>>> a = 'three'
>>> b = 'four'
>>> a b
File "<stdin>", line 1
a b
^
SyntaxError: invalid syntax
Cela vient du fait que la concaténation automatique est une fonctionnalité du parser/compiler Python, pas de l'interpréteur. Vous devez utiliser le signe "+" pour concaténer des chaßnes de caractÚres à l'éxecution.
text = ('Long strings can be made up '
'of several shorter strings.')
Les parenthÚses autorisent la continuité implicite des lignes. Les chaßnes de caractÚres sur plusieurs lignes utilisent les triple quotes :
"""Triple
double
quotes"""
'''\
Triple
single
quotes\
'''
Dans le dernier exemple ci-dessus (simple triple quotes), notez l'utilisation du backslas h pour Ă©chapper les nouvelles lignes. Cela Ă©limine les nouvelles lignes en conservant les quotes joliment alignĂ©es Ă gauche. Les backslashs doivent ĂȘtre Ă la fin de leurs lignes.
DĂ©clarations
Bon :
if foo == 'blah':
do_something()
do_one()
do_two()
do_three()
Mauvais :
if foo == 'blah': do_something()
do_one(); do_two(); do_three()
Les espaces et l'indentation sont de bons indicateurs visuels du flot du programme. L'indentation de la seconde ligne du "Bon" ci-dessus montre au lecteur que quelque chose va se produire, alors que le manque d'indentation dans le "Mauvais" exemple cache le "if".
Les dĂ©clarations multiples sur une mĂȘme ligne sont une torture. En Python, la lisibilitĂ© compte.
Docstrings et Commentaires
Docstrings = Comment utiliser le code
Commentaires = Pourquoi (rationnel) et comment le code fonctionne< /p>
Les docstrings expliquent comment utiliser le code et sont lĂ pour les utilisateurs de votre code. Quelques usages :
- Expliquer le but d'une fonction mĂȘme si ça vous semble Ă©vident car ça ne semblera pas forcĂ©ment Ă©vident Ă une personne plus tard.
- Décrire les paramÚtres attendus, les valeurs retournées et les exceptions levées.
- Si la méthode est fortement couplée à un seul appelant, mentionner la fonction appelante (attention au fait que celle-ci puisse changer).
Les commentaires expliquent pourquoi et sont pour les mainteneurs de votre code. Examples incluant des notes pour vous-mĂȘme, comme :
# !!! BUG: ...
# !!! FIX: This is a hack
# ??? Why is this here?
Les deux types sont de votre ressort donc Ă©crivez de bonnes docstrings et de bons commentaires !
Les docstrings sont utiles pour un usage interactif (help()) et pour
les systĂšmes d'auto-documentation.
Les commentaires et docstrings faux sont pire que tout. Donc conservez les à jour ! Lorsque vous effectuez des modifications, assurez vous que les commentaires et les docstrings sont cohérents avec le code.
Il y a un PEP entier consacré aux docstrings, PEP 257, "Docstring Conventions".
La pratique a raison de la théorie
Il y a toujours des exceptions. Issu du PEP 8 :
Mais plus important : sachez ĂȘtre pertinents - parfois le style guide ne s'applique pas. Lorsque vous avez un doute, utilisez votre raison. Ătudiez d'autres possibilitĂ©s et dĂ©cidez de ce qui vous semble le mieux. Et n'hĂ©sitez pas Ă demander ! Deux bonnes raisons de ne pas suivre une rĂšgle particuliĂšre :
(1) Lorsque appliquer la rĂšgle va rendre le code moins lisible, mĂȘme pour quelqu'un qui est habituĂ© Ă lire du code qui suit les rĂšgles.
(2) Pour ĂȘtre cohĂ©rent avec du code prĂ©existant qui enfreint aussi ces rĂšgles (peut-ĂȘtre pour des raisons historiques) -- mĂȘme si c'est aussi une opportunitĂ© pour faire un peu de nettoyage (dans un pur style XP).
... mais la pratique ne doit pas réduire la théorie à néant !
On plonge maintenant au cĆur du tutoriel : les astuces. On va commencer avec les plus faciles et augmenter progressivement le niveau.
Variables intermédiaires
Dans les autres langages :
temp = a
a = b
b = temp
En Python :
b, a = a, b
Vous l'avez peut-ĂȘtre dĂ©jĂ rencontrĂ© mais savez vous comment ça fonctionne ?
- La virgule est la syntaxe de construction du tuple.
- Un tuple est créé à droite (tuple packing).
- Un tuple en est la cible Ă gauche (tuple unpacking).
La partie à droite est unpackée dans les n !oms de tuple de la partie à gauche.
D'autres exemples:
>>> l =['David', 'Pythonista', '+1-514-555-1234']
>>> name, title, phone = l
>>> name
'David'
>>> title
'Pythonista'
>>> phone
'+1-514-555-1234'
Utile dans les boucles sur des données structurées (la variable l
ci-dessus a été conservée) :
>>> people = [l, ['Guido', 'BDFL', 'unlisted']]
>>> for (name, title, phone) in people:
... print name, phone
...
David +1-514-555-1234
Guido unlisted
Chaque item de people est unpacké dans le tuple (name, title, phone).
Il est aussi possible de faire le chemin inverse, il faut juste s'assurer d'avoir la mĂȘme structure Ă droite et Ă gauche :
>>> david, (gname, gtitle, gphone) = people
>>> gname
'Guido'
>>> gtitle
'BDFL'
>>> gphone
'unlisted'
>>> david
['David "', 'Pythonista', '+1-514-555-1234']
Aller plus loin avec les tuples
On a vu que la virgule Ă©tait le constructeur du tuple, pas les parenthĂšses. Par exemple :
>>> 1,
(1,)
L'interprĂ©teur Python montre les parenthĂšses pour que ce soit plus clair et je vous conseille de faire de mĂȘme :
>>> (1,)
(1,)
Mais n'oubliez pas la virgule !
>>> (1)
1
Dans un tuple contenant un seul élément, la virgule est nécessaire. Dans un tuple avec plus de 2 éléments, la virgule finale est optionnelle. Pour un tuple vide, une paire de parenthÚses suffit :
>>> ()
()
>>> tuple()
()
Une erreur de typo courante est de laisser une virgule alors que vous ne souhaitez pas avoir un tuple. Il est trĂšs facile de l'oublier dans votre code :
>>> value = 1,
>>> value
(1,)
Donc si vous vous retrouvez avec un tuple alors que vous ne vous y attendiez pas, cherchez la virgule ! (Note du traducteur : de ma propre expérience, il est plus courant d'oublier la virgule pour un tuple ne contenant qu'un seul élément, dans les settings de Django par exemple, cherchez plutÎt la virgule manquante dans ces cas là ).
Le "_" interactif
C'est une fonctionnalité trÚs utile que peu de développeurs connaissent. (Note du traducteur : bien entendu vous n'en faites pas partie et vous connaissez les dangers associés.)
Dans un interpréteur interactif, que vous évaluiez une expression ou que
vous appeliez une fonction, le résultat est stocké dans une variable
temporaire, _ (un underscore) :
>>> 1 + 1
2
>>> _
2
_ stocke la derniÚre valeur affichée.
Lorsqu'un résultat vaut None, rien n'est affiché, donc _ ne change
pas. C'est normal !
Ăa ne marche que dans un interprĂ©teur interactif, pas dans un module.
C'est particuliÚrement utile lorsque vous travaillez sur un problÚme de maniÚre interactive, et que vous souhaitez stocker la valeur du dernier résultat :
>>> import math
>>> math.pi / 3
1.0471975511965976
>>> angle = _
>>> math.cos(angle)
0.50000000000000011
>>> _
0.50000000000000011
Construction de chaĂźnes de caractĂšres
Commençons avec une liste de chaßnes de caractÚres :
colors = ['red', 'blue', 'green', 'yellow']
On veut concaténer ces chaßnes ensemble pour en créer une longue. ParticuliÚrement lorsque le nombre de sous-chaßnes est gros...
Ne faites pas :
result = ''
for s in colors:
result += s
C'est trĂšs lent. Ăa util %ise Ă©normĂ©ment de mĂ©moire et de performances. La somme va additionner, stocker, et ensuite passer Ă la suite pour chaque Ă©tape intermĂ©diaire.
Faites plutĂŽt ceci :
result = ''.join(colors)
La méthode join() fait toute la copie en une seule passe.
Lorsque vous ne traitez qu'une petite centaine de chaßnes de caractÚres, ça ne fait aucune différence. Mais prenez l'habitude de construire vos chaßnes de façon optimale, car avec des milliers ou des boucles, ça va faire la différence.
Construire des chaĂźnes, solutions 1
Voici quelques techniques pour utiliser la méthode join().
Si vous voulez un espace comme séparateur :
result = ' '.join(colors)
ou une virgule et un espace :
result = ', '.join(colors)
voici un cas courant d'utilisation :
colors = ['red', 'blue', 'green', 'yellow']
print 'Choose &', ', '.join(colors[:-1]), \
'or', colors[-1]
Pour faire une phrase grammaticalement correcte, on veut des virgules entre
chaque valeurs sauf la derniĂšre, oĂč l'on prĂ©fĂšre un "ou". La syntaxe de
découpage d'une liste s'occupe du reste. La "partie jusqu'à -1" ([:-1])
retourne tout sauf la derniÚre valeur, que l'on peut concaténer avec nos
virgules.
Bien sûr, ce code ne fonctionnera pas avec les cas particuliers comme une liste de taille 0 ou 1. Ce qui retourne :
Choose red, blue, green or yellow
Construire des chaĂźnes, solutions 2
Vous avez besoin d'appliquer une fonction pour générer les chaßnes initiales :
result = ''.join(fn(i) for i in items)
Ăa utilise une generator expression, dont on parlera plus tard.
Si vous devez modifier les chaßnes de maniÚre incrémentale, commencez par les stocker dans une liste pour commencer :
items = []
'...
items.append(item) # de nombreuses fois
...
# une fois la liste complétée
result = ''.join(fn(i) for i in items)
On accumule les parties de la liste afin de pouvoir appliquer le join,
ce qui est plus rapide.
Utilisez in lorsque c'est possible (1)
Bon :
for key in d:
print key
inest généralement plus rapide.- Ce pattern marche aussi pour des items dans des containers arbitraires (comme les listes, les tuples ou les tests).
inest aussi un opérateur (comme on va le voir).
Mauvais :
for key in d.keys():
print key
C'est limité aux objects ayant une méthode keys().
Utilisez in lorsque c'est possible (2)
Mais .keys() est nécessaire lorsque vous modifiez le dictionnaire :
for key in d.keys():
d[str(key)] = (d[key]
d.keys() crée une liste statique des clés du dictionnaire. Sinon, vous
allez lever une exception "RuntimeError: dictionary changed size during iteration".
Utilisez key in dict, et non dict.has_key() :
# faites ça :
if key in d:
...do something with d[key]
# mais pas ça :
if d.has_key(key):
...do something with d[key]
in est ici utilisé comme un opérateur.
La méthode get des dictionnaires
On doit souvent initialiser les entrées d'un dictionnaire avant de les utiliser:
Voici la maniĂšre naĂŻve de faire :
navs = {}
for (portfolio, equity, position) in data:
if portfolio not in navs:
navs[portfolio] = 0
navs[portfolio] += position * prices[equity]
dict.get(key, default) permet de ne pas avoir Ă se soucier du test :
navs = {}
for (portfolio, equity, position) ) in data:
navs[portfolio] = (navs.get(portfolio, 0)
+ position * prices[equity])
Beaucoup mieux.
La méthode setdefault des dictionnaires (1)
Ici on doit initialiser les valeurs d'un dictionnaire mutables. Chaque valeur du dictionnaire sera une liste. Voici la maniĂšre naĂŻve :
equities = {}
for (portfolio, equity) in data:
if portfolio in equities:
equities[portfolio].append(equity)
else:
equities[portfolio] = [equity]
dict.setdefault(key, default) s'occupe de ça de maniÚre beaucoup plus rapide :
equities = {}
for (portfolio, equity) in data:
equities.setdefault(portfolio, []).append(equity)
dict.setdefault() est Ă©quivalent Ă "get ou set & get". Ou
"set si nécessaire, puis get". C'est particuliÚrement rapide si votre clé de
dictionnaire est coûteuse à générer ou longue à taper.
Le s *eul problÚme avec dict.setdefault() c'est que la valeur par défaut est
Ă©valuĂ©e, qu'elle soit utilisĂ©e ou non. Ăa ne pose problĂšme que si la clĂ© est
coûteuse à calculer.
Si la valeur par défaut est coûteuse à calculer, vous devriez plutÎt
utiliser la classe defaultdict.
La méthode setdefault des dictionnaires (2)
On va voir qu'il est possible d'utiliser setdefault pour déclarer une valeur par défaut :
navs = {}
for (portfolio, equity, position) in data:
navs.setdefault(portfolio, 0)
navs[portfolio] += position * prices[equity]
La méthode setdefault d'un dictionnaire retourne la valeur par défaut, mais
nous l'ignorons ici. On tire profit d'une conséquence de l'utilisation de
setdefault, la valeur n'est initialisée que si elle n'existe pas déjà .
defaultdict
Nouveau avec Python 2.5.
< +code>defaultdict est nouveau dans Python 2.5, il fait partie du module
collections. defaultdict est identique aux dictionnaires classiques,
excepté pour deux cas :
- il prend un premier argument optionnel : une fonction factory par défaut
- lorsqu'une clé de dictionnaire est rencontrée pour la premiÚre fois, la fonction factory par défaut est appelée et le résultat initialise la valeur du dictionnaire.
Il y a deux maniÚres d'accéder à defaultdict :
importer le module
collectionset l'appeler Ă travers le module :import collections d = collections.defaultdict(...)ou importer
defaultdictdirectement :from collections import defaultdict d = defaultdict(...)
Voici l'exemple dĂ©jĂ traitĂ©, oĂč chaque valeur du dictionnaire fois ĂȘtre
initialisĂ© pour ĂȘtre une liste vide, rĂ©Ă©crit en ,utilisant defaultdict :
from collections import defaultdict
equities = defaultdict(list)
for (portfolio, equity) in data:
equities[portfolio].append(equity)
Il n'y a plus d'astuce ici. Dans ce cas, la fonction factory par défaut est
list, ce qui retourne une liste vide.
C'est la maniÚre d'avoir un dictionnaire avec les valeurs par défaut à 0,
utilisez int comme factory :
navs = defaultdict(int)
for (portfolio, equity, position) in data:
navs[portfolio] += position * prices[equity]
Il faut faire attention Ă defaultdict quand mĂȘme. Vous ne pouvez pas
utiliser l'exception KeyError sur un dictionnaire initialisé avec defaultdict.
Vous devez utiliser la condition "key in dict" si vous voulez vérifier
l'existence d'une clé de maniÚre spécifique.
Construire et scinder des dictionnaires
Voila une technique utile pour co -nstruire un dictionnaire à partir de deux listes (ou séquences), une liste pour les clés, une liste pour les valeurs :
given = ['John', 'Eric', 'Terry', 'Michael']
family = ['Cleese', 'Idle', 'Gilliam', 'Palin']
pythons = dict(zip(given, family))
>>> pprint.pprint(pythons)
{'John': 'Cleese',
'Michael': 'Palin',
'Eric': 'Idle',
'Terry': 'Gilliam'}
L'inverse est trivial bien sûr :
>>> pythons.keys()
['John', 'Michael', 'Eric', 'Terry']
>>> pythons.values()
['Cleese', 'Palin', 'Idle', 'Gilliam']
Notez que l'ordre du résultat des .keys() et .values() à est différent des listes utilisées lors de la création du dictionnaire. L'ordre d'entrée est différent de l'ordre de sortie car un dictionnaire n'est pas ordonné. Par contre, l'ordre des clés est consistant avec celui des valeurs, à condition que le dictionnaire n'ait pas été modifié entre temps.
Tester des valeurs vraies
Il est élégant et rapide de tirer partie des avantages de Python en ce qui concerne les valeurs booléennes :
# faites ça : # et pas ça :
if x: if x == True:
pass pass
Test d'une liste :
# faites ça : # et pas ça :
if items: if len(items) != 0:
pass pass
# et surtout pas ça :
if items != []:
pass
Valeurs vraies
Les noms True et False sont des instances intrinsĂšques Ă Python de type
bool, des valeurs booléennes. Comme None, il n'existe qu'une seule
instance de chaque.
| False | True |
|---|---|
False (== 0)
|
/
True (== 1)
|
"" (empty string)
|
toutes les chaĂźnes Ă part "" (" ",
"nimportequoi")
|
0, 0.0
|
n'importe quel chiffre Ă part 0
(1, 0.1, -1, 3.14)
|
[], (),
{}, set()
|
n'importe quel container non vide
([0], (None,), [''])
|
None
|
0pratiquement tous les objets qui ne sont explicitement Ă©quivalents Ă False |
Voici par exemple un objet qui est toujours vrai :
>>> class C:
... pass
...
>>> o = C()
>>> bool(o)
True
>>> bool(C)
True
Pour contrÎler la valeur booléenne d'une instance ou d'une classe définie,
utilisez les méthodes spéciales __nonzero__ ou __len__. Utilisez
__len__ si votre classe est un container qui a une taille :
class MyContainer(object):
def __init__(self, data):
self.data = data
def __len__(self):
"""Return my length."""
return len(self.data)
Si votre classe n'est pas un container, utilisez __nonzero__ :
class MyClass(object):
def __init__(self, value):
self.value = value
def __nonzero__(self):
1 """Return my truth value (True or False)."""
# This could be arbitrarily complex:
return bool(self.value)
En Python 3.0, __nonzero__ a Ă©tĂ© renommĂ© __bool__ afin d'ĂȘtre consistant
avec le type bool natif. Pour ĂȘtre compatible, ajoutez ceci Ă la dĂ©finition
de votre classe :
__bool__ = __nonzero__
Index & Item (1)
Voici une maniÚre élégante de vous épargner quelques lignes si vous avez besoin d'une liste de mots :
>>> items = 'zero one two three'.split()
>>> print items
['zero', 'one', 'two', 'three']
Prenons l'exemple d'un itération entre les items d'une liste, pour laquelle nous voulons à la fois l'item et la position (l'index) de cet item dans la liste :
- ou -
i = 0
for item in items: for i in range(len(items)):
print i, item print i, items[i]
i += 1
< 2/code>Index & Item (2): enumerate
La fonction enumerate prend une liste et retourne des paires (index, item) :
>>> print list(enumerate(items))
[(0, 'zero'), (1, 'one'), (2, 'two'), (3, 'three')]
Il est nécessaire d'avoir recours à une list pour afficher les résultats
car enumerate est une fonction fainĂ©ante, gĂ©nĂ©rant un item (une paire) Ă
la fois, seulement lorsqu'il est demandé. Une boucle for nécessite un tel
mécanisme. enumerate est un exemple de générateur dont on parlera plus
tard des dĂ©tails. print ne prend pas un rĂ©sultat Ă la fois mais doit ĂȘtre
en possession de la totalité du message à afficher. On a donc converti
automatiquement le générateur en une liste avant d'utiliser print.
Notre boucle devient beaucoup plus simple :
for (index, item) in enumerate(items):
print ind 3ex, item
# comparé à : # comparé à :
index = 0 for i in range(len(items)):
for item in items: print i, items[i]
print index, item
index += 1
La version avec enumerate est plus courte et plus simple que la version
de gauche, et plus facile Ă lire que les deux autres.
Un exemple montrant que la fonction enumerate retourne un itérateur
(un générateur est une sorte d'itérateur) :
>>> enumerate(items)
<enumerate object at 0x011EA1C0>
>>> e = enumerate(items)
>>> e.next()
(0, 'zero')
>>> e.next()
(1, 'one')
>>> e.next()
(2, 'two')
>>> e.next()
(3, 'three')
>>> e.next()
Traceback (most recent call last):
File "<stdin>", line 1, in ?
StopIteration
Les autres langages ont des "variables"
Dans de nombreux autres langages, assigner une variable revient Ă mettre une valeur dans une boĂź 4te.
int a = 1;
La boĂźte "a" contient maintenant un integer 1.
Assigner une autre valeur Ă la mĂȘme variable remplace le contenu de la boĂźte :
a = 2;
Maintenant la boĂźte "a" contient un integer 2.
Assigner une variable à une autre crée une copie de la valeur et la met dans une nouvelle boßte :
int b = a;
"b" est une seconde boßte, avec une copie de l'entier 2. La boßte "a" en a une copie séparée.
En Python, un "nom" ou "identifiant" est comme une étiquette attachée à un objet.
a = 1
Ici, un objet integer 1 a une étiquette appelée "a".
Si on réassigne "a", on déplace juste l'étiquette sur un autre objet :
a = 2
Maintenant le nom "a" est attaché à un objet entier 2.
L'objet entier 1 n'a plus le tag "a". Il peut encore exister mais on n'y a plus accÚs via le nom "a". (Lorsqu'un objet n'a plus aucune référence ou étiquette, il est supprimé de la mémoire.)
Si l'on assigne un nom Ă un autre, on attache juste une autre Ă©tiquet 6te Ă un objet existant :
b = a
Le nom "b" est juste une seconde Ă©tiquette attachĂ©e au mĂȘme objet que "a".
Bien que l'on réfÚre communément aux "variables" en Python (car c'est une terminologie commune aux autres langages), on manipule vraiment de "noms" ou "identifiants". En Python, les "variables" sont des étiquettes pour des valeurs, non des boßtes nommés.
Si vous ne comprenez rien au reste de ce tutoriel, j'espÚre que vous aurez$ au moins retenu la façon dont les noms fonctionnent. Une bonne compréhension vous permettra d'apprendre rapidement et d'éviter des erreurs comme celle-ci:
Valeurs de paramÚtres par défaut
C'est une erreur courante que les dĂ©butants font souvent. MĂȘme les dĂ©veloppeurs plus expĂ©rimentĂ©s la font s'ils n'ont pas compris comment fonctionnent les noms en Python.
def bad_append(new_item, a_list=[]): a_list.append(new_item) return a_list
Le problÚme ici c'est que la valeur par défaut a_list, une liste vide,
est évaluée lors de la définition de la fonction. Ainsi à chaque fois que
vous appelez la fonction vous obtenez la mĂȘme valeur par dĂ©faut.
Essayez plusieurs fois :
>>> print bad_append('one')
['one']
>>> print bad_append('two')
['one', 'two']
Les listes sont modifiables, vous pouvez modifier leur contenu. La bonne maniÚre d'avoir une liste par défaut (ou dictionnaire, ou set) est de la créer au moment du lancement, au sein de la fonction :
def good_append(new_item, a_list=None):
if a_list is None:
a_list = []
a_list.append(new_item)
return a_list
Formattage des chaĂźnes de caractĂšres avec %
L'opérateur % fonctionne en Python comme la fonction
Bien sûr si vous ne connaissez pas C, ça ne vous aide pas. Pour faire simple, vous définissez un template ou format et des valeurs qui seront interprétées.
Dans cet exemple, le template contient deux spécifications de conversion
"%s" signifie "insérer une chaßne de caractÚre ici" et "%i" signifie
"convertir un integer en string et l'insérer ici". "%s" est particuliÚrement
utile car il utilise la fonction standard str() pour convertir un objet
en une chaĂźne de caractĂšres.
Les valeurs proposées doivent correspondrent au template, on a deux valeurs ici, un tuple.
name = 'David'
messages = 3
text = ('Hello %s, you have %i messages'
% (name, messages))
print text
Ce qui donne :
Hello David, you have 3 messages
Les détails sont dans la Python Library Reference, section 2.3.6.2, "String Formatting Operations". Mettez cette page en favoris !
Si 9 vous ne l'avez pas encore fait, allez sur python.org, téléchargez la documentation en HTML (dans un .zip ou une archive), et installez la sur votre machine. Il n'y a rien de mieux que d'avoir la ressource de référence à portée de clavier.
Formattage des chaßnes de caractÚres avancé
Pourquoi est-ce qu'il y a autant de personnes qui ne réalisent pas qu'il y a d'autres façons de formater les chaßnes de caractÚres qui peuvent s'avérer plus puissantes ?
Avec des noms grĂące Ă un dictionnaire :
values = {'name': name, 'messages': messages}
print ('Hello %(name)s, you have %(messages)i '
'messages' % values)
Ici on a spécifié les noms des valeurs interprétées, qui constituent les clés du dictionnaire.
Vous trouvez qu'il y a de la redondance ? Les noms "name" et "messages" sont déjà définis localement. On peut en tirer parti.
En utilisant les variables locales :
print ('Hello %(name)s, you ha :ve %(messages)i '
'messages' % locals())
La fonction locals() retourne un dictionnaire de toutes les variables
locales disponibles.
C'est trÚs puissant. Grùce à ça, vous pouvez formater toutes les chaßnes de caractÚres que vous voulez sans avoir à vous soucier de la correspondance positionnelle avec les valeurs soumises en argument.
Mais le pouvoir peut ĂȘtre dangereux. ("With great power comes great
responsibility.") Si vous utilisez locals() avec un template issu d'une
ressource externe, vous exposez l'intégralité de votre espace de noms local.
C'est une chose Ă garder en tĂȘte.
Pour examiner votre espace de nom local :
>>> from pprint import pprint
>>> pprint(locals())
pprint est un module trÚs utile. Si vous ne le connaissiez pas déjà ,
essayez de jouer avec. Ăa rend le debugging des donnĂ©es structurĂ©es beaucoup
plus simple !
Formattage d ;es chaßnes de caractÚres avancé
L'espace de nom des attributs d'une instance d'objet est simplement un
dictionnaire, self.__dict__.
En utilisant l'espace de nom d'une instance :
print ("We found %(error_count)d errors"
% self.__dict__)
Equivalent Ă , mais moins flexible que :
print ("We found %d errors"
% self.error_count)
Note: Les attributs d'une classe sont dans le __dict__ de la classe.
Les espaces de noms sont hérités et constituent donc des dictionnaires
chaßnés.
List Comprehensions
Les list comprehensions ("listcomps" pour les intimes) sont des raccourcis syntaxiques pour ce pattern généralement utilisé.
La maniĂšre traditionnelle avec for et if :
new_list = []
for item in a_list:
if condition(item):
new_list.append(fn(item))
En utilisant une list comprehension :
<new_list = [fn(item) for item in a_list
if condition(item)]
Les listcomps sont claires et concises, directes. Vous pouvez avoir plusieurs
boucles for et conditions if au sein d'une mĂȘme listcomp, mais
au-delĂ de deux ou trois, ou si les conditions sont complexes, je vous
suggĂšre d'utiliser l'habituelle boucle for. En appliquant le Zen de Python,
utilisez la méthode la plus lisible.
Par exemple, la liste des carrés de 0 à 9 :
>>> [n ** 2 for n in range(10)]
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
La liste des nombres impairs au sein de la précédente liste :
>>> [n ** 2 for n in range(10) if n % 2]
[1, 9, 25, 49, 81]
Generator Expressions (1)
Faisons la somme des carrés des nombres inférieurs à 100 :
Avec une boucle :
total = 0
for num in range(1, 101):
total += num * num
sum qui fait plus rapidement le
travail pour nous en construisant la bonne séquence.
Avec une list comprehension :
total = sum([num * num for num in range(1, 101)])
Avec une generator expression :
total = sum(num * num for num in xrange(1, 101))
Les generator expressions ("genexps") sont comme les list comprehensions, excepté dans leur calcul, les genexps sont fainéantes. Les listcomps calculent l'intégralité du résultat en une seule passe, pour le stocker dans une liste. Les generator expressions calculent une valeur à la fois, lorsqu'elle est nécessaire. C'est particuliÚrement utile lorsque la séquence est trÚs longue lorsque la liste générée n'est qu'une étape intermédiaire et non le résultat final.
Dans ce cas, on est uniquement intéressé par la somme, on n'a pas besoin de
la liste des rĂ©sultats intermĂ©diaires. On utilise xrange pour l >a mĂȘme
raison, ça génÚre les valeurs une par une.
Generator Expressions (2)
Par exemple si on doit faire la somme des carrés de plusieurs milliards d'entiers, on va arriver à une saturation de la mémoire avec une list comprehension, mais les generator expressions ne vont avoir aucun problÚme. Bon ça va prendre un certain temps par contre !
total = sum(num * num
for num in xrange(1, 1000000000))
La différence de syntaxe est que les listcomps ont des crochets, alors que les genexps n'en ont pas. Les generator expressions nécessitent parfois des parenthÚses par contre, vous devriez donc toujours les utiliser.
En bref :
- Utilisez une list comprehension lorsque le résultat escompté est la liste.
- Utilisez une generator expression lorsque la liste n'est qu'un résultat intermédiaire.
Voici un récent exemple de ce que j'ai vu au boulot.
On avait besoin d'un dictionnaire qui corresp ?onde aux chiffres des mois (Ă la fois via des chaĂźnes de caractĂšres et via des integers) au code des mois pour un client. Cela peut ĂȘtre fait avec une ligne de code.
Ăa fonctionne de la maniĂšre suivante :
- La fonction de référence
dict()prend en argument une liste de paires de clés/valeurs (2-tuples). - On a une liste des codes des mois (chaque code est une simple lettre, et une chaßne de caractÚres est aussi une simple liste de lettres). On parcours cette liste pour obtenir à la fois le code du mois et l'index.
- Le nombre des mois commence Ă 1 mais Python commence l'indexation Ă 0, le nombre des mois correspond dont Ă index+1.
- On veut avoir la correspondance Ă la fois avec les nombres et les chaĂźnes
de caractĂšres. On peut utiliser les fonctions
int()etstr()pour ça et itérer dessus.
L'exemple en question :
month_codes = dict((fn(i+1), code)
for i, code in enume @rate('FGHJKMNQUVXZ')
for fn in (int, str))
Le résultat obtenu pour month_codes :
{ 1: 'F', 2: 'G', 3: 'H', 4: 'J', ...
'1': 'F', '2': 'G', '3': 'H', '4': 'J', ...}
Ordonner
Il est trĂšs simple d'ordonner une liste en Python :
a_list.sort()
(Notez que la liste est ordonnée sur place, la liste originale est ordonnée
et la fonction sort ne retourne pas une liste ou une copie.)
Mais que faire lorsque vous avec une liste de données à ordonner, mais quelle ne s'ordonne pas de maniÚre naturelle ? Par exemple ordonner selon la premiÚre colonne, puis la quatriÚme.
On peut utiliser la fonction de référence sort avec une méthode définie
par nos soins :
def custom_cmp(item1, item2):
returm cmp((item1[1], item1[3]),
(item2[1], item2[3]))
a_list.sort(custom_cmp)
Ăa marche, ma Ais c'est extrĂȘmement lent pour les listes Ă©normes.
Ordonner avec DSU
DSU = Decorate-Sort-Undecorate
Note: DSU n'est bien souvent plus nécessaire, cf. section suivante.
Au lieu de crĂ©er une fonction de comparaison personnalisĂ©e, on crĂ©e une liste intermĂ©diaire qui va pourvoir ĂȘtre ordonnĂ©e naturellement :
# Decorate:
to_sort = [(item[1], item[3], item)
for item in a_list]
# Sort:
to_sort.sort()
# Undecorate:
a_list = [item[-1] for item in to_sort]
La premiÚre ligne crée une liste contenant des tuples, une copie de la valeur à ordonner en premier argument, suivi de la valeur complÚte de la liste.
La seconde ligne ordonne grĂące Ă la fonction Python, ce qui est trĂšs rapide.
La troisiÚme ligne récupÚre la derniÚre valeur de la liste une fois ordonnée. Souvenez-vous, cette derniÚre valeur correspond à l'item complet. On n'utilise plus la partie ayant permis d'ordonner, elle a Bjoué son rÎle et n'est plus utile.
C'est un compromis espace mémoire + complexité vs. temps. Plus simple et rapide mais on est obligé de dupliquer la liste originale.
Ordonner avec keys
Python 2.4 a introduit un nouvel argument à la méthode sort des listes,
"key", qui permet de spécifier une fonction à un argument qui est utilisée
pour comparer chaque élément d'une liste avec les autres. Par exemple :
def my_key(item):
return (item[1], item[3])
to_sort.sort(key=my_key)
La fonction my_key va ĂȘtre appelĂ©e une fois par item de la liste to_sort.
Vous pouvez utiliser votre propre fonction ou utiliser une fonction existante qui ne prend qu'un seul argument :
str.lowerpour ordonner alphabétiquement sans tenir compte de la casse.lenpour ordonner selon la taille des items (chaßnes de caractÚres ou containers).intCoufloatpour ordonner numériquement avec des valeurs qui sont des chaßnes de caractÚres comme "2", "123", "35".
Generators
On a déjà vu les generator expressions. On peut créer nos propres generators, comme des fonctions :
def my_range_generator(stop):
value = 0
while value < stop:
yield value
value += 1
for i in my_range_generator(10):
do_something(i)
Le mot-clé yield transforme une fonction en generator. Lorsque vous
appelez une fonction generator, au lieu d'exécuter le code directement,
Python retourne un objet generator, qui est un itérateur. Il a une méthode
next. Les boucles for appellent la méthode next de l'itérateur,
jusqu'à ce qu'une exception du type StopIteration soit levée.
Vous pouvez lever l'exception StopIteration explicitement ou de maniĂšre
implicite comme dans le code ci-dessous.
Les g DĂ©nĂ©rateurs peuvent simplifier la maniĂšre de gĂ©rer les sĂ©quences/itĂ©rateurs, car on n'a pas besoin de crĂ©er des listes intermĂ©diaires. Ăa ne gĂ©nĂšre qu'une valeur Ă la fois.
Voici comment la boucle for fonctionne réellement. Python analyse la
séquence déclarée avec le mot-clé in. Si c'est un simple container (comme
une liste, un tuple, un dictionnaire, un set ou un container défini par
l'utilisateur) Python le converti en itérateur. Si c'est déjà un itérateur,
Python ne fait rien.
Python appelle ensuite de maniÚre itérative la méthode next de
l'itérateur, assignant la valeur retournée au compteur de la boucle (i
dans notre cas), et exécute le code indenté. C'est répété, encore et encore
jusqu'à ce que StopIteration soit levée, ou qu'un break soit exécuté.
Une boucle for peut ĂȘtre dotĂ©e d'un else, au sein de laquelle le
code est exécuté si Erien ne s'est produit dans la boucle for, mais non
aprÚs un break. Cette distinction permet de faire des choses élégantes.
else est rarement utilisé avec la boucle for mais peut s'avérer
trĂšs puissant lorsque la logique correspond Ă ce que vous souhaitez faire.
Par exemple, si on doit vérifier qu'une condition est toujours remplie par tous les items d'une liste :
for item in sequence:
if condition(item):
break
else:
raise Exception('Condition not satisfied.')
Exemple de generator
Filtrer les colonnes vides Ă partir d'un fichier CSV (ou des items d'une liste) :
def filter_rows(row_iterator):
for row in row_iterator:
if row:
yield row
data_file = open(path, 'rb')
irows = filter_rows(csv.reader(data_file))
Lire les lignes d'un fichier de données
datafile = open('datafile')
for line in datafile:
do F_something(line)
C'est possible car les fichiers sont dotés d'une méthode next, comme
d'autres itérateurs : les listes, les tuples, les dictionnaires (pour leurs
clés), les generators.
Il y a un piÚge ici : étant donnée la façon dont sont mises en cache les
données, vous ne pouvez pas utiliser à la fois les méthodes .next et
.read* Ă moins que vous n'utilisez Python 2.5+.
EAFP vs. LBYL
Il est plus facile de demander le pardon que la permission (EAFP) vs. analyser avant d'échouer (LBYL). Généralement EAFP est préféré, mais pas toujours.
- Duck typing Si ça marche comme un canard, parle comme un canard et ressemble à un canard : c'est un canard.
- Exceptions
Essayez de forcer le type si un objet doit ĂȘtre d'un type particulier.
Si
xdoit ĂȘtre une chaĂźne de caractĂšres pour que votre code fonctionne, pourquoi ne pas appelerstr(x)au lieu d'essayer quelque` c Ghose commeisinstance(x, str).
Exemple EAFP try/except
Vous pouvez encapsuler vos exceptions dans un bloc try/except pour
pour récupérer les erreurs et vous allez probablement arriver à une solution
qui est beaucoup plus générale que si vous aviez essayer d'anticiper chaque
cas.
try:
return str(x)
except TypeError:
...
Note: Spécifiez toujours l'exception à attraper. N'utilisez jamais
except tout seul. Sinon except va cacher d'autres exceptions qui
risquent d'ĂȘtre levĂ©es rendant votre code trĂšs difficile Ă debugger.
Importer
from module import *
Vous avez probablement dĂ©jĂ vu cette maniĂšre de faires des imports avec une "Ă©toile". Vous l'apprĂ©ciez peut-ĂȘtre. Ne l'utilisez pas.
Pour paraphraser un exemple trĂšs connu :
LUKE: Est-ce que
from module import *H est meilleur que des imports explicites ?
YODA: Non, pas meilleur. Plus rapide, plus simple, plus séduisant.
LUKE: Mais comment saurais-je pourquoi les imports explicites sont meilleurs que les formes étoilées ?
YODA: Tu sauras lorsque ton code dans 6 mois tu essayeras de lire.
Les imports étoilés sont le mauvais cÎté de la Force en Python.
Les imports de type from module import * polluent votre espace de nom.
Vous allez avoir des choses que vous n'attendiez pas. Vous pouvez avoir des
conflits avec les noms que vous avez défini localement. Vous n'allez plus
savoir d'oĂč viennent certains noms. Bien que ce soit un raccourci pratique,
ça ne doit pas arriver en production.
Morale : n'utilisez pas d'imports étoilés !
Il est bien meilleur de référencer les noms à partir de leurs modules :
import module
module.name
importer un module avec un nom plus court si nĂ I©cessaire (avec alias) :
import long_module_name as mod
mod.name
ou importer juste les noms dont vous avez besoin de maniĂšre explicite :
from module import name
name
Notez qu'il est nécessaire d'utiliser "reload()" sur un module lorsque vous utilisez le prompt interactif si vous éditez celui-ci.
Modules et scripts
Pour faire à la fois un module importable et un script exécutable :
if __name__ == '__main__':
# script code here
Lorsqu'il est importé, un attribut__name__ est setté, correspondant au
nom du fichier du module, sans ".py". Le code ci-dessus ne va donc pas ĂȘtre
lancé lors d'un import. Lorsqu'il est lancé comme un script, l'attribut
__name__ est settĂ© Ă "main" et le script va ĂȘtre exĂ©cutĂ©.
Excepté pour certains cas spéciaux, vous ne devriez placer aucun code
important au plus haut niveau. Place Jz votre code dans des fonctions, classes,
méthodes et protégez le avec if __name__ == '__main__'.
Structure d'un module
"""module docstring"""
# imports
# constants
# exception classes
# interface functions
# classes
# internal functions & classes
def main(...):
...
if __name__ == '__main__':
status = main()
sys.exit(status)
C'est la façon dont un module devrait ĂȘtre structurĂ©.
Utilisation de la ligne de commande
Exemple (Note du traducteur : j'ai déjà parlé de ça aussi) :
#!/usr/bin/env python
"""
Module docstring.
"""
import sys
import optparse
def process_command_line(argv):
"""
Return a 2-tuple: (settings object, args list).
`argv` is a list of arguments, or `None` for ``sys.argv[1:]``.
"""
if argv is None:
argv = sys.argv[1:]
# init Kialize the parser object:
parser = optparse.OptionParser(
formatter=optparse.TitledHelpFormatter(width=78),
add_help_option=None)
# define options here:
parser.add_option( # customized description; put --help last
'-h', '--help', action='help',
help='Show this help message and exit.')
settings, args = parser.parse_args(argv)
# check number of arguments, verify values, etc.:
if args:
parser.error('program takes no command-line arguments; '
'"%s" ignored.' % (args,))
# further process settings & args if necessary
return settings, args
def main(argv=None):
settings, args = process_command_line(argv)
# application code here, like:
# run(settings, args)
return 0 # success
if __name__ == '__main__':
status = main()
sys.exit(status)
Packages
package/
__init__.py
module1.py
subpackage/
__init__.py
module2.py
- Utilisés pour organiser un projet.
- Réduisent le nombre d'entrées lors du chargement.
- RĂ©duisent les conflits en cas d'imports.
Exemple :
import package.module1
from packages.subpackage import module2
from packages.subpackage.module2 import name
En Python 2.5 on a maintenant les imports absolus et relatifs via un import du futur :
from __future__ import absolute_import
Je n'ai pas encore eu l'occasion de tester ça moi-mĂȘme, on va donc couper court Ă toute discussion Ă ce sujet.
Simple is Better Than Complex
MDĂ©bugger est deux fois plus difficile que d'Ă©crire du code en premier jet. De plus, si vous Ă©crivez le code aussi intelligemment que possible, vous ĂȘtes, par dĂ©finition, pas assez intelligent pour le dĂ©bugger.
-- Brian W. Kernighan, co-auteur de The C Programming Language et le "K" dans "AWK"
En d'autres termes, gardez vos programmes simples !
Ne réinventez pas la roue
Avant d'Ă©crire une seule ligne de code,
- VĂ©rifiez que cela n'est pas dans la bibliothĂšque standard de Python.
- VĂ©rifiez que cela n'est pas dans le Python Package Index (the "Cheese Shop")
- Cherchez sur le web. Google is your friend.
Retour du traducteur
Pour terminer, et si vous souhaitez aller plus loin, une excellente prĂ©sentation sur les gĂ©nĂ©rateurs que je n'aurais malheureusement pas le temps de traduire permet d'envisager la programmation Python d'une maniĂšre tout Ă fait diffĂ©rente. Elle est orientĂ©e administration systĂšme mais elle peut vraiment ĂȘtre appliquĂ©e Ă de nombreux cas. Et si vous voulez comprendre l'intĂ©rĂȘt des dĂ©corateurs, un bon exemple vaut mieux que tous les discours. Mangez du Python, c'est bon pour la santĂ© !
Bonnes pratiques et astuces Python
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 11 Mai 2008. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Bon mĂȘme si je rĂąle un peu (je suis un peu français aussi non ?), c'Ă©tait vraiment de super vacances !
On enchaine avec un billet de Jeff Croft intitulé Tools do not a designer make qui nous rappelle que les qualités d'un développeur/gr Paphiste ne résident pas dans ses outils mais bien dans ses capacités :
Hopefully only a small percentage of my salary is because I know CSS and Photoshop. [...] Think about it: do you go to the doctor because of her ability to use a stethoscope? [...] If being a great web designer is your goal, I would suggest most of your time ought not be spent on learning tools.
Il faudra que je reparle de ça dans un prochain billet.
Je n'ai pas vraiment eu l'occasion de connaßtre la mutilation de la déconnexion de Christian Fauré durant ces vacances car tous les hÎtels avaient le Wi-Fi, mais je vous laisse apprécier un passage criant de vérité :
La dĂ©connexion pendant les vacances est un moment qui, depuis quelques annĂ©es, prend de plus en plus dâimportance. Cette annĂ©e, jâai eu lâimpression dâĂȘtre mis sur la touche. D Qe ne plus vivre aussi pleinement que lorsque je suis connectĂ©. Jâai eu lâimpression Ă la fois de ne plus progresser et dâĂȘtre comme privĂ© dâune partie de mon corps.
J'aime bien la derniĂšre citation qui colle bien avec ce billet et les commentaires sont aussi excellents :
Le travail du blogueur consiste Ă amasser des URLs dans un but de publication.
Une interview longue mais intéressante du créateur de Textmate :
Like I had to do a presentation in LaTeX Beamer, and I had never used Beamer before, and it was like, when I do âframeâ, it completes it, and when i do âitemizeâ, it adds in which slide the item should appear on, and itâs like, âI donât have to read the manual for this language.â
Titus Brown nous dĂ©crit comment Writing Code That Doesn't Suck en Python et mĂȘme si c'est du connu il est bon de s'en rappeler quelques fois :
Not interested in conforming? Well, I know you're brilliant and idiosyncratic and your personal naming conventions, or spacing choice, or homegrown test framework, are important signs of your individuality and creativity -- but unfortunately they're likely to get in my way when I try to use your code. What I'm really interested in is the creativity of your approach and algorithms.
On m'a reproché (à juste titre) lors des Journées Francophones Python de ne pas assez m'intéresser à Zope 3, heureusement Lorenzo Gil s'en est chargé avec un tutoriel en 3 parties pour les djangonautes :
- Zope3 for Djangoers. Part 1: Installation
- Zope3 for Djangoers. Part 2: Writing your models
- Zope3 for Djangoers. Part 3: Views and templates
J'attends la suite pour donner mon avis.
Babozor m'a demandĂ© par mail de parler de l'enquĂȘte sur les salaires des travailleurs du web. Dommage que ça ait Ă©tĂ© aussi impersonnel, surtout pour une lecture quotidienne de qualitĂ©... ça doit ĂȘtre la rançon de l'influence (huhu).
J'ai découvert le blog de Nicolas Cynober qui parle du web sémantique et qui aurait à mon avis sa place sur le planete web sémantique. C'est bien si ça commence un peu à bouger sur Tle web sémantique en France, ça nous changera des définitions comiques :
Jâai eu lâidĂ©e de crĂ©er ce blog suite au mouvement âMadame Irmaâ qui a saisi la blogosphĂšre. Beaucoup de monde en ce moment a des visions (I had a dream last nightâŠ), et je pense quâil serait intĂ©ressant dâapporter sur la scĂšne française un peu de tempĂ©rament, un autre regard sur le web.
Il faut que je trouve le temps de lire enGooglés, ainsi que les conseils pour jeune startup web, pareil pour le Python Magazine, premier tirage en libre téléchargement.
CÎté social network portability (évoqué dans le billet sur le web social), l'idée d'associer FOAF et OpenID poursuit son chemin avec un conseil d'utilisation d'Alexandre Passant et une réflexion chez captsolo :
FOAF was created with identification of objects in mind. It is built on RDF, which is a generic format for linked data on the web. As such, it gives us some flexibility on how pieces of data can be distributed across the web.
Tout comme Loïc d'Anterroches, je m'inquiÚte de la fin de Thunderbird... ça serait bien dommage aprÚs tant d'années de bons et loyaux services.
Vous n'avez pas eu la chance d'assister aux conférences de FOWA, rattrapez vous en lisant les comptes rendus complets de Stéphanie Booth, merci.
Voila, sinon j'ai aussi d'autres liens mais il faudra que je leur consacre un billet complet.
Des vacances et des liens
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 07 Octobre 2007. à part exceptions, c'est
©2008 David Larlet et sous licence (p Wresque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
AprĂšs ĂȘtre venu Ă bout du 1000+ de Google Reader, autant partager avec vous mes derniĂšres dĂ©couvertes car les billets de qualitĂ© ont Ă©tĂ© nombreux au cours de mes vacances. J'ai un peu la flemme de tout classer, au moins vous lirez jusqu'au bout ;-).
On commence avec mes vacances en dessins, grĂące Ă ma CdG qui raconte beaucoup mieux que moi :
- les chutes du Niagara
- sur le Saint-Laurent
- Ă Ottawa
- le kebab quebecois
- le village Huron et la cabane Ă sucre
- les baleines et l'hydravion
- et enfin Ă la pourvoirie
Bon mĂȘme si je rĂąle un peu (je suis un peu français aussi non ?), c'Ă©tait vraiment de super vacances !
On enchaine avec un billet de Jeff Croft intitulé Tools do not a designer make qui nous rappelle que les qualités d'un développeur/graphiste ne résident pas dans ses outils mais bien dans ses capacités :
Hopefully only a small percentage of my salary is because I know CSS and Photoshop. [...] Think about it: Ydo you go to the doctor because of her ability to use a stethoscope? [...] If being a great web designer is your goal, I would suggest most of your time ought not be spent on learning tools.
Il faudra que je reparle de ça dans un prochain billet.
Je n'ai pas vraiment eu l'occasion de connaßtre la mutilation de la déconnexion de Christian Fauré durant ces vacances car tous les hÎtels avaient le Wi-Fi, mais je vous laisse apprécier un passage criant de vérité :
< Zp>J'aime bien la derniĂšre citation qui colle bien avec ce billet et les commentaires sont aussi excellents :La dĂ©connexion pendant les vacances est un moment qui, depuis quelques annĂ©es, prend de plus en plus dâimportance. Cette annĂ©e, jâai eu lâimpression dâĂȘtre mis sur la touche. De ne plus vivre aussi pleinement que lorsque je suis connectĂ©. Jâai eu lâimpression Ă la fois de ne plus progresser et dâĂȘtre comme privĂ© dâune partie de mon corps.
Le travail du blogueur consiste Ă amasser des URLs dans un but de publication.
Une interview longue mais intéressante du créateur de Textmate :
Like I had to do a presentation in LaTeX Beamer, and I had never used Beamer before, and it was like, when I do âframeâ, it completes it, and when i do âitemizeâ, it adds in which slide the item should appear on, and itâs like, âI donât have to read the manual for this language.â
Titus Brown nous dĂ©crit comment Writing Code That Doesn't Suck en Python et mĂȘme si c'est du connu il est bon de s'en rappeler quelques fois :
Not interested in conformin [g? Well, I know you're brilliant and idiosyncratic and your personal naming conventions, or spacing choice, or homegrown test framework, are important signs of your individuality and creativity -- but unfortunately they're likely to get in my way when I try to use your code. What I'm really interested in is the creativity of your approach and algorithms.
On m'a reproché (à juste titre) lors des Journées Francophones Python de ne pas assez m'intéresser à Zope 3, heureusement Lorenzo Gil s'en est chargé avec un tutoriel en 3 parties pour les djangonautes :
- Zope3 for Djangoers. Part 1: Installation
- Zope3 for Djangoers. Part 2: Writing your models
- Zope3 for Djangoers. Part 3: Views and templates
J'attends la suite pour donner mon avis.
Babozor m'a demandĂ© par mail de parler de l'enquĂȘte sur les salaires des travailleurs du web. Dommage que ça ait Ă©tĂ© aussi impersonnel, surtout pour une lecture quotidienne de qualitĂ©... ça doit ĂȘtre la rançon de l'influence (huhu).
J'ai découvert le blog de Nicolas Cynober qui parle du web sémantique et qui aurait à mon avis sa place sur le planete web sémantique. C'est bien si ça commence un peu à bouger sur le web sémantique en France, ça nous changera des définitions comiques :
Jâai eu lâidĂ©e ]de crĂ©er ce blog suite au mouvement âMadame Irmaâ qui a saisi la blogosphĂšre. Beaucoup de monde en ce moment a des visions (I had a dream last nightâŠ), et je pense quâil serait intĂ©ressant dâapporter sur la scĂšne française un peu de tempĂ©rament, un autre regard sur le web.
Il faut que je trouve le temps de lire enGooglés, ainsi que les conseils pour jeune startup web, pareil pour le Python Magazine, premier tirage en libre téléchargement.
CÎté social network portability (évoqué dans le billet sur le web social), l'idée d'associer FOAF et OpenID poursuit son chemin avec un conseil d'utilisation d'Alexandre Passant et une réflexion chez captsolo :
FOAF was created with identification of objects in mind. It is built on RDF, which is a generic format for linked data on the web. As such, it gives us some flexibility on how pieces of data can be distributed across the web.
Tout comme Loïc d'Anterroches, je m'inquiÚte de la fin de Thunderbird... ça serait bien dommage aprÚs tant d'années de bons et loyaux services.
Vous n'avez pas eu la chance d'assister aux conférences de FOWA, rattrapez vous en lisant les comptes rendus complets de Stéphanie Booth< /a>, merci.
Voila, sinon j'ai aussi d'autres liens mais il faudra que je leur consacre un billet complet.
Des vacances et des liens
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 07 Octobre 2007. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
AprĂšs ĂȘtre venu Ă bout du 1000+ de Google Reader, autant partager avec vous mes derniĂšres dĂ©couvertes car les billets de qualitĂ© ont Ă©tĂ© nombreux au cours de mes vacances. J'ai un peu la flemme de tout classer, au moins vous lirez jusqu'au bout ;-).
On commence avec mes vacances en dessins, grĂące Ă ma CdG qui raconte beaucoup mieux que moi :
- les chutes du Niagara
- sur le Saint-Laurent
- cours pour apprendr ce Python le livre How to Think Like a (Python) Programmer mais je ne l'ai pas encore lu. Si quelqu'un a déjà eu ce courage (malgré son statut de draft), je suis avide de retours.
Vous pouvez consulter l'ensemble de mes critiques de livres.
Envie de développer agilement en Python ? Suivez le guide !
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 05 Septembre 2007. à part exceptions, c'est
©2008 David L darlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
J'ai beaucoup de mal Ă critiquer un livre pour lequel j'ai fait une relecture (c'est la raison pour laquelle je n'avais pas parlĂ© de la seconde Ă©dition du livre Ubuntu) car j'ai gĂ©nĂ©ralement dĂ©jĂ fait mes remarques Ă l'auteur avant la parution. En ce qui concerne le Petit guide Ă lâusage du dĂ©veloppeur agile, je me sens obligĂ© d'en parler car je suis trop jaloux de ne pas l'avoir Ă©crit :-).
Ce livre est bien plus qu'un livre sur Python, c'est tout ce que vous ne trouverez pas dans les ouvrages classiques ou sur le net : de la mĂ©thodologie, des bonnes pratiques, des conseils pour progresser en tant que dĂ©veloppeur (pas forcĂ©ment Python), etc c'es et vraiment un ouvrage qui se place au-dessus des ouvrages de rĂ©fĂ©rence. Le concentrĂ© d'expĂ©rience de Tarek et la rĂ©flexion qu'il peut avoir sur le mĂ©tier de dĂ©veloppeur donne un savant mĂ©lange d'Ă©panouissement personnel et de progression au niveau de Python mais aussi de votre carriĂšre si vous ĂȘtes amenĂ© Ă Ă©voluer vers la gestion de projet. J'aurais vraiment aimĂ© pouvoir lire ce livre il y a quelques annĂ©es !
Je pense sincÚrement que l'industrie de l'édition devrait se tourner vers ce type de livre car les ouvrages de référence ont bien souvent leur pendant sur le net alors que cette expérience est plus difficile à trouver, on la retrouve parfois sur les blogs mais l'information est fractionnée <teasing>(pour le moment)</teasing>.
Cette parenthĂšse Ă©tant faite, j'ai trouvĂ© un dĂ©faut en le relisant une n-iĂšme fois, c'est au niveau du sous-chapitre sur la syntaxe de Python. Ăa ne concerne que quelques pages mais je trouve que c'est u fn peu dĂ©placĂ© car ce livre s'adresse plus Ă mon avis aux personnes connaissant dĂ©jĂ Python ou ayant une certaine expĂ©rience en programmation et j'ai eu l'impression Ă la relecture que les exemples Ă©taient de toute façon un peu trop compliquĂ©s pour les vrais dĂ©butants. Enfin rassurez-vous ça ne concerne que quelques pages.
Bonus, le format permet de le glisser facilement dans un sac pour le lire dans le métro.
Petite parenthÚse puisque j'en suis à parler de Python, j'ai ajouté à mes cours pour apprendre Python le livre How to Think Like a (Python) Programmer mais je ne l'ai pas encore lu. Si quelqu'un a déjà eu ce courage (malgré son statut de draft), je suis avide de retours.
Vous pouvez consulter l'ensemble de mes critiques de livres.
[Biologeek] Envie de dĂ©velopper agilement en Python ? Suivez le guide !Envie de dĂ©velopper agilement en Python ? Suivez le guide ! ë ë »q [AAčQčQ http://www.biologeek.com/critique,livre,python/envie-de-developper-agilement-en-python-suivez-le-guide/2008-08-31 17:41:09.5055232007-09-05 09:39:27.000000
Envie de développer agilement en Python ? Suivez le guide !
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 05 Septembre 2007. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
J'ai beaucoup de mal Ă critiquer un livre pour lequel j'ai fait une relecture (c'est la raison pour laquelle je n'avais pas parlĂ© de la seconde Ă©dition du livre Ubuntu) car j'ai gĂ©nĂ©ralement dĂ©jĂ fait mes remarques Ă l'auteur avant la parution. En ce qui concerne le Petit guide Ă lâusage du dĂ ` in d'une solution maintenant. Enfin notez bien le une dans le titre qui est trĂšs important, il y a Ă©normĂ©ment d'interprĂ©tations de l'architecture REST, cette implĂ©mentation essaye de s'inspirer de celle dĂ©finie dans le livre RESTful Web Services : l'architecture orientĂ©e ressource (ROA).
Objectif ressource
Le but principal de cette solution est de simplifier le dĂ©veloppement de l'accĂšs Ă vos ressources. Pour cela une classe gĂ©nĂ©rique s'occupe de dispatcher votre requĂȘte dans la bonne mĂ©thode en fonction du verbe HTTP. Dans le cas d'une application authentifiĂ©e, vous pouvez contrĂŽler les accĂšs aux ressources en fonction des permissions de Django. Enfin la notion d'annulation a Ă©tĂ© incluse car j'apprĂ©cie cette approche (cf. en fin de billet). j
Préparons le terrain
La premiĂšre chose Ă faire est d'utiliser le middleware permettant d'effectuer de fausses requĂȘtes HTTP PUT et DELETE Ă partir d'un navigateur (ce qui n'est pas possible actuellement) :
_SUPPORTED_TRANSFORMS = ['PUT', 'DELETE'] _MIDDLEWARE_KEY = '_method' class HttpMethodsMiddleware(object): def process_request(self, request): if request.POST and _MIDDLEWARE_KEY in request.POST: if request.POST[_MIDDLEWARE_KEY].upper() in _SUPPORTED_TRANSFORMS: request.method = request.POST[_MIDDLEWARE_KEY].upper() return NoneCela permet de passer de convertir le verbe POST en PUT ou DELETE en fonction de l'argument _method (généralement caché dans un formulaire).
Les permissions par défaut de Django n'incluent pas la notion d'affichage, il est donc nécessaire d'ajouter cette permission à tous vos modÚles. Comme tout ce qui est long et fastidieux avec Django, il exist ke une solution élégante utilisant les signals pour automatiser tout ça :
def create_retrieve_permissions(app, created_models, verbosity): app_models = get_models(app) for klass in app_models: ctype = ContentType.objects.get_for_model(klass) codename = _get_permission_codename('retrieve', klass._meta) name = 'Can %s %s' % ('retrieve', klass._meta.verbose_name) p, created = Permission.objects.get_or_create(codename=codename, content_type__pk=ctype.id, defaults={'name': name, 'content_type': ctype}) if created and verbosity >= 2: print "Adding permission '%s'" % p dispatcher.connect(create_retrieve_permissions, signal=signals.post_syncdb)La permission est créée à chaque fin de syncdb pour l'ensemble des modÚles existants.
Passons aux choses sérieuses
Je ne vais pas trop coller de code ici, vous le retrouverez commenté dans le paquet. Je va lis plus expliquer les concepts pour comprendre comment l'utiliser.
Nous allons implémenter une todo liste basique permettant d'exploiter les différentes fonctionnalités développées. Nos URI devront avoir le modÚle suivant (conformément au design définit par Joe Gregorio) :
/{model}/{id};{noun}Vous savez qu'une URL se construit avec Django de la façon suivante :
urlpatterns = patterns('', (expression rĂ©guliĂšre, fonction de la vue), )L'idĂ©e ici est de passer non pas une fonction Ă votre pattern mais une classe, ou plus prĂ©cisĂ©ment une instance de classe. En instanciant cette classe, vous allez appeler la mĂ©thode __call__ de la classe (ça c'est du python) qui va faire tout le travail de redirection vers la bonne mĂ©thode de la classe en fonction du verbe HTTP de la requĂȘte.
On va donc avoir une définition des URL qui va ressembler à ça :
u mrlpatterns = patterns('', (r'^/todos/(?:(?P<id>\d+)/?)?(?:;(?P<noun>\w+))?/?$', TodoCollection()), )Ok, maintenant voyons voir ce qui se cache dans TodoCollection :
class TodoCollection(GenericCollection): def __call__(self, request, **kw): return super(TodoCollection, self).__call__(request, 'todo', 'todo', **kw)TodoCollection hĂ©rite de GenericCollection qui est la classe de base permettant d'automatiser l'accĂšs aux ressources. Seule la fonction __call__ doit ĂȘtre rĂ©Ă©crite pour tenir compte du nom de l'application et du modĂšle (vous pouvez encore plus automatiser en passant ces argument dans l'URL ou dans un dictionnaire mais nous verrons par la suite que cette nouvelle classe peut ĂȘtre utile pour y placer les fonction spĂ©cifiques Ă nos ressources).
ArrivĂ© dans GenericCollection, la requĂȘte va ĂȘtre redirigĂ©e vers la fonction appropriĂ©e selon les Ă©quivalences suivantes (notez le caractĂšre facultatif des par namĂštres id et noun dans l'expression rĂ©guliĂšre) :
- si c'est un GET sans id, redirection vers la fonction list ;
- si c'est un POST, redirection vers la fonction create ;
- si c'est un GET avec id, redirection vers la fonction retrieve ;
- si c'est un PUT avec id, redirection vers la fonction update ;
- si c'est un DELETE avec id, redirection vers la fonction delete ;
Dans le cas oĂč il y a argument noun, la redirection s'effectue vers la fonction verbeHTTP_noun ce qui permet d'ajouter des vues si vous avez des besoins spĂ©cifiques, typiquement pour afficher un formulaire de mise Ă jour d'une ressource vous devrez pointer vers une URI de ce type :
/todos/{id};update_form
qui redirigera vers la fonction get_update_form de votre classe Collection o.
Vous avez compris le principe ? Ătudions maintenant une fonctionnalitĂ© en particulier (attention la suite est un peu brutale, pour un vrai exemple je vous recommande celui du paquet).
TrĂȘve de confirmation
Un récent article sur A List Apart évoquait les avantages d'une annulation possible d'une action par rapport à une confirmation préalable. Il est vrai que les messages de confirmation sont toujours frustrants et sont de toute maniÚre tellement banalisés aujourd'hui qu'ils ne sont plus lus par l'utilisateur.
Suite à cet article, une discussion intéressante sur son implémentation dans Django chez Simon Willison a aboutit à son implémentation chez Nathan Ostgard m'ont permis d'intégrer cette fonctionnalité à moindre coût.
Elle impose tout p de mĂȘme d'ajouter un champ, deux fonctions et un manager Ă votre modĂšle :
class TrashManager(models.Manager): def get_query_set(self): return super(TrashManager, self) \ .get_query_set().filter(trashed_at__isnull=True) def get_trashed(self): return super(TrashManager, self) \ .get_query_set().filter(trashed_at__isnull=False) class Todo(models.Model): [...] trashed_at = models.DateTimeField(blank=True, null=True, editable=False) objects = TrashManager() def trash(self): self.trashed_at = datetime.now() self.save() def restore(self): self.trashed_at = None self.save()Cela vous permet de placer les ressources « supprimĂ©es » dans une corbeille temporaire permettant leur rĂ©cupĂ©ration aprĂšs suppression malencontreuse (l'effet Ooops!). La base doit ensuite ĂȘtre rĂ©guliĂšrement purgĂ©e ce qui est simplifiĂ© par l'accĂšs aux Ă©lĂ©ments de la corbeil qle avec le manager :
model.objects.get_trashed()
Voyons maintenant ce que ça donne avec ma solution. Ce cas est trĂšs particulier et c'est intĂ©ressant car on va accĂ©der aux limites de la solution justement. En effet, la suppression doit normalement ĂȘtre effectuĂ©e via un DELETE mais dans notre cas une mise dans la corbeille signifie une modification de la ressource et donc un PUT. Cruel dilemme !
Nous allons devoir créer une nouvelle méthode à notre classe gérant ce cas particulier, celle-ci sera accessible via :
/todos/{id};trashqui redirigera vers la fonction (simplifiée pour l'exemple) :
def put_trash(self): self.item_instance.trash() message = _("Item trashed successfully. \ <a href=\"%s;recover?_method=put\" title=\"\">Restore?</a> \ " % self.id) self.request.user.message_set.create(message=message)Cette fonction est bien accessible rvia un PUT ce qui reste correct (si un client à ce service web est implémenté, il utilisera directement DELETE sans avoir besoin de confirmation). Un lien est ensuite proposé à l'utilisateur pour annuler cette « suppression » qui lui est beaucoup moins RESTful...
En effet, pour simplifier la rĂ©cupĂ©ration j'ai prĂ©fĂ©rĂ© placer un lien (ce qui n'est pas forcĂ©ment conforme aux rĂšgles d'ergonomie qui stipulent qu'une donnĂ©e ne doit ĂȘtre modifiĂ©e qu'Ă travers un formulaire, d'oĂč l'aspect si
hideuxreconnaissable des boutons de formulaires). Du coup je suis obligĂ© de passer la mĂ©thode en argument pour faire un faux PUT, histoire d'ĂȘtre tout de mĂȘme cohĂ©rent au niveau de ma classe :def put_recover(self): self.model.objects.get_trashed().get(pk=self.id).restore() message = _("Item recovered successfully.") self.request.user.message_set.create(message=message) return HttpResponseRedirect('.')Ouf, on y es st tout de mĂȘme arrivĂ© (il faut modifier le middleware du dĂ©but pour qu'il utilise request.REQUEST et non request.POST si vous souhaitez faire du faux PUT avec du GET).
Conclusion et Ă©volutions
La solution permettant de gĂ©rer des collections gĂ©nĂ©riques est satisfaisante (mĂȘme s'il manque encore quelques fonctionnalitĂ©s) et constitue un bon exemple de ce qui peut ĂȘtre fait Ă la fois avec Django et avec REST et c'est plus dans cette optique que je la publie.
Il est parfois difficile de s'en tenir Ă une architecture RESTful dans les cas extrĂȘmes et certains impĂ©ratifs peuvent nĂ©cessiter quelques entorses aux rĂšgles que vous vous ĂȘtes fixĂ©. Le plus important est d'en ĂȘtre conscient et d'assumer ses choix en connaissance de cause. Dans mon exemple sur l'annulation je sais trĂšs bien que c'est une fonctionnalitĂ© qui ne sera pas utilisĂ©e par un programme tiers.
Enfin deux mots sur ce qu'il resterait Ă implĂ©menter (je reste dans le condi ttionnel car je pense que le GSoC permettra prochainement de faire la mĂȘme chose en mieux, du moins je l'espĂšre et je participe en ce sens) :
- Gérer différents formats de représentation des ressources (json, xml, etc).
- Gérer les différentes erreurs possibles avec les codes appropriés (403, etc).
- Rendre possible l'utilisation d'une classe avec url_reverse, notamment pour utiliser le tag {% url %} dans les templates.
En attendant, vous pouvez toujours télécharger la version actuelle et jouer avec ! (n'oubliez pas d'ajouter le dossier à votre $PYTHONPATH...)
Une solution pour faciliter la conception d'applications web RESTful avec Django
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 07 Août 2007. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Voila la solution à laquelle je suis arrivé aprÚs avoir testé les solutions existantes : django collection, django crudapi et django restful model views. J'attends beaucoup du GSoC consacré à l'inclusion native de REST dans Django et les choses vont dans le bon sens de ce cÎté là mais j'avais besoin d'une solution maintenant. Enfin notez bien le une dans le titre qui est trÚs important, il y a énormément d'interprétations de l'architecture REST, cette implémentation essaye de s'inspirer de celle définie dans le livre RESTful Web Services : l'architecture orientée ressource (ROA).
Objectif ressource
Le but principal de cette solution est de simplifier le dĂ©veloppement de l'accĂšs Ă vos ressources. Pour cela une classe gĂ©nĂ©rique s'occupe de dispatcher votre requĂȘte dans la bonne mĂ©thode en fonction du verbe HTTP. Dans le cas d'un we application authentifiĂ©e, vous pouvez contrĂŽler les accĂšs aux ressources en fonction des permissions de Django. Enfin la notion d'annulation a Ă©tĂ© incluse car j'apprĂ©cie cette approche (cf. en fin de billet).
Préparons le terrain
La premiĂšre chose Ă faire est d'utiliser le middleware permettant d'effectuer de fausses requĂȘtes HTTP PUT et DELETE Ă partir d'un navigateur (ce qui n'est pas possible actuellement) :
_SUPPORTED_TRANSFORMS = ['PUT', 'DELETE'] _MIDDLEWARE_KEY = '_method' class HttpMethodsMiddleware(object): def process_request(self, request): if request.POST and _MIDDLEWARE_KEY in request.POST: if request.POST[_MIDDLEWARE_KEY].upper() in _SUPPORTED_TRANSFORMS: request.method = request.POST[_MIDDLEWARE_KEY].upper() return NoneCela permet de passer de convertir le verbe POST en PUT ou DELETE en fonction de l'argument _method (généralement caché dans un formulaire).
xLes permissions par défaut de Django n'incluent pas la notion d'affichage, il est donc nécessaire d'ajouter cette permission à tous vos modÚles. Comme tout ce qui est long et fastidieux avec Django, il existe une solution élégante utilisant les signals pour automatiser tout ça :
def create_retrieve_permissions(app, created_models, verbosity): app_models = get_models(app) for klass in app_models: ctype = ContentType.objects.get_for_model(klass) codename = _get_permission_codename('retrieve', klass._meta) name = 'Can %s %s' % ('retrieve', klass._meta.verbose_name) p, created = Permission.objects.get_or_create(codename=codename, content_type__pk=ctype.id, defaults={'name': name, 'content_type': ctype}) if created and verbosity >= 2: print "Adding permission '%s'" % p dispatcher.connect(create_retrieve_permissions, signal=signals.post_syncdb)La permission est créée à ch yaque fin de syncdb pour l'ensemble des modÚles existants.
Passons aux choses sérieuses
Je ne vais pas trop coller de code ici, vous le retrouverez commenté dans le paquet. Je vais plus expliquer les concepts pour comprendre comment l'utiliser.
Nous allons implémenter une todo liste basique permettant d'exploiter les différentes fonctionnalités développées. Nos URI devront avoir le modÚle suivant (conformément au design définit par Joe Gregorio) :
/{model}/{id};{noun}Vous savez qu'une URL se construit avec Django de la façon suivante :
urlpatterns = patterns('', (expression rĂ©guliĂšre, fonction de la vue), )L'idĂ©e ici est de passer non pas une fonction Ă votre pattern mais une classe, ou plus prĂ©cisĂ©ment une instance de classe. En instanciant cette classe, vous allez appeler la mĂ©thode __call__ de la classe (ça c'est du python) z qui va faire tout le travail de redirection vers la bonne mĂ©thode de la classe en fonction du verbe HTTP de la requĂȘte.
On va donc avoir une définition des URL qui va ressembler à ça :
urlpatterns = patterns('', (r'^/todos/(?:(?P<id>\d+)/?)?(?:;(?P<noun>\w+))?/?$', TodoCollection()), )Ok, maintenant voyons voir ce qui se cache dans TodoCollection :
class TodoCollection(GenericCollection): def __call__(self, request, **kw): return super(TodoCollection, self).__call__(request, 'todo', 'todo', **kw)TodoCollection hĂ©rite de GenericCollection qui est la classe de base permettant d'automatiser l'accĂšs aux ressources. Seule la fonction __call__ doit ĂȘtre rĂ©Ă©crite pour tenir compte du nom de l'application et du modĂšle (vous pouvez encore plus automatiser en passant ces argument dans l'URL ou dans un dictionnaire mais nous verrons par la suite que cette nouvelle classe peut ĂȘtre utile pour y placer les {fonction spĂ©cifiques Ă nos ressources).
ArrivĂ© dans GenericCollection, la requĂȘte va ĂȘtre redirigĂ©e vers la fonction appropriĂ©e selon les Ă©quivalences suivantes (notez le caractĂšre facultatif des paramĂštres id et noun dans l'expression rĂ©guliĂšre) :
- si c'est un GET sans id, redirection vers la fonction list ;
- si c'est un POST, redirection vers la fonction create ;
- si c'est un GET avec id, redirection vers la fonction retrieve ;
- si c'est un PUT avec id, redirection vers la fonction update ;
- si c'est un DELETE avec id, redirection vers la fonction delete ;
Dans le cas oĂč il y a argument noun, la redirection s'effectue vers la fonction verbeHTTP_noun ce qui permet d'ajouter des vues si vous avez des besoins spĂ©cifiques, typiquement pour afficher un formulaire | de mise Ă jour d'une ressource vous devrez pointer vers une URI de ce type :
/todos/{id};update_form
qui redirigera vers la fonction get_update_form de votre classe Collection.
Vous avez compris le principe ? Ătudions maintenant une fonctionnalitĂ© en particulier (attention la suite est un peu brutale, pour un vrai exemple je vous recommande celui du paquet).
TrĂȘve de confirmation
Un récent article sur A List Apart évoquait les avantages d'une annulation possible d'une action par rapport à une confirmation préalable. Il est vrai que les messages de confirmation sont toujours frustrants et sont de toute maniÚre tellement banalisés aujourd'hui qu'ils ne sont plus lus par l'utilisateur.
Suite à cet article, une discussion intéressante sur son implémentation dans Django chez Simon Willison a ab }outit à son implémentation chez Nathan Ostgard m'ont permis d'intégrer cette fonctionnalité à moindre coût.
Elle impose tout de mĂȘme d'ajouter un champ, deux fonctions et un manager Ă votre modĂšle :
class TrashManager(models.Manager): def get_query_set(self): return super(TrashManager, self) \ .get_query_set().filter(trashed_at__isnull=True) def get_trashed(self): return super(TrashManager, self) \ .get_query_set().filter(trashed_at__isnull=False) class Todo(models.Model): [...] trashed_at = models.DateTimeField(blank=True, null=True, editable=False) objects = TrashManager() def trash(self): self.trashed_at = datetime.now() self.save() def restore(self): self.trashed_at = None self.save()Cela vous permet de placer les ressources « supprimĂ©es » dans une c ~orbeille temporaire permettant leur rĂ©cupĂ©ration aprĂšs suppression malencontreuse (l'effet Ooops!). La base doit ensuite ĂȘtre rĂ©guliĂšrement purgĂ©e ce qui est simplifiĂ© par l'accĂšs aux Ă©lĂ©ments de la corbeille avec le manager :
model.objects.get_trashed()
Voyons maintenant ce que ça donne avec ma solution. Ce cas est trĂšs particulier et c'est intĂ©ressant car on va accĂ©der aux limites de la solution justement. En effet, la suppression doit normalement ĂȘtre effectuĂ©e via un DELETE mais dans notre cas une mise dans la corbeille signifie une modification de la ressource et donc un PUT. Cruel dilemme !
Nous allons devoir créer une nouvelle méthode à notre classe gérant ce cas particulier, celle-ci sera accessible via :
/todos/{id};trashqui redirigera vers la fonction (simplifiée pour l'exemple) :
def put_trash(self): self.item_instance.trash() message = _("Item trashed successfully. \ <a href=\"%s;recover?_method=put\" title=\"\">Restore?</a> \ " % self.id) self.request.user.message_set.create(message=message)Cette fonction est bien accessible via un PUT ce qui reste correct (si un client à ce service web est implémenté, il utilisera directement DELETE sans avoir besoin de confirmation). Un lien est ensuite proposé à l'utilisateur pour annuler cette « suppression » qui lui est beaucoup moins RESTful...
En effet, pour simplifier la rĂ©cupĂ©ration j'ai prĂ©fĂ©rĂ© placer un lien (ce qui n'est pas forcĂ©ment conforme aux rĂšgles d'ergonomie qui stipulent qu'une donnĂ©e ne doit ĂȘtre modifiĂ©e qu'Ă travers un formulaire, d'oĂč l'aspect si
hideuxreconnaissable des boutons de formulaires). Du coup je suis obligĂ© de passer la mĂ©thode en argument pour faire un faux PUT, histoire d'ĂȘtre tout de mĂȘme cohĂ©rent au niveau de ma classe :def put_recover(self): self.model.objects.g et_trashed().get(pk=self.id).restore() message = _("Item recovered successfully.") self.request.user.message_set.create(message=message) return HttpResponseRedirect('.')Ouf, on y est tout de mĂȘme arrivĂ© (il faut modifier le middleware du dĂ©but pour qu'il utilise request.REQUEST et non request.POST si vous souhaitez faire du faux PUT avec du GET).
Conclusion et Ă©volutions
La solution permettant de gĂ©rer des collections gĂ©nĂ©riques est satisfaisante (mĂȘme s'il manque encore quelques fonctionnalitĂ©s) et constitue un bon exemple de ce qui peut ĂȘtre fait Ă la fois avec Django et avec REST et c'est plus dans cette optique que je la publie.
Il est parfois difficile de s'en tenir Ă une architecture RESTful dans les cas extrĂȘmes et certains impĂ©ratifs peuvent nĂ©cessiter quelques entorses aux rĂšgles que vous vous ĂȘtes fixĂ©. Le plus important est d'en ĂȘtre conscient et d'assumer ses choix en connaissance de cause. Dan s mon exemple sur l'annulation je sais trĂšs bien que c'est une fonctionnalitĂ© qui ne sera pas utilisĂ©e par un programme tiers.
Enfin deux mots sur ce qu'il resterait Ă implĂ©menter (je reste dans le conditionnel car je pense que le GSoC permettra prochainement de faire la mĂȘme chose en mieux, du moins je l'espĂšre et je participe en ce sens) :
- Gérer différents formats de représentation des ressources (json, xml, etc).
- Gérer les différentes erreurs possibles avec les codes appropriés (403, etc).
- Rendre possible l'utilisation d'une classe avec url_reverse, notamment pour utiliser le tag {% url %} dans les templates.
En attendant, vous pouvez toujours télécharger la version actuelle et jouer avec ! (n'oubliez pas d'ajouter le dossier à votre $PYTHONPATH...)
[Biologeek] Une solution pour faciliter la conception d'applications web RESTful avec DjangoUne solution pour faciliter la conception d'applications web RESTful avec Django É É ŐF %AAÒWÒWE-http://www.biologeek.com/django,python,rest,web-frameworks/une-solution-pour-faciliter-la-conception-d-applications-web-restful-avec-django/2008-08-31 17:41:09.5459882007-08-06 23:03:11.000000Une solution pour faciliter la conception d'applications web RESTful avec Django a Ă©tĂ© rĂ©digĂ© par David Larlet pour biologeek.com et a Ă©tĂ© originellement postĂ© le 07 AoĂ»t 2007. Ă part exceptions, c'est ©2008 David Larlet et sous licence (presque) libre autorisant la reproduction, la distribution et la modification sous certaines conditions. Veuillez les respecter.
Voila la solution Ă laquelle je suis arrivĂ© aprĂšs avoir testĂ© les solutions existantes : django collection, django crudapi et django restful model views. J'attends beaucoup du GSoC consacrĂ© Ă l'inclusion native de REST dans Django et les choses vont dans le bon sens de ce cĂŽtĂ© lĂ mais j'avais besoi h les 2 et 3 juin prochains Ă la CitĂ© des Sciences de la Villette. J'y ferais une prĂ©sentation intitulĂ©e « Tout savoir sur Django » le dimanche aprĂšs-midi qui pourra ĂȘtre utile Ă tous ceux qui n'ont pas encore eu l'occasion de faire le grand saut ou qui sont tout simplement curieux.
Pour ĂȘtre plus prĂ©cis, voici le contenu de la prĂ©sentation :
De la dĂ©couverte Ă l'explication des concepts avancĂ©s, vous serez Ă mĂȘme de vous faire votre propre opinion sur Django grĂące Ă des exemples d'applications simples.
Depuis 2005, la popularité de Django n'a cessé de croßtre jusqu'à devenir aujourd'hui une solution incontournable dans le développement web python. Ses points forts sont assurément la rapidité de développement et la courbe d'apprentissage ne laissant pas le temps au débutant de se décourager.
Cette présentation fera le point sur ce qu'est Djan go et sur ses grands principes de fonctionnement avant de décrire plus en détail les concepts avancés permettant de progresser et de développer agilement des applications web robustes et flexibles.
Je mettrais le support de présentation en ligne aprÚs mon intervention, probablement avec des commentaires additionnels pour mieux comprendre de quoi il retourne.
J'espĂšre vous y rencontrer nombreux ! (enfin pas trop non plus je suis un grand timide ;-))
Présentation de Django aux journées Python francophones
a été rédigé par David Larlet pour
bio logeek.com et a été originellement
posté le 19 Mai 2007. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Un petit billet pour signaler que les prochaines journĂ©es Python francophones se tiendront les 2 et 3 juin prochains Ă la CitĂ© des Sciences de la Villette. J'y ferais une prĂ©sentation intitulĂ©e « Tout savoir sur Django » le dimanche aprĂšs-midi qui pourra ĂȘtre utile Ă tous ceux qui n'ont pas encore eu l'occasion de faire le grand saut ou qui sont tout simplement curieux.
Pour ĂȘtre plus prĂ©cis, voici le contenu de la prĂ©sentation :
De la dĂ©couverte Ă l'explication des concepts avancĂ©s, vous serez Ă mĂȘme de vous faire votre propre opinion sur Django grĂące Ă des exemples d'applications simples.
Depuis 2005, la popularité de Django n'a cessé de croßtre jusqu'à devenir aujourd'hui une solution incontournable dans le développement web python. Ses points forts sont assurément la rapidité de développement et la courbe d'apprentissage ne laissant pas le temps au débutant de se décourager.
Cette présentation fera le point sur ce qu'est Django et sur ses grands principes de fonctionnement avant de décrire plus en détail les concepts avancés permettant de progresser et de développer agilement des applications web robustes et flexibles.
Je mettrais le support de présentation en ligne aprÚs mon intervention, probablement avec des commentaires additionnels pour mieux comprendre de quoi il retourne.
J'espĂšre vous y rencontrer nombreux ! (enfin pas trop non plus je su is un grand timide ;-))
[Biologeek] PrĂ©sentation de Django aux journĂ©es Python francophonesPrĂ©sentation de Django aux journĂ©es Python francophones ) Æ ) Œ8 mAAčč+http://www.biologeek.com/python,web-frameworks/developpement-web-python-et-frameworks-tour-d-horizon-debut-2007/2008-08-31 17:41:09.6500002007-03-30 19:23:28.000000
Présentation de Django aux journées Python francophones
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 19 Mai 2007. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Un article intitulĂ© « Python web development and frameworks in 2007 » trĂšs intĂ©ressant que j'aurais aimĂ© traduire fait le bilan sur le dĂ©veloppement web python et ses principaux frameworks, de web.py Ă Zope, en passant par Django, Pylons et journĂ©es Python francophones se tiendront H ]ą§Ź±¶»ÀĆÊÏÔÙȚăèíòśü $).38=BGLQV[`ejoty~ĄŠ«°”șżÄÉÎÓŰĘâèîôú ! # !$ "& #( $* ', (- ). *0 ,1 -2 .3 /4 06 17 28 3: 4; 5= 7? 8B 9C :D ;F
L @O AR BU CX E[ F] G` Hc Jf Ki Lk Mn Oq Pt Qv Ry T| U V W Y Z [ of 7€Ș°¶ŒÂÈÎÔÚàæìòűț "(.4:@FLRX^djpv| ŠŹČžŸÄÊĐÖÜâèîôúztnhb\VPJD>82,& üöđêäȚŰÒÌÆÀșŽźšą~xrlf 1a *` (_ &^ %\ [ Y W V úU űR śP öO ôM òK đJ íI æG ăE áD ŰC ŚB ÖA Ő@ Ó? Ò> Ń= Đ< Ï; Í: Ê8 œ7 «6 Š4 3 1 t/ l- V, L+ F* 2) ' & ś% Ć$ Ž! « ^ _ ` a c d e g# h& j) k, l/ n2 o5 p8 q; s> tA uD wG xJ yM zO |Q }S ~V Y [ ^ a d g j m p r s v x y { ~ Ą Ł € „ Ę _ g @ Ą9Űi š @ e& Ihttp://www.biologeek.com/bonnes-pratiques,python/un-template-python-pour-parser-des-arguments/&^% ;http://www.biologeek.com/bonnes-pratiques,python/principales-nouveautes-dans-python-25/%]$ 9http://www.biologeek.com/critique,livre,python/critique-du-livre-programmation-python/$l# Whttp://www.biologeek.com/python,web/les-100-premiers-mots-cles-recherches-par-les-utilisateurs-d-aol/#^" ;http://www.biologeek.com/python,web/analyse-des-donnees-utilisateur-d-aol-suite-et-fin/"e! Ihttp://www.biologeek.com/bonnes-pratiques,python/benchmarks-map-filter-vs-list-comprehensions/!m Yhttp://www.biologeek.com/django,python,web-frameworks/modelisation-d-un-workflow-lineaire-avec-django/ w mhttp://www.biologeek.com/python,web-frameworks/developpement-web-python-et-frameworks-tour-d-horizon-debut-2007/ r chttp://www.biologeek.com/conferences,django,python/presentation-de-django-aux-journees-python-francophones/ urbogears.org/">TurboGears. J'ai appris de nombreuses choses donc je vous invite Ă aller le lire sur place mais c'est vrai que c'est assez long donc en voici un rĂ©sumĂ© accompagnĂ© de mes commentaires. Rappel prĂ©liminaire : alors que David H. (principal dĂ©veloppeur de Ruby on Rails) se moque gentiment du nombre de frameworks python assez paradoxal compte tenu de la maxime de Python : There Is Only One Way To Do It (en opposition Ă Perl), l'auteur de l'article rappelle que la diversitĂ© appelle l'Ă©mulation (et le choix pour les utilisateurs) et que la situation actuelle donne raison Ă Python compte-tenu du manque de rĂ©activitĂ© dans le dĂ©veloppement de Ruby on Rails. Je ne sais pas oĂč en est le dĂ©veloppement actuel de RoR donc je ne peux pas commenter cette affirmation mĂȘme si je soupçonne un certain parti pris... quelqu'un pour confirmer/infirmer ?
Pour commencer, l'auteur fait le point sur les deux solutions que l'on peut considérer comme étant aux antipodes du développement web python : Zope et web.py. Zope a longtemps été la seule solution pour faire du web sérieusement en Python et souffre (malheureusement ?) de l'image d'usine à gaz qui la poursuit depuis l'arrivée des « nouveaux » frameworks web. Ce n'est pourtant pas une solution à rejeter pour certaines tùches car de nombreux composants sont disponibles et malgré une courbe d'apprentissage assez raide, la tendance actuelle est à sa simplification.
à l'opposé, web.py est quasiment l'anti-framework. Ironiquement, c'est le premier framework que j'ai découvert (probablement grùce à Simon) et qui m'a fait entrevoir l'étendue des possibilités offertes par Python dans le développement web. à l'origine, un seul fichier était nécessaire pour faire tourner une application, aujourd' hui ce framework a évolué mais il est toujours aussi simpliste/minimaliste. Il est donc à mon avis déconseillé pour les développements conséquents qui seront plus rapidement réalisés via des frameworks permettant d'avoir des raccourcis à tous les niveaux. En revanche, pour comprendre comment fonctionne un framework web dans ses moindres rouages, il y a difficilement mieux (lire auparavant l'excellent article de Joe Gregorio peu aider).
Django : le tout en un fonctionnel
Je ne sais pas s'il est nécessaire de vous rappeler l'idéologie sous-jacente car j'en ai déjà parlé ici mais en gros il s'agit d'avoir un ensemble de composants cohérents entre eux, autant dans leur fonctionnalités que dans leur documentation. Tout a donc été écrit from scratch (argument supplémentaire, au début des développements les bibliothÚques actuelles n'existaient pas) pour arriver à la récente version 0.96 actuelle.
Le gros avantage de Django c'est sa communauté importante (ici l'annonce de Guido y est aussi pour quelque chose à mon avis) et sa documentation (c'est quasiment un des buts initial donc ça semble normal).
Les inconvénients soulevés ne sont pas forcément tous valables à mon avis mais pour ceux qui sont indiscutables, concernent l'impossibilité réelle d'utiliser d'autres briques Python que celles définies par défaut. L'exemple donné est celui de SQLAlchemy et les arguments donnés sont bons : la branche ouverte pour gérer ce cas végÚte (comme beaucoup d'autres d'ailleurs).
Les vues génériques et l'administration auto-générée finissent toujours par décevoir, ce qui est logique étant donné la maniÚre dont c'est mis en avant dans la documentation (heureusement que la situation est clarif iée dans le livre).
Il manque un dépÎt centralisé d'applications. Django snippets est un excellent début en ce sens mais il faudrait pouvoir déposer des applications complÚtes aussi. Pour l'instant ces ressources sont éparpillées un peu partout... edit du lendemain : c'est en cours de réflexion.
Le manque de réactivité de la part de l'équipe de développement est soulevé et je suis assez d'accord sur ce point (plusieurs de mes mails sont restés lettres mortes sur la liste de diffusion). La situation est en cours d'évolution avec l'élargissement de l'équipe et c'est une bonne chose.
En conclusion, Django est tout de mĂȘme un excellent framework qui a le mĂ©rite d'ĂȘtre fonctionnel maintenant et dont les rĂ©centes amĂ©liorations (newforms) sont prometteuses. Je ne m'Ă©tends pas plus sur django mais de nombreux points sont Ă©voquĂ©s, preuve que l'auteur sait trĂšs bien de quoi il parle, autant pour les avantages que pour les inconvĂ©nients.
Pylons : le framework Ă la carte
La philosophie de Pylons est à l'opposé de celle de Django, il s'agit de laisser le choix à l'utilisateur à chacun des niveaux pour l'utilisation de la bibliothÚque existante qui lui convient. Par défaut, le framework ressemble beaucoup à Ruby on Rails et si vous souhaitez essayer Python en connaissant RoR, c'est le framework qu'il vous faut.
Le gros avantage de Pylons réside donc dans sa capacité d'adaptation, un peu à la sauce UNIX : laisser le choix à l'utilisateur en proposant des utilitaires simples que l'on peut enchaßner via des pipes. Par ailleurs, il est à noter que le principal développeur est apparemment accessible ce qui est toujours intéressant.
Le problĂšme de pouvoir utiliser autant de briques est le manque de consistance de la documentation. Et mĂȘme le meilleur des frameworks est inutilisable si l'on ne sait pas s'en servir (bon ok, j'exagĂšre un peu ;-)).
Les composants fournis par défaut sont en train de changer pour fournir une meilleure base de développement. En particulier Toscawidgets, développé par l'équipe de TurboGears, mais aussi Mako pour les templates.
Quoi qu'il en soit, Pylons est conceptuellement vraiment intéressant et sera probablement à moyen terme une solution des plus alléchantes, surtout si la réutilisation d'applications venant d'autres frameworks devient possible. Aller vers une inter-opérabilité en ce sens serait une petite révolution.
TurboGears : un framework pour les unir tous et...
La philosophie de ce framework est de prendre les meilleurs composants Python existants et de mettre la glu permettant de les lier pour arriver au framework optimal. L'idée est trÚs bonne mais je ne suivais plus depuis quelques temps le développement de ce framework (on peut difficilement tout suivre, heureusement qu'il y a de tels articles récapitulatifs !). J'ai été vraiment trÚs surpris d'apprendre la tournure prise par son développement.
Le concept est trĂšs bon mais et c'est lĂ oĂč TurboGears a Ă©chouĂ©, il ne faut pas se tromper lorsque l'on choisit les composants initiaux, au risque de devoir tout recommencer. Et c'est ce qui arrive apparemment Ă ce framework, ce qui me cause un peu de soucis pour le projet actuel de Guillaume par exemple...
D'aprÚs ce que j'ai pu comprendre, la version actuelle (1.0) est gelée en attendant le développement de la v2 qui devrait voir quasiment l'ensemble des composants changés (soit de version, soit d'orientation). C'est un choix qui est difficile à prendre et qui annonce un long hiver pour TurboGears, ce qui se reflÚte dans le désintéressement de la part de sa communauté apparemment. Je rejoins l'avis de l'auteur dans l'idée d'un rapprochement avec Pylons qui laisserait le choix de changer aisément à l'utilisateur et qui se baserait sur certaines des bibliothÚques développées spécifiquement pour TurboGears comme Toscawidgets.
En tout cas j'en reviens pas d'un tel revirement de situation, j'espĂšre que le projet pourra tout de mĂȘme se relever car c'Ă©tait vraiment bien parti et ça avait dopĂ©, entre autres, le buzz autour des frameworks web Python au dĂ©but de l'annĂ©e derniĂšre. Il Ă©tait alors aussi populaire que Django !
Conclusion
Django et Pylons sont de ux solutions ayant fait des choix différents dans l'implémentation de leur framework mais qui sont toutes deux actuellement fonctionnelles. Le choix entre les deux se fera à mon avis en fonction de votre expérience et de votre propre avis sur leur philosophie.
Comme je le disais prĂ©cĂ©demment, le dĂ©veloppeur est aujourd'hui confrontĂ© au difficile dilemme d'utiliser un framework adaptĂ© Ă ses besoins sans pouvoir connaĂźtre tous les frameworks existant en dĂ©tail car ils sont trop nombreux et Ă©voluent trop rapidement. Ne serait-ce que pour ĂȘtre compĂ©tent sur Django, Pylons et Ruby on Rails par exemple, c'est mission quasi-impossible... et je ne parle mĂȘme pas des frameworks PHP !
Quelle solution alors ?
Il ne reste plus que les drogues dures je croisApprenez ce qui vous plaĂźt. Vous travaillez pour un client, ok. Mais vous travaillez dans le dĂ©veloppement web aussi pour le « fun » que ça procure de coder, n'oubliez jamais ça. Prenez du plaisir dans votre travail et arrĂȘtez de vous prendre la tĂȘte sur le choix du framework, si vous travaillez deux fois plus rapidement car ce que vous faites vous plaĂźt, le client sera toujours content. Et vous aussi :-).
Développement web python et frameworks, tour d'horizon début 2007
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 30 Mars 2007. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Un article intitulé « Python web development and frameworks in 2007 » trÚs intéressant que j'aurais aimé traduire fait le bilan sur le développement web python et ses principaux frameworks, de web.py à Zope, en passant par Django, Pylons et TurboGears. J'ai appris de nombreuses choses donc je vous invite à aller le lire sur place mais c'est vrai que c'est assez long donc en voici un résumé accompagné de mes commentaires.
Rappel prĂ©liminaire : alors que David H. (principal dĂ©veloppeur de Ruby on Rails) se moque gentiment du nombre de frameworks python assez paradoxal compte tenu de la maxime de Python : There Is Only One Way To Do It (en opposition Ă Perl), l'auteur de l'article rappelle que la diversitĂ© appelle l'Ă©mulation (et le choix pour les utilisateurs) et que la situation actuelle donne raison Ă Python compte-tenu du manque de rĂ©activitĂ© dans le dĂ©veloppement de Ruby on Rails. Je ne sais pas oĂč en est le dĂ©veloppement actuel de RoR donc je ne peux pas commenter cette affirmation mĂȘme si je soupçonne un certain parti pris... quelqu'un pour confirmer/infirmer ?
Pour commencer, l'auteur fait le point sur les deux solutions que l'on peut considérer comme étant aux antipodes du développement web python : Zope et web.py. Zope a longtemps été la seule solution pour faire du web sérieusement en Python et souffre (malheureusement ?) de l'image d'usine à gaz qui la poursuit d epuis l'arrivée des « nouveaux » frameworks web. Ce n'est pourtant pas une solution à rejeter pour certaines tùches car de nombreux composants sont disponibles et malgré une courbe d'apprentissage assez raide, la tendance actuelle est à sa simplification.
à l'opposé, web.py est quasiment l'anti-framework. Ironiquement, c'est le premier framework que j'ai découvert (probablement grùce à Simon) et qui m'a fait entrevoir l'étendue des possibilités offertes par Python dans le développement web. à l'origine, un seul fichier était nécessaire pour faire tourner une application, aujourd'hui ce framework a évolué mais il est toujours aussi simpliste/minimaliste. Il est donc à mon avis déconseillé pour les développements conséquents qui seront plus rapidement réalisés via des frameworks permettant d'avoir des raccourcis à tous les niveaux. En revanche, pour comprendre comment fonctionne un framework web dans ses moi ndres rouages, il y a difficilement mieux (lire auparavant l'excellent article de Joe Gregorio peu aider).
Django : le tout en un fonctionnel
Je ne sais pas s'il est nécessaire de vous rappeler l'idéologie sous-jacente car j'en ai déjà parlé ici mais en gros il s'agit d'avoir un ensemble de composants cohérents entre eux, autant dans leur fonctionnalités que dans leur documentation. Tout a donc été écrit from scratch (argument supplémentaire, au début des développements les bibliothÚques actuelles n'existaient pas) pour arriver à la récente version 0.96 actuelle.
Le gros avantage de Django c'est sa communauté importante (ici l'annonce de Guido y est aussi pour quelque chose à mon avis) et sa documentation (c'est quasiment un des buts initial donc ça semble normal).
Les inconvénients soulevés ne sont pas forcément tous valables à mon avis mais pour ceux qui sont indiscutables, concernent l'impossibilité réelle d'utiliser d'autres briques Python que celles définies par défaut. L'exemple donné est celui de SQLAlchemy et les arguments donnés sont bons : la branche ouverte pour gérer ce cas végÚte (comme beaucoup d'autres d'ailleurs).
Les vues génériques et l'administration auto-générée finissent toujours par décevoir, ce qui est logique étant donné la maniÚre dont c'est mis en avant dans la documentation (heureusement que la situation est clarifiée dans le livre).
Il manque un dépÎt centralisé d'applications. Django snippets est un excellent début en ce sens mais il faudrait pouvoir déposer des applications complÚtes aussi. Pour l'instant ces ressources sont éparpillées un peu partout... edit du len demain : c'est en cours de réflexion.
Le manque de réactivité de la part de l'équipe de développement est soulevé et je suis assez d'accord sur ce point (plusieurs de mes mails sont restés lettres mortes sur la liste de diffusion). La situation est en cours d'évolution avec l'élargissement de l'équipe et c'est une bonne chose.
En conclusion, Django est tout de mĂȘme un excellent framework qui a le mĂ©rite d'ĂȘtre fonctionnel maintenant et dont les rĂ©centes amĂ©liorations (newforms) sont prometteuses. Je ne m'Ă©tends pas plus sur django mais de nombreux points sont Ă©voquĂ©s, preuve que l'auteur sait trĂšs bien de quoi il parle, autant pour les avantages que pour les inconvĂ©nients.
Pylons : le framework Ă la carte
La philosophie de Pylons est à l'o pposé de celle de Django, il s'agit de laisser le choix à l'utilisateur à chacun des niveaux pour l'utilisation de la bibliothÚque existante qui lui convient. Par défaut, le framework ressemble beaucoup à Ruby on Rails et si vous souhaitez essayer Python en connaissant RoR, c'est le framework qu'il vous faut.
Le gros avantage de Pylons réside donc dans sa capacité d'adaptation, un peu à la sauce UNIX : laisser le choix à l'utilisateur en proposant des utilitaires simples que l'on peut enchaßner via des pipes. Par ailleurs, il est à noter que le principal développeur est apparemment accessible ce qui est toujours intéressant.
Le problĂšme de pouvoir utiliser autant de briques est le manque de consistance de la documentation. Et mĂȘme le meilleur des frameworks est inutilisable si l'on ne sait pas s'en servir (bon ok, j'exagĂšre un peu ;-)).
Les composants fournis par défaut sont en train de ch anger pour fournir une meilleure base de développement. En particulier Toscawidgets, développé par l'équipe de TurboGears, mais aussi Mako pour les templates.
Quoi qu'il en soit, Pylons est conceptuellement vraiment intéressant et sera probablement à moyen terme une solution des plus alléchantes, surtout si la réutilisation d'applications venant d'autres frameworks devient possible. Aller vers une inter-opérabilité en ce sens serait une petite révolution.
TurboGears : un framework pour les unir tous et...
La philosophie de ce framework est de prendre les meilleurs composants Python existants et de mettre la glu permettant de les lier pour arriver au framework optimal. L'idée est trÚs bonne mais je ne suivais plus depuis quelques temps le développement de ce framework (on peut difficilement tout suivre, heureusement qu'il y a de tels articles récapitulatifs !). J'ai été vraiment trÚs surpris d'apprendre la tournure prise par son développement.
Le concept est trĂšs bon mais et c'est lĂ oĂč TurboGears a Ă©chouĂ©, il ne faut pas se tromper lorsque l'on choisit les composants initiaux, au risque de devoir tout recommencer. Et c'est ce qui arrive apparemment Ă ce framework, ce qui me cause un peu de soucis pour le projet actuel de Guillaume par exemple...
D'aprĂšs ce que j'ai pu comprendre, la version actuelle (1.0) est gelĂ©e en attendant le dĂ©veloppement de la v2 qui devrait voir quasiment l'ensemble des composants changĂ©s (soit de version, soit d'orientation). C'est un choix qui est difficile Ă prendre et qui annonce un long hiver pour TurboGears, ce qui se reflĂšte dans le dĂ©sintĂ©ressement de la part de sa communautĂ© apparemment. Je rejoins l'avis de l'auteur dans l'idĂ©e d'un rapprochement avec Pylo Ąns qui laisserait le choix de changer aisĂ©ment Ă l'utilisateur et qui se baserait sur certaines des bibliothĂšques dĂ©veloppĂ©es spĂ©cifiquement pour TurboGears comme Toscawidgets.
En tout cas j'en reviens pas d'un tel revirement de situation, j'espĂšre que le projet pourra tout de mĂȘme se relever car c'Ă©tait vraiment bien parti et ça avait dopĂ©, entre autres, le buzz autour des frameworks web Python au dĂ©but de l'annĂ©e derniĂšre. Il Ă©tait alors aussi populaire que Django !
Conclusion
Django et Pylons sont deux solutions ayant fait des choix différents dans l'implémentation de leur framework mais qui sont toutes deux actuellement fonctionnelles. Le choix entre les deux se fera à mon avis en fonction de votre expérience et de votre propre avis sur leur philosophie.
Comme je le disais prĂ©cĂ©demment, le dĂ©veloppeur est aujour ąd'hui confrontĂ© au difficile dilemme d'utiliser un framework adaptĂ© Ă ses besoins sans pouvoir connaĂźtre tous les frameworks existant en dĂ©tail car ils sont trop nombreux et Ă©voluent trop rapidement. Ne serait-ce que pour ĂȘtre compĂ©tent sur Django, Pylons et Ruby on Rails par exemple, c'est mission quasi-impossible... et je ne parle mĂȘme pas des frameworks PHP !
Quelle solution alors ?
Il ne reste plus que les drogues dures je croisApprenez ce qui vous plaĂźt. Vous travaillez pour un client, ok. Mais vous travaillez dans le dĂ©veloppement web aussi pour le « fun » que ça procure de coder, n'oubliez jamais ça. Prenez du plaisir dans votre travail et arrĂȘtez de vous prendre la tĂȘte sur le choix du framework, si vous travaillez deux fois plus rapidement car ce que vous faites vous plaĂźt, le client sera toujours content. Et vous aussi :-).[Biologeek] DĂ©veloppement web python et frameworks, tour d'horizon dĂ©but 2007DĂ©veloppement web python et frameworks, tour d'horizon dĂ©but 2007 €avec-django/2008-08-31 17:41:09.6897842007-03-23 21:55:48.000000
Développement web python et frameworks, tour d'horizon début 2007
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 30 Mars 2007. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Pour le boulot, je devais réaliser un prototype implémentant des processus simples, c'est-à -dire représentés par une suite d'étapes ordonnées. On peut facilement se représenter un tel processus en considérant une ligne de métro avec ses stations sans ramifications.
C'est relativement simple à énoncer mais c'est un peu plus difficile à modéliser, commençons par le modÚle de données appliqué à Django (simplifié) :
class Step(models.Model): title = models.CharField() class Process(models.Model): title = models.CharField() class ProcessWorkflow(models.Model): source = models.ForeignKey(Step) target = models.ForeignKey(Step) process = models.ForeignKey(Process)On dispose donc maintenant d'Ă©tapes et de processus. La classe/table ProcessWorkflow permet de lier les Ă©tapes entre elles au sein d'un processus.
Une fois ce modĂšle crĂ©Ă©, il s'agit de reconstruire „le workflow lorsqu'on en a besoin. Pour cela, un fonction rĂ©cursive permet assez Ă©lĂ©gamment de se sortir d'affaire. C'est peut-ĂȘtre ici qu'il peut y avoir mieux en termes de performance mais dans le cadre de mon prototype c'est suffisant :
def build_linear_workflow(items, steps=None, source=None): """ Recursive function to build a linear workflow, return a step list. """ if steps is None: steps = [] for item in items: if item.source == source: if item.target is None: return steps else: steps.append(item.target) return build_linear_workflow(items, steps, item.target)La fonction est relativement gĂ©nĂ©rique car elle me permet de former des workflows d'Ă©tapes, de processus, de projets, etc. Je pense qu'elle est relativement facile Ă comprendre avec le nom des variables choisies (le problĂšme de performance est au niveau de la boucle sur l'ensemble des items, je pense que je po Šurrais facilement retirer l'item ajoutĂ© Ă steps).
Il ne reste plus qu'à ajouter cette ressource sous la forme d'un propriété au précédent modÚle, la classe Process devient alors :
class Process(models.Model): title = models.CharField() def get_workflow(self): return build_linear_workflow(ProcessWorkflow.objects.filter(process=self.id)) workflow = property(get_workflow)On peut maintenant utiliser directement le workflow dans un template de la façon suivante :
<h3>{{ process.title }}</h3> {% if process.workflow %} <ul> {% for step in process.workflow %} <li>{{ step.title }}</li> {% endfor %} </ul> {% endif %}Simple comme Django :-).
Voici le fruit de mes recherches, merci Ă tous ceux qui ont contribuĂ© au rĂ©sultat final, n'hĂ©sitez pas Ă rĂ©agir si vous avez une solution plus simple/Ă©lĂ©gante. La prochaine Ă©tape, c'est de passer aux workflows plus complexes, po §uvant prĂ©senter des arborescences ascendantes et/ou descendantes. Le casse-tĂȘte ne fait que commencer...
Modélisation d'un workflow linéaire avec Django
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 23 Mars 2007. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Pour le boulot, je devais rĂ©aliser un prototype imp šlĂ©mentant des processus simples, c'est-Ă -dire reprĂ©sentĂ©s par une suite d'Ă©tapes ordonnĂ©es. On peut facilement se reprĂ©senter un tel processus en considĂ©rant une ligne de mĂ©tro avec ses stations sans ramifications.
C'est relativement simple à énoncer mais c'est un peu plus difficile à modéliser, commençons par le modÚle de données appliqué à Django (simplifié) :
class Step(models.Model): title = models.CharField() class Process(models.Model): title = models.CharField() class ProcessWorkflow(models.Model): source = models.ForeignKey(Step) target = models.ForeignKey(Step) process = models.ForeignKey(Process)On dispose donc maintenant d'Ă©tapes et de processus. La classe/table ProcessWorkflow permet de lier les Ă©tapes entre elles au sein d'un processus.
Une fois ce modĂšle crĂ©Ă©, il s'agit de reconstruire le workflow lorsqu'on en a besoin. Pour cela, un fonction rĂ©cursive permet assez Ă©lĂ©gamment de se sortir d'affaire. ©C'est peut-ĂȘtre ici qu'il peut y avoir mieux en termes de performance mais dans le cadre de mon prototype c'est suffisant :
def build_linear_workflow(items, steps=None, source=None): """ Recursive function to build a linear workflow, return a step list. """ if steps is None: steps = [] for item in items: if item.source == source: if item.target is None: return steps else: steps.append(item.target) return build_linear_workflow(items, steps, item.target)La fonction est relativement générique car elle me permet de former des workflows d'étapes, de processus, de projets, etc. Je pense qu'elle est relativement facile à comprendre avec le nom des variables choisies (le problÚme de performance est au niveau de la boucle sur l'ensemble des items, je pense que je pourrais facilement retirer l'item ajouté à steps).
Il ne reste plus qu'Ă ajouter cette ressource sous la for Șme d'un propriĂ©tĂ© au prĂ©cĂ©dent modĂšle, la classe Process devient alors :
class Process(models.Model): title = models.CharField() def get_workflow(self): return build_linear_workflow(ProcessWorkflow.objects.filter(process=self.id)) workflow = property(get_workflow)On peut maintenant utiliser directement le workflow dans un template de la façon suivante :
<h3>{{ process.title }}</h3> {% if process.workflow %} <ul> {% for step in process.workflow %} <li>{{ step.title }}</li> {% endfor %} </ul> {% endif %}Simple comme Django :-).
Voici le fruit de mes recherches, merci Ă tous ceux qui ont contribuĂ© au rĂ©sultat final, n'hĂ©sitez pas Ă rĂ©agir si vous avez une solution plus simple/Ă©lĂ©gante. La prochaine Ă©tape, c'est de passer aux workflows plus complexes, pouvant prĂ©senter des arborescences ascendantes et/ou descendantes. Le casse-tĂȘte ne fait que commencer...
[Biologeek] ModĂ©lisation d'un workflow linĂ©aire avec DjangoModĂ©lisation d'un workflow linĂ©aire avec Django À YAAœœohttp://www.biologeek.com/django,python,web-frameworks/modelisation-d-un-workflow-lineaire- Ł rammation-en-python">dĂ©jĂ essayĂ© d'autres fonctions mais autant innover un peu.
Modélisation d'un workflow linéaire avec Django
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 23 Mars 2007. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Allons-y donc avec le décorateur suivant :
from test import pystone import time kPs = 1000 TOLERANCE = 0.5 * kPs def mesure_pystone(): pystone.pystones(loops=pystone.LOOPS) pystone.pystones(loops=pystone.LOOPS) return pystone.pystones(loops=pystone.LOOPS) def timedtest(function, local_pystones=mesure_pystone()): """ Decorator to measure execution time in pystones """ def wrapper(*args, **kw): all = [] for i in range(3): start_time = time.time() try: res = function(*args, **kw) finally: total_time = time.time() - start_time if total_time == 0: temps = 0 else: ratio = local_pystones[0] / local_pystones[1] temps = total_time / ratio all.append(temps) print '%d pystones' % min(all) ź return res return wrapperJ'ai testĂ© les fonctions suivantes qui ne sont pas les mĂȘmes que les exemples de Seb mais qui retournent (elles, merci Haypo :-)) le mĂȘme rĂ©sultat :
@timedtest def map_without_list_comprehension(): for i in range(10000): map(abs, [-5,7,-12]) @timedtest def map_with_list_comprehension(): for i in range(10000): [abs(i) for i in [-5,7,-12]] print '=== map vs. list-comprehension ===' print 'map without list-comprehension:' map_without_list_comprehension() print 'map with list-comprehension:' map_with_list_comprehension() @timedtest def filter_without_list_comprehension(): for i in range(10000): filter(abs, [-5,7,0,-12] ) @timedtest def filter_with_list_comprehension(): for i in range(10000): [i for i in [-5,7,0,-12] if i] print '=== filter vs. list-comprehension ===' print 'filter without list-comprehension:' filter_without_list_comprehension() Żprint 'filter with list-comprehension:' filter_with_list_comprehension()Et voila les rĂ©sultats obtenus :
=== map vs. list-comprehension ===
map without list-comprehension:
638 pystones
map with list-comprehension:
534 pystones
=== filter vs. list-comprehension ===
filter without list-comprehension:
612 pystones
filter with list-comprehension:
550 pystonesIl me semble que c'est sans appel : les list-comprehensions sont toujours plus rapides que map ou filter avec Python 2.4. Il faudrait tester tout ça avec Python 2.5 mais je pense que les résultats seraient encore plus significatifs.
Ben °chmarks map, filter vs. list-comprehensions
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 25 Octobre 2006. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Je viens de tomber sur les snyppets de Seb Sauvage (site que j'apprécie beaucoup par ailleurs) et il y a une phrase qui m'a interpellé sur le paragraphe consacré à zip, map, filter et aux list-comprehensions :
Except that {map|filter} is faster. (than list-comprehensions)
Ni une, ni deux, je récupÚre l'article de Tarek qui est trÚs bon et qui comporte une fonction testant la durée d'execution des fonctions pour pouvoir comparer. J'avais déjà essayé d'autres fonctions mais autant innover un peu.
Allons-y donc avec le décorateur suivant :
from test import pystone import time kPs = 1000 TOLERANCE = 0.5 * kPs def mesure_pystone(): pystone.pystones(loops=pystone.LOOPS) pystone.pystones(loops=pystone.LOOPS) return pystone.pystones(loops=pystone.LOOPS) def timedtest(function, local_pystones=mesure_pystone()): """ Decorator to measure execution time in pystones """ def wrapper(*args, **kw): all = [] for i in range(3): start_time = time.time() try: res = function(*args, **k Čw) finally: total_time = time.time() - start_time if total_time == 0: temps = 0 else: ratio = local_pystones[0] / local_pystones[1] temps = total_time / ratio all.append(temps) print '%d pystones' % min(all) return res return wrapperJ'ai testĂ© les fonctions suivantes qui ne sont pas les mĂȘmes que les exemples de Seb mais qui retournent (elles, merci Haypo :-)) le mĂȘme rĂ©sultat :
@timedtest def map_without_list_comprehension(): for i in range(10000): map(abs, [-5,7,-12]) @timedtest def map_with_list_comprehension(): for i in range(10000): [abs(i) for i in [-5,7,-12]] print '=== map vs. list-comprehension ===' print 'map without list-comprehension:' map_without_list_comprehension() print 'map with list-comprehension:' map_with_list_comprehension() @time łdtest def filter_without_list_comprehension(): for i in range(10000): filter(abs, [-5,7,0,-12] ) @timedtest def filter_with_list_comprehension(): for i in range(10000): [i for i in [-5,7,0,-12] if i] print '=== filter vs. list-comprehension ===' print 'filter without list-comprehension:' filter_without_list_comprehension() print 'filter with list-comprehension:' filter_with_list_comprehension()Et voila les rĂ©sultats obtenus :
=== map vs. list-comprehension ===
map without list-comprehension:
638 pystones
map with list-comprehension:
534 pystones
=== filter vs. list-comprehension ===
filter without list-comprehension:
612 pystones
filter with list-comprehension:
550 pystonesIl me semble que c'est sans appel : les list-comprehensions sont toujours plus rapides que map ou filter avec Python 2.4. Il faudrait tester tout ça avec Python 2.5 mai s je pense que les résultats seraient encore plus significatifs.
[Biologeek] Benchmarks map, filter vs. list-comprehensionsBenchmarks map, filter vs. list-comprehensions 3 3 Ç%! IAAĆ+Ć+ihttp://www.biologeek.com/bonnes-pratiques,python/benchmarks-map-filter-vs-list-comprehensions/2008-08-31 17:41:09.7312542006-10-25 17:00:06.000000
Benchmarks map, filter vs. list-comprehensions
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 25 Octobre 2006. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Je viens de tomber sur les snyppets de Seb Sauvage (site que j'apprécie beaucoup par ailleurs) et il y a une phrase qui m'a interpellé sur le paragraphe consacré à zip, map, filter et aux list-comprehensions :
Except that {map|filter} is faster. (than list-comprehensions)
Ni une, ni deux, je rĂ©cupĂšre l'article de Tarek qui est trĂšs bon et qui comporte une fonction testant la durĂ©e d'execution des fonctions pour pouvoir comparer. J'avais premier opus, au passage merci NiKo, j'ai dĂ©cidĂ© de faire des analyses plus poussĂ©es. Ăa m'a donnĂ© l'occasion de faire une vraie classe Python et d'obtenir de beaux graphes grĂące Ă matplotlib.
La classe Python
Elle est vraiment basique mais ça ne l'empĂȘche pas d'ĂȘtre bien documentĂ©e donc elle devrait ĂȘtre facile Ă prendre en main. Voici le lien pour la tĂ©lĂ©charger.
Attention, la classe charge toutes les donnĂ©es en mĂ©moire (contrairement aux scripts prĂ©cĂ©dents) donc il vaut mieux avoir pas mal de mĂ©moire vive si vous voulez faire vos tests sur l'ensemble des donnĂ©es. Je n'ai actuellement que mon portabl ·e pour travailler donc je n'ai considĂ©rĂ© pour la suite que les 2 000 000 premiĂšres lignes de requĂȘtes.
Satisfaction en fonction du nombre de mots-clés
Script
Il faut bien justifier la catĂ©gorie du billet quand mĂȘme ;-).
from pylab import * Analysis = AOLDataAnalysis() Analysis.load_data('user-ct-test-collection-01-head2000000.txt') satisfaction = [] for i in range(1,11): followed, notfollowed, followed_rank = Analysis.get_satisfaction(keywords_number=i) satisfaction.append(round(followed/float(notfollowed)*100., 2)) plot(range(1,11), satisfaction, 'k', range(1,11), satisfaction, 'bo') ylabel('Indice de satisfaction') xlabel('Nombre de mots-cles') title('Courbe de satisfaction des utilisateurs en fonction du nombre de mots-cles') show()J'utilise matplotlib qui est packagĂ© sous Ubuntu et probablement pour de nombreuses distribution car cette bibliothĂšque permet de s'amuser avec le rĂ©sultat une fois qu'il est gĂ©nĂ©rĂ©, je vous laisse t žester.
RĂ©sultat
Interprétation
Je pense que la courbe illustre assez bien le rĂ©sultat ! L'optimum de satisfaction est obtenu pour 4 mots-clĂ©s par recherche. En revanche la courbe diminue ensuite ce qui pourrait paraĂźtre Ă©tonnant mais cela doit correspondre aux personnes mettant des questions complĂštes dans les requĂȘtes (?). Personnellement en effet je dois rarement dĂ©passer les 5 mots-clĂ©s pour mes recherches. Lorsqu'on en arrive Ă mettre de trop nombreux mots-clĂ©s c'est qu'on effectue des recherches sur un sujet bien prĂ©cis qui n'est pas forcĂ©ment bien documentĂ©, d'oĂč la baisse de satisfaction.
Différents types d'utilisateurs
J'avais commencĂ© Ă faire des courbes mais je ne suis pas le seul Ă m'intĂ©resser Ă ces do čnnĂ©es donc les principaux profils ont Ă©tĂ© Ă©tablis avec humour. Si ça vous intĂ©resse, la classe permet de traiter les exclusions de mots (il y a un exemple dans la doc).
Les sites les plus visités en fonction du nombre de mots-clés
Le script
from pylab import * Analysis = AOLDataAnalysis() Analysis.load_data('user-ct-test-collection-01-head2000000.txt') for i in range(4): if i == 0: real_i, i = i, '*' else: real_i = i items, total = Analysis.get_popular_links(rank_filter=i) color_per_site = { 'http://www.google.com' : 'b', 'http://en.wikipedia.org' : 'g', 'http://www.ebay.com' : 'r', 'http://www.myspace.com' : 'c', 'http://www.amazon.com' : 'm', 'http://www.imdb.com' : 'y', 'http://www.yahoo.com' : 'k' } numbers, legends, colors = [], [], [] for item in items[1:11]: numbers.append(item[1]) legends.append(item[0]) try: colors.app șend(color_per_site[item[0]]) except KeyError: colors.append('w') subplot(str(41)+str(real_i+1)) bar(range(1,11), numbers, color=colors) ylabel('Pour '+str(i)+' mots-cles') legend(legends) show()RĂ©sultat
Interprétation
C'est vraiment surprenant, je me demande ce que ça donnerait avec l'ensemble des donnĂ©es (d'ailleurs si une Ăąme charitable avec 2Go de ram se manifestait :-)). On constate pour l'ensemble des requĂȘtes que Google arrive vraiment en tĂȘte. En mĂȘme temps c'est le moteur employĂ© donc il faudrait voir ce qu'ils comptabilisent comme Ă©tant des sorties vers Google. Viennent ensuite myspace, yahoo et wikipedia ce qui me semble logique. Pas de vĂ©ritable surprise dans ce top 10 si ce n'est la prĂ©sence de yahoo mail ?! Est-ce la messagerie par dĂ©faut des aoliens&nb »sp;?
Si l'on passe maintenant Ă la recherche avec un seul mot-clĂ©. Alors si j'ai bien compris, certains utiliseraient le champ de recherche comme un champ d'url. Soit. Donc en fait les sites sortant avec un seul mot-clĂ© sont la plupart du temps des sites ayant Ă©tĂ© insĂ©rĂ©s avec une URL complĂšte. Ătrangement on ne retrouve plus Google, l'hypothĂšse prĂ©cĂ©dente est donc en partie vĂ©rifiĂ©e. Mapquest qui Ă©tait dĂ©jĂ trĂšs populaire se retrouve dans le top 5.
Lorsque l'on passe Ă deux mots-clĂ©s, lĂ je pense qu'on peut vĂ©ritablement commencer Ă parler de recherche. Et les rĂ©sultats sont en accord avec cette hypothĂšse, les deux premiers sites Ă©tant Amazon et Wikipedia. Vient ensuite Yahoo search et lĂ je sais pas trop quoi penser, un moteur de recherche sort rarement des recherches sur d'autres moteurs. Enfin en tout cas pas entre les 3 grands. Ătrange...
Le passage Ă 3 mots-clĂ©s confirme la domination d'Amazon, on retrouve ensuite Yahoo mail (encore plus fou ! Œ) puis IMDb ce qui est plus logique. Les recherches avancĂ©es Ă©tant faites pour les livres, la musique et les films. On note l'absence de WikipĂ©dia lors du passage Ă 3 mots-clĂ©s, l'encyclopĂ©die Ă©tant surtout utilisĂ©e pour un seul mot (normalement).
En conclusion, on peut noter le bon rĂ©fĂ©rencement d'Amazon qui arrive Ă attirer le plus grand nombre de « vrais » chercheurs et la popularitĂ© de certains sites que je ne connaissais pas pour ma part. Pas dans les deux premiers graphes mais aprĂšs oui (d'ailleurs je me demande si c'est pas dĂ» au nombre limitĂ© de requĂȘtes que j'ai Ă©tudiĂ©).
Et voila, le traitement de donnĂ©es c'est intĂ©ressant... Ă condition d'avoir un sujet intĂ©ressant Ă traiter avec. L'Ă©tude de cas des utilisateurs d'AOL n'est pas vraiment passionnante mais peut ĂȘtre significative selon la cible Ă laquelle vous vous adressez. J'espĂšre ne jamais avoir Ă me prĂ©occuper plus en avant de celle-ci ;-) œ.
Analyse des données utilisateur d'AOL : suite et fin
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 14 Août 2006. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Devant le franc succĂšs remportĂ© par le premier opus, au passage merci NiKo, j'ai dĂ©cidĂ© de faire des analyses plus poussĂ©es. Ăa m'a donnĂ© l'occasion de faire une vraie classe Python et d'obtenir de beaux graphes grĂące Ă matplotlib.
La classe Python
Elle est vraiment basique mais ça ne l'empĂȘche pas d'ĂȘtre bien documentĂ©e donc elle devrait ĂȘtre facile Ă prendre en main. Voici le lien pour la tĂ©lĂ©charger.
Attention, la classe charge toutes les donnĂ©es en mĂ©moire (contrairement aux scripts prĂ©cĂ©dents) donc il vaut mieux avoir pas mal de mĂ©moire vive si vous voulez faire vos tests sur l'ensembl że des donnĂ©es. Je n'ai actuellement que mon portable pour travailler donc je n'ai considĂ©rĂ© pour la suite que les 2 000 000 premiĂšres lignes de requĂȘtes.
Satisfaction en fonction du nombre de mots-clés
Script
Il faut bien justifier la catĂ©gorie du billet quand mĂȘme ;-).
from pylab import * Analysis = AOLDataAnalysis() Analysis.load_data('user-ct-test-collection-01-head2000000.txt') satisfaction = [] for i in range(1,11): followed, notfollowed, followed_rank = Analysis.get_satisfaction(keywords_number=i) satisfaction.append(round(followed/float(notfollowed)*100., 2)) plot(range(1,11), satisfaction, 'k', range(1,11), satisfaction, 'bo') ylabel('Indice de satisfaction') xlabel('Nombre de mots-cles') title('Courbe de satisfaction des utilisateurs en fonction du nombre de mots-cles') show()J'utilise matplotlib qui est packagĂ© sous Ubuntu et probablement pour de nombreuses distribution car cette bibliothĂšque permet de s'amuser avec le rĂ©s Àultat une fois qu'il est gĂ©nĂ©rĂ©, je vous laisse tester.
RĂ©sultat
Interprétation
Je pense que la courbe illustre assez bien le rĂ©sultat ! L'optimum de satisfaction est obtenu pour 4 mots-clĂ©s par recherche. En revanche la courbe diminue ensuite ce qui pourrait paraĂźtre Ă©tonnant mais cela doit correspondre aux personnes mettant des questions complĂštes dans les requĂȘtes (?). Personnellement en effet je dois rarement dĂ©passer les 5 mots-clĂ©s pour mes recherches. Lorsqu'on en arrive Ă mettre de trop nombreux mots-clĂ©s c'est qu'on effectue des recherches sur un sujet bien prĂ©cis qui n'est pas forcĂ©ment bien documentĂ©, d'oĂč la baisse de satisfaction.
Différents types d'utilisateurs
J'avais commencé à faire des courbes mais je ne suis pas le seul à m'intéresser à ces données donc les principaux profils ont été établis avec humour. Si ça vous intéresse, la classe permet de traiter les exclusions de mots (il y a un exemple dans la doc).
Les sites les plus visités en fonction du nombre de mots-clés
Le script
from pylab import * Analysis = AOLDataAnalysis() Analysis.load_data('user-ct-test-collection-01-head2000000.txt') for i in range(4): if i == 0: real_i, i = i, '*' else: real_i = i items, total = Analysis.get_popular_links(rank_filter=i) color_per_site = { 'http://www.google.com' : 'b', 'http://en.wikipedia.org' : 'g', 'http://www.ebay.com' : 'r', 'http://www.myspace.com' : 'c', 'http://www.amazon.com' : 'm', 'http://www.imdb.com' : 'y', 'http://www.yahoo.com' : 'k' } numbers, legends, colors = [], [], [] for item in items[1:11]: numbers.append(item[1]) legends Â.append(item[0]) try: colors.append(color_per_site[item[0]]) except KeyError: colors.append('w') subplot(str(41)+str(real_i+1)) bar(range(1,11), numbers, color=colors) ylabel('Pour '+str(i)+' mots-cles') legend(legends) show()RĂ©sultat
Interprétation
C'est vraiment surprenant, je me demande ce que ça donnerait avec l'ensemble des donnĂ©es (d'ailleurs si une Ăąme charitable avec 2Go de ram se manifestait :-)). On constate pour l'ensemble des requĂȘtes que Google arrive vraiment en tĂȘte. En mĂȘme temps c'est le moteur employĂ© donc il faudrait voir ce qu'ils comptabilisent comme Ă©tant des sorties vers Google. Viennent ensuite myspace, yahoo et wikipedia ce qui me semble logique. Pas de vĂ©ritable surprise dans ce top 10 si ce n'est la prĂ©sence de yahoo mai Ăl ?! Est-ce la messagerie par dĂ©faut des aoliens ?
Si l'on passe maintenant Ă la recherche avec un seul mot-clĂ©. Alors si j'ai bien compris, certains utiliseraient le champ de recherche comme un champ d'url. Soit. Donc en fait les sites sortant avec un seul mot-clĂ© sont la plupart du temps des sites ayant Ă©tĂ© insĂ©rĂ©s avec une URL complĂšte. Ătrangement on ne retrouve plus Google, l'hypothĂšse prĂ©cĂ©dente est donc en partie vĂ©rifiĂ©e. Mapquest qui Ă©tait dĂ©jĂ trĂšs populaire se retrouve dans le top 5.
Lorsque l'on passe Ă deux mots-clĂ©s, lĂ je pense qu'on peut vĂ©ritablement commencer Ă parler de recherche. Et les rĂ©sultats sont en accord avec cette hypothĂšse, les deux premiers sites Ă©tant Amazon et Wikipedia. Vient ensuite Yahoo search et lĂ je sais pas trop quoi penser, un moteur de recherche sort rarement des recherches sur d'autres moteurs. Enfin en tout cas pas entre les 3 grands. Ătrange...
Le passage Ă 3 mots-clĂ©s confirme la domination d'Amazo Än, on retrouve ensuite Yahoo mail (encore plus fou !) puis IMDb ce qui est plus logique. Les recherches avancĂ©es Ă©tant faites pour les livres, la musique et les films. On note l'absence de WikipĂ©dia lors du passage Ă 3 mots-clĂ©s, l'encyclopĂ©die Ă©tant surtout utilisĂ©e pour un seul mot (normalement).
En conclusion, on peut noter le bon rĂ©fĂ©rencement d'Amazon qui arrive Ă attirer le plus grand nombre de « vrais » chercheurs et la popularitĂ© de certains sites que je ne connaissais pas pour ma part. Pas dans les deux premiers graphes mais aprĂšs oui (d'ailleurs je me demande si c'est pas dĂ» au nombre limitĂ© de requĂȘtes que j'ai Ă©tudiĂ©).
Et voila, le traitement de donnĂ©es c'est intĂ©ressant... Ă condition d'avoir un sujet intĂ©ressant Ă traiter avec. L'Ă©tude de cas des utilisateurs d'AOL n'est pas vraiment passionnante mais peut ĂȘtre significative selon la cible Ă laquelle vous vous adressez. J'espĂšre ne jamais a voir Ă me prĂ©occuper plus en avant de celle-ci ;-).
[Biologeek] Analyse des donnĂ©es utilisateur d'AOL : suite et finAnalyse des donnĂ©es utilisateur d'AOL : suite et fin Ò@$ 9AAĐ_Đ_qYhttp://www.biologeek.com/critique,livre,python/critique-du-livre-programmation-python/2008-08-31 17:41:09.8589672006-03-19 12:26:26.000000
Analyse des données utilisateur d'AOL : suite et fin
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 14 Août 2006. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
C'est LE livre que j'attendais, un peu comme beaucoup de personnes qui connaissent les bases du langage et qui souhaitent aller plus loin mais qui n'arrivent pas forcĂ©ment Ă trouver l'information sur inter Ę·M# WAA”!”!)http://www.biologeek.com/python,web/les-100-premiers-mots-cles-recherches-par-les-utili Æ8" ;AA55whttp://www.biologeek.com/python,web/analyse-des-donnees-utilisateur-d-aol-suite-et-fin/2008-08-31 17:41:09.7742602006-08-14 21:42:22.000000
Devant le franc suc ” Çsateurs-d-aol/2008-08-31 17:41:09.8171772006-08-09 06:49:35.000000
Vous n'ĂȘtes pas sans savoir que des donnĂ©es reatives aux utilisateurs d'AOL ont Ă©tĂ© mises en ligne derniĂšrement (version anglaise, je pense que les serveurs sont plus rĂ©guliĂšrement mis Ă jour si vous voulez rĂ©cupĂ©rer les donnĂ©es). Voici le script et les 100 premiers mots-clĂ©s de recherche rĂ©alisĂ©es par ces utilisateurs. Attention les donnĂ©es n'ont pas Ă©tĂ© filtrĂ©es donc ce post peut contenir des mots heurtant la sensibilitĂ© des plus jeunes lecteurs.
Les 100 premiers mots-clés
Un site est déjà en ligne pour fouiller dans toutes ces données mais je voulais connaßtre les meilleurs mots-clés.
Script Python
freq = {} for i in range(1, 11): if i in range(1, 10): i = '0'+str(i) for line in open('user-ct-test-collection-'+str(i)+'.txt'): for word in line.split('\t')[1].split(): if len(word) >= 3: try: freq[word] += 1 except KeyError: freq[word] = 1 total = float(sum(freq.values())) items = freq.items() items.sort(lambda a, b: -cmp(a[1], b[1])) for word, count in items[:100]: print count, word, round(count/total*100., 2)RĂ©sultats
Les résultats sont dans l'ordre décroissant, chaque ligne correspond à position. occurences, mot-clé, taux d'apparition
- 837298 the 1.03
- 698426 for 0.86
- 692358 and 0.85
- 449102 free 0.55
- 363020 google 0.45
- 270158 new 0.33
- 251125 http 0.31
- 236473 pictures 0.29
- 231574 county 0.28
- 217750 yahoo 0.27
- 208600 how 0.26
- 188800 Élyrics 0.23
- 182564 school 0.22
- 176714 myspace 0.22
- 166225 sex 0.2
- 160174 ebay 0.2
- 159871 florida 0.2
- 155790 com 0.19
- 145346 sale 0.18
- 144472 with 0.18
- 144242 city 0.18
- 140896 home 0.17
- 138907 american 0.17
- 136993 state 0.17
- 127214 www 0.16
- 121237 .com 0.15
- 120478 what 0.15
- 119897 games 0.15
- 118366 texas 0.15
- 117860 music 0.14
- 115674 york 0.14
- 110711 yahoo.com 0.14
- 109857 bank 0.13
- 108839 black 0.13
- 108607 beach 0.13
- 108228 nude 0.13
- 104911 high 0.13
- 102669 online 0.13
- 102016 aol 0.13
- 101424 news 0.12
- 101226 map 0.12
- 101138 pics 0.12
- 98942 girls 0.12
- 96254 college 0.12
- 96063 you 0.12
- 92866 2006 0.11
- 92701 car 0.11
- 91862 real 0.11
- 89954 mapquest 0.11
- 89768 from 0.11 Ê
- 88975 university 0.11
- 87936 jobs 0.11
- 87283 center 0.11
- 86572 google.com 0.11
- 86083 myspace.com 0.11
- 85265 homes 0.1
- 85156 porn 0.1
- 84175 ohio 0.1
- 82530 california 0.1
- 80015 women 0.1
- 79429 white 0.1
- 78212 photos 0.1
- 77077 san 0.09
- 74934 estate 0.09
- 74360 club 0.09
- 74161 day 0.09
- 73791 art 0.09
- 72760 park 0.09
- 72728 house 0.09
- 72437 world 0.09
- 71346 baby 0.09
- 70068 big 0.09
- 69716 parts 0.09
- 69413 hotel 0.09
- 68313 weather 0.08
- 67802 furniture 0.08
- 67756 airlines 0.08
- 65458 blue 0.08
- 65332 credit 0.08
- 64648 movie 0.08
- 64619 south 0.08
- 64333 lottery 0.08
- 64138 internet 0.08
- 64137 island 0.08
- 64003 john 0.08
- 63017 your 0.08
- 62882 video 0.08
- 62866 north 0.08
- 62574 hot 0. Ë08
- 62137 air 0.08
- 62059 wedding 0.08
- 61841 lake 0.08
- 61674 best 0.08
- 61363 used 0.08
- 61103 dog 0.08
- 60942 hotels 0.07
- 60749 america 0.07
- 60702 love 0.07
- 59443 department 0.07
- 59153 pages 0.07
Interprétation
Des commentaires sur ces rĂ©sultats ce soir, faut que j'aille bosser lĂ ;-).La pause dĂ©jeuner devrait suffire.On remarque dĂ©jĂ que les 3 premiers (the, for et and) sont Ă exclure... ou pas. Le and est probablement utilisĂ© en tant qu'opĂ©rateur logique mais le the par exemple est un bon indicateur de l'utilisation des articles dans les moteurs de recherche. Il faut donc peut-ĂȘtre se tourner vers une rĂ©fĂ©rencement avec article et non plus par suite de mots-clĂ©s (d'oĂč la pertinence d'avoir un contexte).
Ensuite le champ lexical de la pornographie est trĂšs ÌprĂ©sent mais beaucoup moins que ce que je pensais. HĂŽnnetement, je m'attendais Ă sex dans le top 5. C'est presque rassurant (bon je me suis pas risquĂ© Ă faire le total pour rester optimiste).
Ce qui est étonnant aussi c'est l'absence du mot mp3 des recherches. Je ne sais pas si c'est par peur de la RIAA, qui sait ? Les personnes utilisant le moteur de recherche d'AOL sont sûrement trÚs respectueuses des lois (ou alors ont compris qu'il existait d'autres outils pour ça).
Les recherches sont un bon indicateur des tendances avec myspace qui a le vent en poupe, par contre il n'y a aucune star qui arrive Ă entrer dans le top 100 (bon Ă part John...). On remarque aussi qu'il y a beaucoup de recherches effectuĂ©es en utilisant en mot-clĂ© le nom d'un autre moteur de recherche (j'avoue ne pas trop comprendre). De mĂȘme, les mots-clĂ©s http,
www ou com montrent l'ignorance de leur signification par les chercheurs. Je trouve que l'on retrouve aussi beaucoup de localitĂ©s prĂ©sentes dans ces recherches, il faudrait pouvoir comparer Ă des donnĂ©es datant de quelques annĂ©es mais c'est peut-ĂȘtre un nouvel aspect du web (ce qui m'Ă©tonne Ă moitiĂ© sinon personne n'aurait lancĂ© la cartographie en ligne).
Quels liens sont suivis ?
On dit souvent que les 3 premiers liens d'un moteur de recherche sont les seuls suivis. Je voulais vérifier si cela était vrai pour ces données, c'est pas tous les jours qu'on a cette d'aubaine !
Script python :
nofollowed, followed, first_rank, second_rank, third_rank = 0, 0, 0, 0, 0 for i in range(1, 11): if i in range(1, 10): i = '0'+str(i) for line in open('user-ct-test-collection-'+str(i)+'.txt'): #for line in open('user-ct-test-collection-01.txt'): rank = line.split('\t')[3] if rank: Î followed += 1 if rank == '1': first_rank += 1 elif rank == '2': second_rank += 1 elif rank == '3': third_rank += 1 else: nofollowed += 1 total = float(nofollowed + followed) print 'Total', total, round(total/total*100., 2), '%' print 'Non suivi', nofollowed, round(nofollowed/total*100., 2), '%' print 'Suivi', followed, round(followed/total*100., 2), '%' print 'Premier suivi', first_rank, round(first_rank/total*100., 2), '% soit', round(first_rank/float(followed)*100., 2), '% des liens suivis' print 'Deuxieme suivi', second_rank, round(second_rank/total*100., 2), '% soit', round(second_rank/float(followed)*100., 2), '% des liens suivis' print 'Troisieme suivi', third_rank, round(third_rank/total*100., 2), '% soit', round(third_rank/float(followed)*100., 2), '% des liens suivis'RĂ©sultats
Chaque ligne correspond Ă : Type, nombre, taux par rapport au total
- Total 36389577.0 100.0 %
- Non suivi 16946938 46.57 %
- Suivi 19442639 53.43 %
- Premier suivi 8220278 22.59 % soit 42.28 % des liens suivis
- Deuxieme suivi 2316738 6.37 % soit 11.92 % des liens suivis
- Troisieme suivi 1640751 4.51 % soit 8.44 % des liens suivis
Interprétation
Sur 36 millions de recherches, seules 54% sont considérées comme étant pertinentes par l'utilisateur. C'est énormément peu (
il serait trĂšs intĂ©ressant d'avoir les donnĂ©es de Google pour comparerla recherche est faite par Google, encore plus Ă©tonnant !). Et ensuite sur ces 54%, il vaut en effet mieux ĂȘtre placĂ© en tĂȘte de peloton mais moins que ce que je pensais, il reste tout de mĂȘme 40% des liens suivis qui le sont par les rĂ©sultats infĂ©rieurs. Quoiqu'il en soit, la lutte pour la premiĂšre place est justifiĂ©e !Conclusion gĂ©nĂ©rale
Les donnĂ©es sont celles des utilisateurs du moteur de recherch Đe d'AOL et je ne pense pas que les recherches effectuĂ©es sur Google par exemple soient de mĂȘme nature,
surtout en ce qui concerne les recherches fructueuses. Ces rĂ©sultats sont bruts et il serait trĂšs intĂ©ressant de les affiner davantage en fonction d'un secteur d'activitĂ© donnĂ©. Est-ce que tel type d'utilisateur utilise plusieurs mots-clĂ©s ? Et suit-il le premier lien ? etc.Si vous ne donnez pas dans le p0rn, il peut-ĂȘtre intĂ©ressant de rĂ©fĂ©rencer un site de « new lyrics for free ». On comprend aussi pourquoi un moteur de recherche a toujours l'avantage sur ses concurrents en analysant ses recherches. Par exemple au sujet du nombre important de localitĂ©s recherchĂ©es, il est Ă©vident que Google a fait une Ă©tude poussĂ©e lĂ -dessus avant de s'investir dans GoogleMap et devant le nombre de recherches ils Ă©taient certains de la future popularitĂ© de leur service.
Pour vĂ©ritablement arriver Ă des conclusions solides, il faudrait les donnĂ©es de Ńplusieurs moteurs de recherche rĂ©parties sur plusieurs dates. C'est impossible Ă avoir, il n'y a donc actuellement que les moteurs de recherche qui peuvent se prĂ©cipiter sur ces donnĂ©es pour identifier les diffĂ©rents profils d'utilisateurs ;-).
Conclusion personnelle : je crois que l'aspect scientifique me manque un peu en ce moment... (sans compter le python).
[edit du 15/08] : Suite de l'analyse des données sur ce site.
Les 100 premiers mots-clés recherchés par les utilisateurs d'AOL
a Ă©tĂ© rĂ©digĂ© par David L Òarlet pour
biologeek.com et a été originellement
posté le 09 Août 2006. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Vous n'ĂȘtes pas sans savoir que des donnĂ©es reatives aux utilisateurs d'AOL ont Ă©tĂ© mises en ligne derniĂšrement (version anglaise, je pense que les serveurs sont plus rĂ©guliĂšrement mis Ă jour si vous voulez rĂ©cupĂ©rer les donnĂ©es). Voici le script et les 100 premiers mots-clĂ©s de recherche rĂ©alisĂ©es par ces utilisateurs. Attention le Ós donnĂ©es n'ont pas Ă©tĂ© filtrĂ©es donc ce post peut contenir des mots heurtant la sensibilitĂ© des plus jeunes lecteurs.
Les 100 premiers mots-clés
Un site est déjà en ligne pour fouiller dans toutes ces données mais je voulais connaßtre les meilleurs mots-clés.
Script Python
freq = {} for i in range(1, 11): if i in range(1, 10): i = '0'+str(i) for line in open('user-ct-test-collection-'+str(i)+'.txt'): for word in line.split('\t')[1].split(): if len(word) >= 3: try: freq[word] += 1 except KeyError: freq[word] = 1 total = float(sum(freq.values())) items = freq.items() items.sort(lambda a, b: -cmp(a[1], b[1])) for word, count in items[:100]: print count, word, round(count/total*100., 2)RĂ©sultats
Les rĂ©sultats sont dans l'ordre dĂ©croissant, chaque ligne correspond Ă
position. occurences, mot-clé, taux d'apparition - 837298 the 1.03
- 698426 for 0.86
- 692358 and 0.85
- 449102 free 0.55
- 363020 google 0.45
- 270158 new 0.33
- 251125 http 0.31
- 236473 pictures 0.29
- 231574 county 0.28
- 217750 yahoo 0.27
- 208600 how 0.26
- 188800 lyrics 0.23
- 182564 school 0.22
- 176714 myspace 0.22
- 166225 sex 0.2
- 160174 ebay 0.2
- 159871 florida 0.2
- 155790 com 0.19
- 145346 sale 0.18
- 144472 with 0.18
- 144242 city 0.18
- 140896 home 0.17
- 138907 american 0.17
- 136993 state 0.17
- 127214 www 0.16
- 121237 .com 0.15
- 120478 what 0.15
- 119897 games 0.15
- 118366 texas 0.15
- 117860 music 0.14
- 115674 york 0.14
- 110711 yahoo.com 0.14
- 109857 bank 0.13
- 108839 black 0.13
- 108607 beach 0.13
- 108228 nud Őe 0.13
- 104911 high 0.13
- 102669 online 0.13
- 102016 aol 0.13
- 101424 news 0.12
- 101226 map 0.12
- 101138 pics 0.12
- 98942 girls 0.12
- 96254 college 0.12
- 96063 you 0.12
- 92866 2006 0.11
- 92701 car 0.11
- 91862 real 0.11
- 89954 mapquest 0.11
- 89768 from 0.11
- 88975 university 0.11
- 87936 jobs 0.11
- 87283 center 0.11
- 86572 google.com 0.11
- 86083 myspace.com 0.11
- 85265 homes 0.1
- 85156 porn 0.1
- 84175 ohio 0.1
- 82530 california 0.1
- 80015 women 0.1
- 79429 white 0.1
- 78212 photos 0.1
- 77077 san 0.09
- 74934 estate 0.09
- 74360 club 0.09
- 74161 day 0.09
- 73791 art 0.09
- 72760 park 0.09
- 72728 house 0.09
- 72437 world 0.09
- 71346 baby 0.09
- 70068 big 0.09
- 69716 parts 0.09
- 69413 hotel 0.09
- 68313 weather 0 Ö.08
- 67802 furniture 0.08
- 67756 airlines 0.08
- 65458 blue 0.08
- 65332 credit 0.08
- 64648 movie 0.08
- 64619 south 0.08
- 64333 lottery 0.08
- 64138 internet 0.08
- 64137 island 0.08
- 64003 john 0.08
- 63017 your 0.08
- 62882 video 0.08
- 62866 north 0.08
- 62574 hot 0.08
- 62137 air 0.08
- 62059 wedding 0.08
- 61841 lake 0.08
- 61674 best 0.08
- 61363 used 0.08
- 61103 dog 0.08
- 60942 hotels 0.07
- 60749 america 0.07
- 60702 love 0.07
- 59443 department 0.07
- 59153 pages 0.07
Interprétation
Des commentaires sur ces rĂ©sultats ce soir, faut que j'aille bosser lĂ ;-).La pause dĂ©jeuner devrait suffire.On remarque dĂ©jĂ que les 3 premiers (the, for et and) sont Ă exclure... ou pas. Le and est probablement util ŚisĂ© en tant qu'opĂ©rateur logique mais le the par exemple est un bon indicateur de l'utilisation des articles dans les moteurs de recherche. Il faut donc peut-ĂȘtre se tourner vers une rĂ©fĂ©rencement avec article et non plus par suite de mots-clĂ©s (d'oĂč la pertinence d'avoir un contexte).
Ensuite le champ lexical de la pornographie est trÚs présent mais beaucoup moins que ce que je pensais. HÎnnetement, je m'attendais à sex dans le top 5. C'est presque rassurant (bon je me suis pas risqué à faire le total pour rester optimiste).
Ce qui est étonnant aussi c'est l'absence du mot mp3 des recherches. Je ne sais pas si c'est par peur de la RIAA, qui sait ? Les personnes utilisant le moteur de recherche d'AOL sont sûrement trÚs respectueuses des lois (ou alors ont compris qu'il existait d'autres outils pour ça).
Les recherches sont un bon indicateu Űr des tendances avec myspace qui a le vent en poupe, par contre il n'y a aucune star qui arrive Ă entrer dans le top 100 (bon Ă part John...). On remarque aussi qu'il y a beaucoup de recherches effectuĂ©es en utilisant en mot-clĂ© le nom d'un autre moteur de recherche (j'avoue ne pas trop comprendre). De mĂȘme, les mots-clĂ©s http, www ou com montrent l'ignorance de leur signification par les chercheurs.
Je trouve que l'on retrouve aussi beaucoup de localitĂ©s prĂ©sentes dans ces recherches, il faudrait pouvoir comparer Ă des donnĂ©es datant de quelques annĂ©es mais c'est peut-ĂȘtre un nouvel aspect du web (ce qui m'Ă©tonne Ă moitiĂ© sinon personne n'aurait lancĂ© la cartographie en ligne).
Quels liens sont suivis ?
On dit souvent que les 3 premiers liens d'un moteur de recherche sont les seuls suivis. Je voulais vĂ©rifier si cela Ă©tait vrai pour ces donnĂ©es, c'est pas tous les jours qu'on a cette d Ù'aubaine !
Script python :
nofollowed, followed, first_rank, second_rank, third_rank = 0, 0, 0, 0, 0 for i in range(1, 11): if i in range(1, 10): i = '0'+str(i) for line in open('user-ct-test-collection-'+str(i)+'.txt'): #for line in open('user-ct-test-collection-01.txt'): rank = line.split('\t')[3] if rank: followed += 1 if rank == '1': first_rank += 1 elif rank == '2': second_rank += 1 elif rank == '3': third_rank += 1 else: nofollowed += 1 total = float(nofollowed + followed) print 'Total', total, round(total/total*100., 2), '%' print 'Non suivi', nofollowed, round(nofollowed/total*100., 2), '%' print 'Suivi', followed, round(followed/total*100., 2), '%' print 'Premier suivi', first_rank, round(first_rank/total*100., 2), '% soit', round(first_rank/float(followed)*100., 2), '% des liens suivis' print 'Deuxieme suivi', second_r Úank, round(second_rank/total*100., 2), '% soit', round(second_rank/float(followed)*100., 2), '% des liens suivis' print 'Troisieme suivi', third_rank, round(third_rank/total*100., 2), '% soit', round(third_rank/float(followed)*100., 2), '% des liens suivis'RĂ©sultats
Chaque ligne correspond Ă : Type, nombre, taux par rapport au total
- Total 36389577.0 100.0 %
- Non suivi 16946938 46.57 %
- Suivi 19442639 53.43 %
- Premier suivi 8220278 22.59 % soit 42.28 % des liens suivis
- Deuxieme suivi 2316738 6.37 % soit 11.92 % des liens suivis
- Troisieme suivi 1640751 4.51 % soit 8.44 % des liens suivis
Interprétation
Sur 36 millions de recherches, seules 54% sont considérées comme étant pertinentes par l'utilisateur. C'est énormément peu (
il serait trĂšs intĂ©ressant d'avoir les donnĂ©es de Google pour comparerla recherche est faite par Google, encore plus Ă©tonnant !). Et ensu Ûite sur ces 54%, il vaut en effet mieux ĂȘtre placĂ© en tĂȘte de peloton mais moins que ce que je pensais, il reste tout de mĂȘme 40% des liens suivis qui le sont par les rĂ©sultats infĂ©rieurs. Quoiqu'il en soit, la lutte pour la premiĂšre place est justifiĂ©e !Conclusion gĂ©nĂ©rale
Les donnĂ©es sont celles des utilisateurs du moteur de recherche d'AOL et je ne pense pas que les recherches effectuĂ©es sur Google par exemple soient de mĂȘme nature,
surtout en ce qui concerne les recherches fructueuses. Ces rĂ©sultats sont bruts et il serait trĂšs intĂ©ressant de les affiner davantage en fonction d'un secteur d'activitĂ© donnĂ©. Est-ce que tel type d'utilisateur utilise plusieurs mots-clĂ©s ? Et suit-il le premier lien ? etc.Si vous ne donnez pas dans le p0rn, il peut-ĂȘtre intĂ©ressant de rĂ©fĂ©rencer un site de « new lyrics for free ». On comprend aussi pourquoi un moteur de recherche a toujours l'avantage sur ses concurrents en analysant se Üs recherches. Par exemple au sujet du nombre important de localitĂ©s recherchĂ©es, il est Ă©vident que Google a fait une Ă©tude poussĂ©e lĂ -dessus avant de s'investir dans GoogleMap et devant le nombre de recherches ils Ă©taient certains de la future popularitĂ© de leur service.
Pour véritablement arriver à des conclusions solides, il faudrait les données de plusieurs moteurs de recherche réparties sur plusieurs dates. C'est impossible à avoir, il n'y a donc actuellement que les moteurs de recherche qui peuvent se précipiter sur ces données pour identifier les différents profils d'utilisateurs ;-).
Conclusion personnelle : je crois que l'aspect scientifique me manque un peu en ce moment... (sans compter le python).
[edit du 15/08] : Suite de l'analyse des données sur ce site.
[Biologeek] Les 100 premiers mots-clĂ©s recherchĂ©s par les utilisateurs d'AOLLes 100 premiers mots-clĂ©s recherchĂ©s par les utilisateurs d'AOL Țnet. Je dois avouer que j'avais un peu peur, un peu comme un bon film duquel on en attend trop, et bien je n'ai pas Ă©tĂ© déçu, c'est le moins qu'on puisse dire !
Les 100 premiers mots-clés recherchés par les utilisateurs d'AOL
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 09 Août 2006. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
En ouvrant le livre je me suis dit : « Bon les 100, voire 200 premiĂšres pages je vais les lire en diagonale ça va encore ĂȘtre des rappels sur la syntaxe de Python... ». Heureusement, je me trompais...
La premiĂšre partie, intitulĂ©e « DĂ©couverte de Python », doit ĂȘtre un peu difficile pour un dĂ©butant (bon aprĂšs avoir consultĂ© quelques cours pour apprendre python ça devrait passer quand mĂȘme). Ă mon avis ce livre n'est pas vraiment orientĂ© dĂ©butant, d'ailleurs ce n'est pas l'objectif annoncĂ©. Du coup mĂȘme dans cette partie on peut apprendre des choses comme .pythonstartup, terminĂ©s les alias bidons ;-). Cerise sur le gĂąteau, il est fait mention de bio-informatique ! ß Assez succint mais bon ça fait plaisir...
La deuxiĂšme partie « ĂlĂ©ments du langage » reprend les bases donc si vous avez eu peur avec les exemples de la dĂ©couverte, commencez peut-ĂȘtre plutĂŽt par lĂ . Cette sous-partie « Syntaxe du langage » ne dĂ©passe pas les 40 pages donc bon sur plus de 500 le rapport est bon. Suivent quelques infos utiles sur la structuration du code (j'ai dĂ©couvert notamment la fonction property()). On arrive alors Ă la description des primitives du langage, un poil barbant mais pas inintĂ©ressant, ça m'a permis par exemple de m'intĂ©resser Ă enumerate() que je ne connaissais pas et qui est bien utile !
La troisiĂšme partie est consacrĂ©e à « La bibliothĂšque standard ». Ce qui rend cette partie vivante c'est principalement les exemples utiles qui la composent. Du coup pas besoin de jongler entre un shell et le bouquin, tout est dedans (un peu comme python d'a àilleurs ;-)). Puisqu'on parle des exemples, ils sont plein d'humour et contrastent avec le sĂ©rieux et le professionnalisme de l'ouvrage ce qui est exactement ce que j'attend d'un livre. Cette partie s'achĂšve avec quelques exercices corrigĂ©s pour se faire la main, encore une fois bonne idĂ©e !
On arrive enfin aux « Techniques avancĂ©es ». Autant le dire tout de suite, c'est LA partie que j'attendais. La programmation dirigĂ©e par les tests est expliquĂ©e en dĂ©tails, des tests unitaires aux doctests avec des exemples concrĂȘts d'utilisation (bibliothĂšques de fake, etc...). Les bonnes pratiques et optimisation du code (qui me sont chĂšres) commencent avec des astuces que vous avez pu lire ici et vont beaucoup plus loin ! Mes futurs programmes vont ĂȘtre sur-optimisĂ©s ;-). On finit avec un peu de POO et á des notions de Design Pattern qui m'Ă©tait totalement inconnues (enfin le terme aprĂšs les petits dessins c'est ce que je fais dans le mĂ©tro pour passer le temps).
Bon vous l'avez compris, cet ouvrage m'a
pluenchanté et je le recommande. Il est pas donné mais il vaut son prix. En deux mots : merci Tarek ! Et continue ton Zope Cookbook, c'est excellent et c'est rare d'avoir de la doc de cette qualité en français.Tiens j'ai oublié de parler des points faibles, il faut dire qu'ils ne sont pas nombreux. J'ai trouvé quelques fautes principalement de frappe dans les exemples au début (quoi le livre n'est pas issu de documentation agile ! :p) et il est fait mention d'un exemple sur un CD à un moment... que je n'ai pas trouvé (?!).
Vous pouvez consulter l'e ânsemble de mes critiques de livres.
Critique du livre Programmation Python
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 19 Mars 2006. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
C'est LE livre que j'attendais, un peu comme beaucoup de personnes qui connaissent les bases du langage et qui souhaitent aller plus loin mais qui ă n'arrivent pas forcĂ©ment Ă trouver l'information sur internet. Je dois avouer que j'avais un peu peur, un peu comme un bon film duquel on en attend trop, et bien je n'ai pas Ă©tĂ© déçu, c'est le moins qu'on puisse dire !
En ouvrant le livre je me suis dit : « Bon les 100, voire 200 premiĂšres pages je vais les lire en diagonale ça va encore ĂȘtre des rappels sur la syntaxe de Python... ». Heureusement, je me trompais...
La premiĂšre partie, intitulĂ©e « DĂ©couverte de Python », doit ĂȘtre un peu difficile pour un dĂ©butant (bon aprĂšs avoir consultĂ© quelques cours pour apprendre python ça devrait passer quand mĂȘme). Ă mon avis ce livre n'est pas vraiment orientĂ© dĂ©butant, d'ailleurs ce n'est pas l'objectif annoncĂ©. Du coup mĂȘme dans cette partie on peut apprendre des choses comme .pythonstartup, terminĂ©s les alias bidons ;-). Cerise s äur le gĂąteau, il est fait mention de bio-informatique ! Assez succint mais bon ça fait plaisir...
La deuxiĂšme partie « ĂlĂ©ments du langage » reprend les bases donc si vous avez eu peur avec les exemples de la dĂ©couverte, commencez peut-ĂȘtre plutĂŽt par lĂ . Cette sous-partie « Syntaxe du langage » ne dĂ©passe pas les 40 pages donc bon sur plus de 500 le rapport est bon. Suivent quelques infos utiles sur la structuration du code (j'ai dĂ©couvert notamment la fonction property()). On arrive alors Ă la description des primitives du langage, un poil barbant mais pas inintĂ©ressant, ça m'a permis par exemple de m'intĂ©resser Ă enumerate() que je ne connaissais pas et qui est bien utile !
La troisiĂšme partie est consacrĂ©e à « La bibliothĂšque standard ». Ce qui rend cette partie vivante c'est principalement les exemples utiles qui la composent. Du coup pas besoin de jongler entre un ćshell et le bouquin, tout est dedans (un peu comme python d'ailleurs ;-)). Puisqu'on parle des exemples, ils sont plein d'humour et contrastent avec le sĂ©rieux et le professionnalisme de l'ouvrage ce qui est exactement ce que j'attend d'un livre. Cette partie s'achĂšve avec quelques exercices corrigĂ©s pour se faire la main, encore une fois bonne idĂ©e !
On arrive enfin aux « Techniques avancĂ©es ». Autant le dire tout de suite, c'est LA partie que j'attendais. La programmation dirigĂ©e par les tests est expliquĂ©e en dĂ©tails, des tests unitaires aux doctests avec des exemples concrĂȘts d'utilisation (bibliothĂšques de fake, etc...). Les bonnes pratiques et optimisation du code (qui me sont chĂšres) commencent avec des astuces que vous avez pu lire ici et vont beaucoup plus loin ! Mes futurs programmes vont ĂȘtre sur-optimisĂ©s ;-). On finit avec un peu de POO et des notions de Design Pattern qui m'Ă©tait totalement inconnues (enfin le terme aprĂšs les petits dessins c'est ce que je fais dans le mĂ©tro pour passer le temps).
Bon vous l'avez compris, cet ouvrage m'a
pluenchanté et je le recommande. Il est pas donné mais il vaut son prix. En deux mots : merci Tarek ! Et continue ton Zope Cookbook, c'est excellent et c'est rare d'avoir de la doc de cette qualité en français.Tiens j'ai oublié de parler des points faibles, il faut dire qu'ils ne sont pas nombreux. J'ai trouvé quelques fautes principalement de frappe dans les exemples au début (quoi le livre n'est pas issu de documentation agile ! :p) et il est fait mention d'un exemple sur un CD à un moment... que je n'ai pas trouvé (?!).
Vous pouvez consulter l'ensemble de mes critiques de livres.
[Biologeek] Critique du livre Programmation PythonCritique du livre Programmation Python èp>Voici la liste des PEPs acceptĂ©s par ordre de soumission :
Critique du livre Programmation Python
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 19 Mars 2006. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
PEP 308 : Ajout des expressions conditionnelles
Probablement pour remĂ©dier au difficilement comprĂ©hensible « and-or trick », mĂȘme si Guido a jugĂ© bon de laisser une syntaxe assez difficile pour des utilisations trop complexes intentionnellement (c'est vrai que le code devient vite illisible sinon).
Syntaxe : expression1 if condition else expression2
Exemples lisibles :
x = A if C else B x = lambda: A if C else B x = A if C else B if D else E
Exemples peu lisibles mais corrects :< é/p>
if (A if C else B): [x for x in seq if (A if C else B)] A if (X if C else Y) else B (A if C else B) if D else E
Je sens que ça va faire fureur lors du « Annual Obfuscated Python Contest » !
PEP 309 : L'application de fonctions partielles
Là je dois avouer que j'ai pas trop compris en quoi ça consistait mais c'est la premiÚre amélioration citée dans What's New in Python 2.5 donc j'imagine que c'est assez important, j'attend vos explications ;-).
PEP 314 : Méta-données pour les paquets Python
Bon le titre est assez explicite, un exemple :
Metadata-Version: 1.1 Version: 1.0 Platform: Linux2 Supported-Platform: Ubunt êu 5.10 Summary: Mon premier paquet ...
Voila qui devrait ravir les concepteurs de paquets.
PEP 328 : Imports absolus/relatifs
Outre le fait de permettre un import sur plusieurs lignes :from Tkinter import Tk, Frame, Button, Entry, \ LEFT, DISABLED, NORMAL, RIDGE, END
Pourra maintenant ĂȘtre dĂ©clarĂ© ainsi :
from Tkinter import (Tk, Frame, Button, Entry, LEFT, DISABLED, NORMAL, RIDGE, END)
[Edit du 06.03.06] : comme le souligne tarek dans les commentaires, cette fonctionnalité est déjà implémentée dans python 2.4.
Cette amélioration permet aussi d'importer des modules relativement :
from ..subpackage1 import moduleY
Par exemple pour importer le moduleY qui serait un dossier parent subpackage1.
ëPEP 341 : Unification de try-except et try-finally
C'est exactement ce dont j'ai besoin en ce moment, en effet j'utilise finally pour fermer les fichiers ouverts dans tous les cas et du coup j'ai quelque chose qui ressemble Ă :
f = None try: try: f = open(filename) text = f.read() except IOError: print 'An error occured' finally: if f: f.close()Et c'est vraiment lourd, simplement car try-except-finally n'est pas possible actuellement, c'est ce que propose ce PEP et ce sera donc réglé avec Python 2.5, ouf !
PEP 342 : Coroutines par générateurs améliorés
ìĂnormĂ©ment d'amĂ©liorations relatives aux gĂ©nĂ©rateurs, ce serait trop long de tout dĂ©crire ici. En plus je n'en ai pas compris la moitiĂ©...
PEP 343 : Le mot-clé « with »
with permet d'effectuer une opération sur un objet, par exeple dans le cas d'un fichier il permettra de le lire sans avoir à le fermer à la fin :
with open(filename) as f: f.read()Cette syntaxe permettra de simplifier les ouvertures fermetures de fichiers sans avoir à gérer ça avec des exceptions. Elle sera aussi trÚs utile en cas de vérrou à placer :
def locked(lock): lock.acquire() try: # mon opération finally: lock.release()Deviendra :
with locked(myLock): # mon opĂ©rationC'est aussi une amĂ©lioration qui me servirait bien en í ce moment ça...
Conclusion
Toutes ces améliorations sont trÚs frustrantes car c'est exactement ce dont j'ai besoin maintenant ! Vivement septembre.
Et pour fini lambda est conservé, au grand regret de Guido... et cElementTree est inséré dans la bibliothÚque standard.
[Bonus] : une vidéo à voir absolument qui s'intitule Better Web App (378.5mo, 36 minutes, anglais) et qui compare différent Web Frameworks (RoR, Zope/Plone, TurboGears et Django) et fourni en conclusion un tableau récapitulatif intéressant :
[Edit du 06.03.06] : La home de Python.org est en pleine mue \o/ (en passant un lien intéressant au sujet des nouveautés de Python 2.5).
[Edit du 11.03.06] : Le PEP 356 résume tout ça et comprend le calendrier de développement (encore un bonus, l'interview de GvR sur eweek).
[Edit du 22.06.06] : L'annonce de Python 2.5 beta 1 sur dlfp qui est complétée de nombreux exemples (cette fois en bonus de beaux icÎnes :-)).
ï
Principales nouveautés dans Python 2.5
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 04 Mars 2006. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Je m'y prend un peu à l'avance (la sortie est prévue pour septembre 2006) mais Guido a apparement fait quelques annonces lors de Pycon qui viennent s'ajouter aux PEPs approuvés sur la page officielle. J'essayerais de mettre à jour ce billet lors de l'annonce de nouvelles nouveautés histoire qu'il ne soit pas obsolÚte dans 6 mois, n'hésitez pas à m'en informer.
Voici la liste des PEPs acceptés par ordre de soumission :
PEP 308 : Ajout des expressions conditionnelles
Probablement pour remĂ©dier au difficilement comprĂ©hensible « and-or trick », mĂȘme si Guido a jugĂ© bon de laisser une syntaxe assez difficile pour des utilisations trop complexes intentionnellement (c'est vrai que le code devient vite illisible sinon).
Syntaxe ń : expression1 if condition else expression2
Exemples lisibles :
x = A if C else B x = lambda: A if C else B x = A if C else B if D else E
Exemples peu lisibles mais corrects :
if (A if C else B): [x for x in seq if (A if C else B)] A if (X if C else Y) else B (A if C else B) if D else E
Je sens que ça va faire fureur lors du « Annual Obfuscated Python Contest » !
PEP 309 : L'application de fonctions partielles
Là je dois avouer que j'ai pas trop compris en quoi ça consistait mais c'est la premiÚre amélioration citée dans What's New in Python 2.5 donc j'imagine que c'est assez important, j'attend vos explications ;-).
PEP 314 : Méta-données pour les paquets Python
Bon le titre est assez explicite, un exemple :
Metadata-Version: 1.1 Version: 1.0 Platform: Linux2 Supported-Platform: Ubuntu 5.10 Summary: Mon premier paquet ...
Voila qui devrait ravir les concepteurs de paquets.
PEP 328 : Imports absolus/relatifs
Outre le fait de permettre un import sur plusieurs lignes :from Tkinter import Tk, Frame, Button, Entry, \ LEFT, DISABLED, NORMAL, RIDGE, END
Pourra maintenant ĂȘtre dĂ©clarĂ© ainsi :
from Tkinter import (Tk, Frame, Button, Entry, LEFT, DISABLED, NORMAL, RIDGE, END)
[Edit du 06.03.06] : comme le souligne tarek dans les commentaires, cette fonctionnalité est déjà implémentée dans python 2.4.
Cette amélioration permet aussi d'importer des modules relativement :
from ..subpackage1 import moduleY
Par exemple pour importer le moduleY qui serait un dossier parent subpackage1.
PEP 341 : Unification de try-except et try-finally
C'est exactement ce dont j'ai besoin en ce moment, en effet j'utilise finally pour fermer les fichiers ouverts dans tous les cas et du coup j'ai quelque chose qui ressemble Ă :
f = None try: try: f = open(filename) text = f.read() except IOError: print 'An error occured' finally: if f: f.close()Et c'est vraiment lourd, simplement car try-except-finally n'est pas possible actuellement, c'est ce que propose ce PEP et ce sera donc réglé avec Python 2.5, ouf !
PEP 342 : Coroutines par générateurs améliorés
ĂnormĂ©ment d'amĂ©liorations relatives aux gĂ©nĂ©rateurs, ce serait trop long de tout dĂ©crire ici. En plus je n'en ai pas compris la moitiĂ©...
PEP 343 : Le mot-clé « with »
with permet d'effectuer une opération sur un objet, par exeple dans le cas d'un fichier il permettra de le lire sans avoir à le fermer à la fin :
with open(filename) as f: f.read()Cette syntaxe permettra de simplifier les ouvertures fermetures de fichiers sans avoir à gérer ça avec des exceptions. Elle sera aussi trÚs utile en cas de vérrou à placer :
def locked(l őock): lock.acquire() try: # mon opĂ©ration finally: lock.release()Deviendra :
with locked(myLock): # mon opérationC'est aussi une amélioration qui me servirait bien en ce moment ça...
Conclusion
Toutes ces améliorations sont trÚs frustrantes car c'est exactement ce dont j'ai besoin maintenant ! Vivement septembre.
Et pour fini lambda est conservé, au grand regret de Guido... et cElementTree est inséré dans la bibliothÚque standard.
[Bonus] : une vidĂ©o Ă voir absolument qui s'intitule Better Web App (378.5mo, 36 minutes, anglais) et qui compare diffĂ©rent Web Frameworks (RoR, Zope/Plone, TurboGears et Django) et fourni en conclusion ö un tableau rĂ©capitulatif intĂ©ressant :
[Edit du 06.03.06] : La home de Python.org est en pleine mue \o/ (en passant un lien intéressant au sujet des nouveautés de Python 2.5).
[Edit du 11.03.06] : Le PEP 356 résume tout ça et comprend le calendrier de développement (encore un bonus, l'interview de GvR sur eweek).
[Edit du 22.06.06] : L'annonce de Python 2.5 beta 1 sur dlfp qui est complétée de nombreux exemples (cette fois en bonus de beaux icÎnes :-)).
[Biologeek] Principales nouveautés dans Python 2.5Principales nouveautés dans Python 2.5 5% ;AAOOs[http://www.biologeek.com/bonnes-pratiques,python/principales-nouveautes-dans-python-25/2008-08-31 17:41:09.9013932006-03-04 13:11:30.000000
Principales nouveautés dans Python 2.5
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 04 Mars 2006. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
Je m'y prend un peu à l'avance (la sortie est prévue pour septembre 2006) mais Guido a apparement fait quelques annonces lors de Pycon qui viennent s'ajouter aux PEPs approuvés sur la page officielle. J'essayerais de mettre à jour ce billet lors de l'annonce de nouvelles nouveautés histoire qu'il ne soit pas obsolÚte dans 6 mois, n'hésitez pas à m'en informer.
< ç ù{ "verbose" : False, # -v option "other_option" : "" # -o: option } def set_settings(key, value): settings[key] = value def get_settings(key): return settings[key] def verify_arguments_existence(): """ For each command line argument, check existence if necessary """ if get_settings("other_option") == "": set_settings("other_option", "default") def parse_arguments(): shortopts = "".join([opt[0] for opt in options]) longopts = [opt[1] for opt in options] opts, args = getopt(sys.argv[1:], shortopts, longopts) for opt, optarg in opts: for tuple in options: short = "-" + tuple[0][:1] long = "--" + tuple[1] if long.endswith("="): long = long[:-1] if opt in [short, long]: tuple[2](optarg) break def print_help(*args): print "USAGE: %s [options] " % sys.argv[0] print "OPTIONS:" for short, long, func, doc in options: print ú if short[-1] == ":": print " -%s filename, --%sfilename" % (short[:1], long) else: print " -%s, --%s" % (short[:1], long) for line in wrap(doc): print " %s" % line print " EXAMPLE:" print " %s -v -o:argument " % sys.argv[0] sys.exit(0) # Syntax : short option, long option, action, help options = [ ("h", "help", print_help, "Print out this usage summary."), ("v", "verbose", lambda optarg: set_settings("verbose", True), "Write output informations (not only errors)."), ("o:", "other-option=", lambda optarg: set_settings("other_option", optarg), "Another option for the template.") ] def main(): """ Main function, deals with arguments and launch program""" # Usual verifications and warnings if not sys.argv[1:]: sys.stdout.write("Sorry: you must specify at least an argument ") sys.stdout.write("More help avalaible with -h or --help option ") sys.exit(0) parse_arguments() û verify_arguments_existence() # THE program :-) if get_settings("verbose"): print "Hello verbose Word !" else: print "Hello Word !" if __name__ == '__main__': main()Et la mĂȘme chose en fichier texte si vous souhaitez l'utiliser.
[edit] :
J'ai encore perdu une occasion de me taireJe suis heureux d'avoir appris l'existence d'un nouveau module, effectivement optparse permet de parser les arguments en ligne de commande trĂšs facilement du coup mon template ne sert plus Ă rien ;-)Voila ce que ce mĂȘme template donnerait avec l'utilisation de ce module :
#!/usr/bin/python # -*- coding: iso-8859-1 -*- """ Explain what program do. """ import os import sys from optparse import OptionParser def main(): """ Main function, deals with arguments and launch program""" # Usual verifications and warnings if not s üys.argv[1:]: sys.stdout.write("Sorry: you must specify at least an argument ") sys.stdout.write("More help avalaible with -h or --help option ") sys.exit(0) parser = OptionParser() parser.add_option("-v", "--verbose", action="store_true", help="Write output informations (not only errors).", default=False) parser.add_option("-f", "--file", help="Create a xxx file.") (options, args) = parser.parse_args() # THE program :-) if options.verbose: print "Hello verbose Word !" else: print "Hello Word !" if __name__ == '__main__': main()Simple, concis, bref Ă utiliser. Karl en parlait dĂ©jĂ il y a plus de deux ans...
Un template python pour parser des arguments
a été rédigé par David Larlet pour
biologeek.com et a été originellement
posté le 18 Février 2006. à part exceptions, c'est
©2008 David Larlet et sous licence (presque) libre autorisant
la reproduction, la distribution et la modification sous certaines conditions.
Veuillez les respecter.
En rĂ©action au billet de mat qui a codĂ© un convertisseur em vers pixels. Je me demande souvent si la mĂ©thode que j'emploie est la plus pertinente pour parser des arguments en ligne de commande lorsque je crĂ©e des petits scripts en python. Voici le template que j'utilise souvent, toutes les remarques ț en commentaire sont les bienvenues !
#!/usr/bin/python # -*- coding: iso-8859-1 -*- """ Explain what program do. """ import os import sys from textwrap import wrap from getopt import getopt # Global default settings, had to be get/set with appopriate functions settings = { "verbose" : False, # -v option "other_option" : "" # -o: option } def set_settings(key, value): settings[key] = value def get_settings(key): return settings[key] def verify_arguments_existence(): """ For each command line argument, check existence if necessary """ if get_settings("other_option") == "": set_settings("other_option", "default") def parse_arguments(): shortopts = "".join([opt[0] for opt in options]) longopts = [opt[1] for opt in options] opts, args = getopt(sys.argv[1:], shortopts, longopts) for opt, optarg in opts: for tuple in options: short = "-" + tuple[0][:1] long = "--" + tuple[1] if long.endswith( ÿ"="): long = long[:-1] if opt in [short, long]: tuple[2](optarg) break def print_help(*args): print "USAGE: %s [options] " % sys.argv[0] print "OPTIONS:" for short, long, func, doc in options: print if short[-1] == ":": print " -%s filename, --%sfilename" % (short[:1], long) else: print " -%s, --%s" % (short[:1], long) for line in wrap(doc): print " %s" % line print " EXAMPLE:" print " %s -v -o:argument " % sys.argv[0] sys.exit(0) # Syntax : short option, long option, action, help options = [ ("h", "help", print_help, "Print out this usage summary."), ("v", "verbose", lambda optarg: set_settings("verbose", True), "Write output informations (not only errors)."), ("o:", "other-option=", lambda optarg: set_settings("other_option", optarg), "Another option for the template.") ] def main(): """ Main function, deals with arguments and launch program""" # Usual verifications and warnings if not sys.argv[1:]: sys.stdout.write("Sorry: you must specify at least an argument ") sys.stdout.write("More help avalaible with -h or --help option ") sys.exit(0) parse_arguments() verify_arguments_existence() # THE program :-) if get_settings("verbose"): print "Hello verbose Word !" else: print "Hello Word !" if __name__ == '__main__': main()Et la mĂȘme chose en fichier texte si vous souhaitez l'utiliser.
[edit] :
J'ai encore perdu une occasion de me taireJe suis heureux d'avoir appris l'existence d'un nouveau module, effectivement optparse permet de parser les arguments en ligne de commande trĂšs facilement du coup mon template ne sert plus Ă rien ;-)Voila ce que ce mĂȘme template donnerait avec l'utilisation de ce mo dule :
#!/usr/bin/python # -*- coding: iso-8859-1 -*- """ Explain what program do. """ import os import sys from optparse import OptionParser def main(): """ Main function, deals with arguments and launch program""" # Usual verifications and warnings if not sys.argv[1:]: sys.stdout.write("Sorry: you must specify at least an argument ") sys.stdout.write("More help avalaible with -h or --help option ") sys.exit(0) parser = OptionParser() parser.add_option("-v", "--verbose", action="store_true", help="Write output informations (not only errors).", default=False) parser.add_option("-f", "
