As we prepare for the upcoming release of PostgreSQL Anonymizer 3.0, I took some time to check which platforms now support the extension. What I discovered brought me a sense of achievement that I wanted to share with the community. More and More Platforms Are Embracing Data Anonymization Over the past months, several major Cloud Service Providers have adopted the PostgreSQL Anonymizer extension,…
The cooperative company DALIBO is celebrating its 20th anniversary today, giving me an opportunity to reflect on the reasons behind the success of this collective adventure. Speaking of DALIBO’s success means first speaking of the PostgreSQL community’s success. When we created the company in 2005 with Jean-Paul Argudo, Dimitri Fontaine and Alexandre Baron, PostgreSQL was a marginal, confidential…
La société coopérative DALIBO fête ses 20 ans aujourd’hui même, l’occasion de revenir sur les raisons du succès de cette aventure collective. Parler de la réussite de DALIBO c’est d’abord parler de celle de la communauté PostgreSQL. Lorsque nous avons créé la société en 2005 avec Jean-Paul Argudo, Dimitri Fontaine et Alexandre Baron, PostgreSQL était un projet marginal, confidentiel et peu…
After several months of development, version 2.0 of PostgreSQL Anonymizer has entered the beta phase, and this is an opportunity for us to launch a series of articles to present its new capabilities in preview! For this first technical overview, let’s see how to generate fake data (also known as “synthetic data”). Why is it important? PostgreSQL Anonymizer 2.0 offers a wide range of functions to…
Dalibo Labs vient de publier la version version 0.5 de PostgreSQL Anonymizer , une extension qui masque les données sensibles à l’intérieur d’une base de données PostgreSQL. L’extension disposait déjà jusqu’ici d’un large panel de méthodes d’anonymisation : randomisation , imitation , destruction partielle , brassage , bruit , etc. Pour cette nouvelle version, j’ai travaillé sur une nouvelle…
Dalibo Labs just released yesterday the version 0.5 of PostgreSQL Anonymizer , an extension that hides sensitive information inside a PostgreSQL database. The extension already has a large panel of anonymization strategies: randomization , faking , partial destruction , shuffling , noise addition , etc. For this new released, I worked on a different approach called Generalization and the…
Il y a un an, j’ai lancé un projet appelé PostgreSQL Anonymizer pour étudier et aprrendre différentes techniques de protection des données privées en utilisant la puissance de PostgreSQL. Ce projet fait maintenant partie de l’initiative Dalibo Labs et nous venons de publier une nouvelle version la semaine dernière…. C’est l’occasion d’analyser les progrès réalisés, l’impact du RGPD et les futures…
One year ago, I started a side-project called PostgreSQL Anonymizer to study and learn various ways to protect privacy using the power of PostgreSQL. The project is now part of the Dalibo Labs intiative and we’ve published a new version last week… This seems like a nice moment to analyze the progress we’ve made, how the GDPR is changing the game and where we’re going…. GDPR : Sanctions are coming…
Data Anonymization is a complex topic but PostgreSQL has a lot of interesting features to tackle this challenge! Here is an overview of different approaches and how to implement them directly within a PostgreSQL database. Over the last few months I have been working on a project called PostgreSQL Anonymizer . It led me to try various techniques to remove personal data for different purposes:…
J’ai pubié il y a quelques jours une extension nommée PostgreSQL Anonymizer qui masque ou remplace les données à caractère personnelle ( personally identifiable information ou PII en anglais) et les données sensibles en général. Le projet est open source et disponible ici: https://gitlab.com/daamien/postgresql_anonymizer Je crois fermement dans une approche déclarative de l’anonymization : le…
I’ve just released today an extension called PostgreSQL Anonymizer that will mask or replace personally identifiable information (PII) or commercially sensitive data from a PostgreSQL database. The project is open source and available here : https://gitlab.com/daamien/postgresql_anonymizer I strongly believe in a declarative approach of anonymization : the location of sensitive information inside…
Je viens de boucler la semaine dernière un cycle amorcé il y a une douzaine d’années quand j’ai pris la direction de la société coopérative Dalibo avec Jean-Paul Argudo. Ce voyage m’a conduit beaucoup plus loin que je ne l’aurai imaginé et il m’a appris énormément sur moi-même et sur la gouvernance d’entreprise en particulier. Je reste au sein de la société et je retourne à mon métier premier et…
Tomorrow I’ll talk about the Open Decision Framework at the TEQNation conference in The Netherlands and I’ll try to explain how we can use open source principles to take better decisions. Free Software is a powerful movement with many different types of governance models and a lot of diversity. But all the successful open source projects have one thing in common : over the years they have…
Demain je serai en Hollande pour présenter le Cadre de Décision Ouverte ( Open Decision Framework en VO ) à l’occasion de la conférence TEQNation et j’essaierai d’expliquer comment on peut utiliser les principes fondamentaux de l’open source pour prendre de meilleurs décisions. Le mouvement des logiciels libres est puissant et créatif, avec de nombreux modèles de gourvernance et beaucoup de…
Join the conversation to build better GUI for Postgres ! Last year, we organized a meeting in Warsaw, Poland to discuss and share experience on how to improve the PostgreSQL user experience. You can find details about this meeting on the PostgreSQL wiki page below: https://wiki.postgresql.org/wiki/PostgreSQL_Graphic_Tools_Developper_Meeting_2017 During the meeting, we talked about creating a…
Le Groupe de Travail Inter-Entreprises de l’association PostgreSQLFr vient de publier une lettre ouverte destinée à tous les éditeurs de logiciels qui ne supportent pas encore PostgreSQL pour le demander d’être compatibles avec PostgreSQL. L’ambition de ce message est de les inciter à s’adapter rapidement à la transition irrésistable qui est en cours actuemment dans le secteur public et au sein…
The French PostgreSQL Cross-Enterprise Work Group, a non-profit organization advocating for the adoption and use of PostgreSQL, just published an open letter to all software vendors that don’t already do so to take steps to support PostgreSQL as a database management system (DBMS). The ambition of this initiative is to incite them to adapt quickly to the irresistible IT transformation in progress…
PostgreSQL 10 est sortie il y a quelques semaines et un premier correctif de sécurité a été publié le 10 novembre . Comme chaque année, la sortie d’une nouvelle version s’accompagne de la fin du support d’une version précédente. En l’occurence, c’est PostgreSQL 9.2, sortie en 2012, qui est désormais cataloguée comme “End Of Life” (EOL). Pour les nostalgiques, la version 9.2 était une étape…
The very first PostgreSQL Graphic Tools Developer Meeting happened last week during PostgreSQL Conference Europe 2017 in Warsaw. The meeting gathered 16 developpers repesenting 14 software ( KEXI , Postico , Postgres.app , pgAdmin , DBeaver , pgCluu SQL Tabs , pg_view , bg_mon , pgBadger , pgFormatter , Postgres Professional Manager (not released yet), temBoard , PoWA , pgDevOps , ) and 10…
Pour chaque nouvelle version de PostgreSQL, Dalibo organise des ateliers d’une journée pour présenter les dernières nouveautés et les améliorations. Les places étant limitées, nous avons décidé de diffuser plus largement le contenu de nos workshops en publiant les fichiers source sous licence libre via github. Vous pouvez retrouver nos deux derniers workshops sur ce dépot :…
Toulouse, Nantes ou Paris ? Vous avez l’embarras du choix 3 rendez-vous autour de PostgreSQL s’offrent à vous dans les jours à venir ! Le 2 mars chez Air France à Toulouse Le mercredi 8 mars chez la Cordée à Nantes Le jeudi 9 mars chez Magency à Paris A noter pour être complet qu’il y a aussi un groupe actif à Lyon et un autre à Lille Et si vous en voulez encore, vous avez aussi deux conférences…
Le prochain défi pour la communauté PostgreSQL est de produire des outils graphiques riches et bien conçus. C’est un domain dans lequel nous avons une grande marge de progression et Temboard est un des projets (parmi d’autres) qui a l’ambition de devenir un outil graphique pour PostgreSQL. Puisque que nous parlons d’un outil graphique, allons directement jetez un coup d’oeuil ! Voici 3 étapes pour…
The next challenge for the PostgreSQL community is to provide feature rich and well-designed graphic tools to manage several instances. This is a domain where we can make a lot of progress and Temboard is one of the current projects (among others) that aims to provide a nice management tool for PostgreSQL. Since we’re talking about a graphic tool, let’s have a quick look ! Here’s 3 steps to deploy…
Le projet PostgreSQL Magazine revien avec un concept original nommé project is back The Paper Elephant : un journal pliant et dynamique. Comme d’habitude, le contenu provient directement de membres de la communauté PostgreSQL : Josh Berkus parle de la nouvelle politique de numérotation, Hans-Jürgen Schönig écrit sur les performances et Craig Kierstens présente un tour d’horizon JSON, JSONB et…
The PostgreSQL Magazine project is back with an original concept named The Paper Elephant : a folded newspaper with a dynamic look & feel. As always the content comes directly from the community ! In this first issue, we gathered articles from key members of the PostgreSQL project: Josh Berkus talks about the new version numbering scheme, Hans-Jürgen Schönig writes about performance and Craig…
PostgreSQL 9.6 est sortie il y a quelques jours et encore fois c’est une version majeure avec des fonctionnalités très attendues ! Les notes de versions sont très longues alors j’ai décidé de sélectionner 6 nouveautés importantes qui peuvent changer la manière dont vous utiliser PostgreSQL. Le “Parallelisme” est probablement l’attraction principale de cette version : une fonctionnalité réclamée…
PostgreSQL 9.6 was released a few days ago and it’s another huge milestone for the PostgreSQL community ! The release notes are way too long, so I’ve decided to pick up 6 big improvements that may change the way you will use PostgreSQL. Parallelism is probably the main attraction of this version : a long-awaited feature that will open the door to many new usecases. In a nutshell, in the previous…
TL;DR : With the kind support of PostgreSQL Europe, I am launching a new edition of the PostgreSQL Magazine in an innovative paper format. The primary goal is to publish it and send copies to PostgreSQL Conference Europe in Tallinn in November. If we’re sucessful, additional copies will be sent to other events. I’m here to talk to you about the new direction for PG Magazine. So far, we’ve produced…
Il y a une semaine sortait la seconde beta de la future version de PostgreSQL . De nombreux bugs ont été découverts et corrigés depuis la permière beta1, en particulier sur tout ce qui concerne le parallelisme. Si vous n’avez pas encore eu le temps de découvrir les nouveautés qui vous attendent c’est le moment ! Le menu est copieux : Traitement parallèle des requêtes (scans séquentiels, jointures…
Le succès de PostgreSQL ne se dément pas mais il reste encore beaucoup de logiciels qui ne sont pas compatibles avec Postgres. A chaque fois que je tiens un stand PostgreSQL dans un salon ou une conférence, une question classique revient “Est-ce le logiciel X est compatible avec PostgreSQL ?”. Pour mieux comprendre quels sont les besoins en terme de compatibilité, Takayuki Tsunakawa vient de…
Il y a quelques jours j’ai participé au PG Day Paris 2016 en présentant un rapide tour d’horizon des solutions de supervision pour PostgreSQL. L’occasion de présenter l’état de l’art de l’écosystème Postgres en matière d’outil de visualisation ! Les slides de ma présentation sont disponibles ci-dessous : Version HTML (avec videos):…
Il y a quelques jours j’ai présenté les nouveautés et les améliorations de PostgreSQL 9.5 à l’occasion du premier Meetup PostgreSQL Toulousain. Merci à Logilab et Digital Places pour leur soutien ! Voici la présentation que j’ai donné : Nouveautés de PostgreSQL 9.5 from damien clochard Les slides sont également disponibles ici J’espère que cette première édition sera suivie d’autres rencontres…
Tired of your old DB2 databases ? Here’s a new migration kit that will ship your data to PostgreSQL ! Marc Cousin , one of my teamates at Dalibo released yesterday a new migration called db2topg . As he’s a bit too lazy to present his own work, let me introduce you to this tool: Move from DB2 to Postgres in 8 simple Steps 1- Extract your database schema with db2look . This will generate a db2 SQL…
Parmi les signes de l’essor de PostgreSQL en France, on constate en ce début d’année 2016 une recrudescence des conférences et des rencontres de type “meetup” dédiée à Postgres… Jugez-par vous même : Le 23 février chez Digital Place à Toulouse aura lieu un Meetup PostgreSQL Toulousain avec un tour d’horizon des nouveautés de PostgreSQL 9.5 présenté par votre serviteur. Le 17 mars à la Cantine de…
L’assemblée générale de l’association PostgreSQLFr se tiendra le mercredi 18 novembre 2015 à 20h30 dans les locaux de la société DALIBO au 10 rue d’Uzès 75018 Paris. Cette réunion se tiendra en marge du salon Paris Open Source Summit. Si vous passez sur le salon, n’hésitez pas à venir sur le stand de la communauté PostgreSQL et à nous rejoindre pour l’assemblée le soir. L’ordre du jour provisoire…
La première version beta de PostgreSQL 9.5 est sortie la semaine dernière. Voici un tuto rapide pour installer facilement cette version sur debian Première étape : Ajouter les dépots “PGDG”, c’est à dire les dépots officiels de la communauté PostgreSQL. Pour cela il suffit de créer un fichier /etc/apt/sources.list.d/pgdg.list et d’y inscrire la ligne ci-dessous : deb…
Dans la chaleur de la semaine dernière, la première mouture de PostgreSQL 9.5 est sortie en toute discrétion. Pourtant cette première version alpha apporte une série de nouveautés impressionnantes ! Voici un petit tour d’horizon de ce qui vous attend… Il est impossible de dresser une liste exhaustive des nouveautés et la sélection ci-dessous est tout à fait subjective : La commande IMPORT FOREIGN…
Le support du standard SQL/MED a été introduit dans PostgreSQL 9.1 (2011). Quatre ans plus tard, nous avons maintenant plus de 70 Foreign Data Wrappers ( FDW ) disponibles pour lire et écrire sur tout type de moteur de stockage: base Oracle ou MongoDB, fichiers XML, cluster Hadoop, dépot Git, Twitter, etc. etc. etc. Il y a quelque jours, pendant le FOSDEM j’ai assisté à la conférence de mon…
Support for the SQL/MED standard was introduced in PostgreSQL 9.1 (2011). Four years later, we now have more the 70 Foreign Data Wrappers ( FDW ) available, which you can use to read and write on any type of data storage : Oracle, MongoDB, XML files, Hadoop, Git repos, Twitter, you-name-it, … A few days ago, during FOSDEM I attended a talk by my colleague Ronan Dunklau about Foreign Data Wrappers…
Yesterday, DALIBO released the second major version of PoWA , the PostgreSQL Workload Analyzer. We’re kind of proud of what we’ve achieved with this new release, however we did crack some eggs while making the omelette… Here’s a brief explanation for all the disruptive choices we made… When we launched the PoWA project in 2014, we decided to release the project very early and see where it would…
Un écran de suivi temps-réel basé sur Dashing et Sinatra PostgreSQL Dashboard est outil de supervision très simple qui donne une vue instantanée de la santé d’une instance PostgreSQL. L’outil est conçu pour être affiché sur un grand écran dans un salle de contrôle ou dans un espace de travail partagé. Le tableau de bord actuel est composé de 5 “widgets” : General Info : Version, nombre de bases,…
A real-time monitoring screen based on Dashing and Sinatra PostgreSQL Dashboard is simple monitoring tool that provides a live activity report of a PostgreSQL instance. It is designed to be displayed on a large screen in a monitoring room or an open space office. The current dashboard is currently composed of 5 widgets : General Info : Version, number of host databases, etc. Hit Ratio : The % of…
Un petit tour d’horizon des articles à propos de PostgreSQL parus dans la presse et sur le web… Programmez! : PostgreSQL - Architecture et notions avancées : un livre en version bêta Après avoir traduit un nombre incommensurable de pages de doc et écrit des dizaines d’articles, Guillaume Lelarge se lance dans l’écriture d’un livre sur PostgreSQL. Pour l’instant, seuls quelques chapitres sont…
We’ve just released a new version of PoWA , the PostgreSQL Workload Analyzer. Check out complete release note here . This new version adds an highly requested feature : you can now collect stats from multiple PostgreSQL servers using a single PoWA instance. This should be usefull if you have many servers to monitor. We’ve also improved the UI in many ways : the graph should be easier to read on…
As in previous years, Dalibo will particpate to FOSDEM 2015 the greatest FLOSS event in Europe which is held from Jan. 31 to Feb. 1 FOSDEM is a unique free event that offers open source communities a place to meet, share ideas and collaborate. The PostgreSQL Europe association organize an additional event called FOSDEM PG Day the day before (Friday Jan. 30), which means you can enjoy 2 days…
Dalibo prendra part au FOSDEM 2015 , évènement rassemblant plus de 5000 participants du monde entier, et qui se tiendra à Bruxelles, du 31 janvier au 1er février 2015. Le FOSDEM est un évènement libre qui offre aux communautés open source un lieu de rencontre, d’échanges et de collaborations et le FOSDEM PG Day est une journée organisée par PostgreSQL Europe, en amont de ce grand évènement, le…
Just like I said in a previous blog post : the pgBadger projet is moving fast ! Version 3 was released a few days ago with a major improvements : With the new parallel mode, you can now launch mutiple pgBagder process at once ! In others word, pgBadger is not bound to one cpu anymore. If you have multiple cores, you can now uses them to give more power and decrease the processing time. All you…
Cette année encore la communauté francophone de PostgreSQL se réunira pour le PG Day France qui se tiendra à Nantes le 13 juin 2013. L'occasion parfaite pour présenter une étude de cas, un projet en cours de développement ou une fonctionnalité de PostgreSQL ! L'appel à orateurs se terminera dans quelques jours, d'ici là n'hésitez pas à proposer une intervention !…
PgBadger est un outil puissant pour optimiser vos serveurs PostgreSQL. À partir des fichiers log de vos serveurs, pgBadger va analyser le trafic SQL et produire une profusion de statistiques (les plus longues requêtes, le ratio lecture/écriture, etc.) Tout ceci est très utile, mais la quantité de données générée est si importante que les rapports générés par pgbadger sont difficiles à lire et que…
pgBadger is a powerful tool to optimize your PostgreSQL servers. Using your server log files, pgBadger will analyze the SQL traffic and produce a profusion of statistics (longest queries, read/write ratio, etc.). This is very helpful but the amount of data generated is so big that the pgbadger reports are hard to read and useful stats are often drown in the flood... Check out this sample pgBadger…