Blog de Yoann Babel

Après avoir longtemps cherché sur aliexpress, j’ai finalement trouvé sur Alibaba ce que je cherchais pour 1800€ (1200€ + 600€ de frais de douane) :

Pliable, puissant, avec du couple, roues 20 pouces, amortisseurs réglables, il est capable d’aller sur la route (35/40kmh), sur les pistes forestières, et sur les chemin. Je peux mettre une batterie supplémentaire sur le porte bagage et avoir plus de 100km d’autonomie. Je monte des pentes à 100% sans pédaler.

Ce vélo n’est ni spécialisé montagne, ce n’est pas un VTT. Il n’est pas spécialisé route (il ne va pas très vite). Il n’est pas très léger non plus.

Mais c’est un bon compromis.

Dans ma situation, à savoir, en montagne, ou je veux pouvoir autant aller sur les sentiers que faire un peu de route (<30km l’allée), avec du dénivelé, ce vélo réponds bien, sans être exceptionnel dans aucun domaine à l’ensemble de mes attentes. De plus, la position est confortable et je peux faire de la distance avec si nécessaire. Pour pouvoir aller sur les chemins j’ai mis des pneus cross, et mis les suspensions en position « molle ».

Quelques points « faibles » : la garde au sol est assez basse, c’est parfois délicat dans les chemins étroits ou avec des passages rocheux. En descente le siège est un peu trop large et peut gêner pour se positionner correctement. Les roues livrées par défaut n’ont pas assez de crampons (j’ai du les changer).

Cependant, je me régale avec mon vélo. Il est assez solide puissant et l’autonomie est suffisante pour me permettre de vadrouiller dans ma vallée.

PS : testé en plein hiver sur la neige, si je dégonfle les pneus la tenue de route est excellente

Vous développez un site mais celui ci est en production. Comment faire pour le modifier sans risquer de le faire sauter ? Généralement pour le code on utilises git, mais pour tester votre code il vous faut une copie du site. Le cycle est le suivant :

• je fais une copie du site de production vers mon site local (avec docker je m’assures que l’environnement serveur est le même), code et base de donnée
• je fais mes corrections, je teste (idéalement avec outil de tests automatisés, tel behat)
• je renvoies le nouveau code sur le site de production (via git), en incluant les mises à jour de base de donnée, mais je n’envoies pas la base elle même

Rien de bien compliqué en apparence mais voila, il y a un hic, comment faire si, par exemple, j’ai une boutique woocommerce et que je veux utiliser un moyen de paiement factice, ou d’autres modules que je dois paramétrer différemment en local (comme par exemple l’envoies de notifications email) ?

Je vais devoir configurer mon wordpress légèrement différemment, et à chaque fois que je vais récupérer la dernière BDD de prod, je vais devoir changer tous ces paramètres un par un. A moins que …

Voici la configuration que j’utilise pour faire du staging wordpress :

• Avec le plugin updraft plus : une fois un FTP ou un S3 configuré, on peut très facilement faire une sauvegarde d’un coté et une restauration de l’autre
• Je met dans mon wp-config.php du site local
  define( ‘WP_HOME’, ‘https://xxx’ ); define( ‘WP_SITEURL’, ‘https://xxx’ );
• Avec le plugin Velvet Blues Update URLs je fais une passe sur le contenu en base
• Avec JSON Options (et Get Options pour savoir lesquelles) j’ai un moyen d’exporter la configuration spécifique au site local
• Avec WP dev flag je met un bandeau afin de différencier visuellement le site local du site de production (ce qui évite bien des erreurs d’inattentions, indispensable)

Et voila, le tour est joué.

PS : si jamais vous ne voulez pas activer les même modules par défaut sur les 2 sites, je vous conseille ce lien.

Vous avez un serveur, nu, qu’est-ce qu’on installe dessus pour mettre en site web en ligne dans un environnement pro ?

Que signifie « pro » exactement d’ailleurs de manière prosaïque ? Il s’agit d’assurer que le site soit toujours en ligne « no matter what » (ce qui implique des backups, des outils de monitoring), et que les développeurs puissent le modifier sans tout faire pêter (donc ils doivent avoir une version « locale » sur leur propre machine de développement, et pouvoir déployer sans risque). Pour assurer ces 2 simples « fonctions » il faut tout un tas d’outils, chacun son rôle. Pour que les développeurs puisse collaborer un faut un gestionnaire de version (git), pour que les chef de projets puisse dire quoi développer il faut un outil de suivie des tâches (gitlab par exemple), pour gérer les différents sites il faut plusieurs machines virtuelles, pour s’assurer que l’environnement de déploiement soit toujours le même on utilise des conteneurs ainsi que des outils de test automatisés pour s’assurer qu’il n’y ai pas de régressions. Il faut des outils d’analyse pour le marketing, pour les performances et pour la sécurité. Enfin il faut des outils de collaboration (messagerie, échange de mot de passe sécurisée, documents collaboratifs).

• proxmox : gestionnaire de machines virtuelles, gère les clusters, la réplication, les backups
• pfsense : firewall qui va gérer la sécurisation de l’accès web aux VM
• squid3 : reverse proxy qui permet de gérer le cache, le load balancing, et le routage
• docker : c’est l’outil de conteneurisation (éventuellement kubernetes pour les déploiement ou ansible, ou de simples script bash)
• LAMP : le serveur web, ici pour du PHP, du MySQL en base de donnée, suffisant pour des petits sites, postgres est préférable pour des sites plus costaud
• wordpress (ou autre) et tout un tas de plugins : updraft plus (backup + migration), matomo, yoast SEO, memcached, postSMTP, contact form7
• matomo : c’est le google analytics en version open-source. Des plugins payants très intéressants existent aussi
• behat : pour faire des tests automatisés, indispensable pour s’assurer qu’on n’introduit pas des nouveaux bug quand on rajoute un fonctionnalité ou qu’on corrige un dysfonctionnement
• gitlab : gestion des tâches et versions pour permettre aux développeurs, au designers et aux chef de projet de collaborer efficacement
• nextcloud : partage de documents, l’équivalent de dropbox mais en open source
• keepassx : gestionnaire de mot de passe (bitwarden si on veut la même chose en ligne)
• mattermost : l’équivalent de slack (il y a aussi rocket.chat)
• tick : telegraf influxdb chronograf et kapacitor, base de donnée de séries temporelles avec un petit daemon associé pour surveiller tout ce qui se passe sur une machine
• xhprof : pour faire des diagnostiques de performance si le site est trop lent
• backstop : test de non régression visuel
• yslow : outil de test qui diagnostique les mauvaises pratiques qui pénalisent le référencement
• locust.io : outil de scalabilité. Permet de savoir combien vous pourrez avoir de visiteurs en même temps sur votre site
• minio : serveur S3, pour les backups. nfs ou smb sont aussi utilisés.

Outils freemium (gratuits et illimités en version de base, mais non open source) :

• uptime robot : surveille votre site et envoies une alerte s’il tombe en rade
• cloudflare : protège votre site et l’accélère

Outils payants :

• mailchimp : newsletter, pour ne pas se faire blacklister
• hotjar : analyseur de comportement (session recording, heatmap, funnel) / mixpanel / https://plugins.matomo.org/HeatmapSessionRecording

A priori ce tutoriel est valable pour n’importe quel serveur (kimsuffi ou autre) du moment que vous pouvez intaller proxmox VE6 dessus, et pour du proxmox 5 il ne devrait pas y avoir beaucoup de différences

En ce moment je travaille pour deux projets différents, une startup qui a besoin d’un site web, tout ce qu’il y a de plus basique, et pour moi, je souhaite avoir mon propre cloud pour pouvoir tester rapidement des applications auto-hébergées. Dans les deux cas j’ai besoin d’avoir une architecture évolutive. Quand je teste des applications je veux pouvoir créer une VM temporaire, et pour héberger un site web la, des VMs on en a besoin pour tout un tas de choses quand on développe. J’ai besoin d’une solution pour pouvoir installer des VMs sur un serveur distant. Il existe plein de solutions (Xen server, VMWare ESXi, et d’autres … j’avais déjà utilisé vSphere par le passé avec un client en flash ! lol). J’ai choisi proxmox VE 6 (PVE6), gratuit, open source, basé sur KVM et disposant de plein de fonctionnalités interressantes : cluster, snapshot, migration live, interface de gestion web, CLI, et plein d’autres choses (comme Ceph que je ne connais pas encore mais que je vais bientôt étudier).

Kimsuffi, ce sont des serveurs OVH un peu datés avec une interface de gestion minimaliste. En gros vous pouvez installer une distribution dessus et c’est à peu près tout. C’est parfait pour moi, ils proposent PVE6 justement. Je lance, je reçois le mot de passe root et en avant. Il n’y a aucune configuration à faire, je me loggue sur Proxmox et j’arrive sur l’interface de gestion :

Parfait. Maitenant pour créer sa première VM c’est la que les problèmes commencent. D’abord, il me demande un ISO, mais la liste est vide !! Après quelques recherches, je trouve, il faut la télécharger soi même en ligne de commande (Boutton « Shell »). Je prends la dernière LTS ubuntu server :

cd /var/lib/vz/template/iso; wget http://releases.ubuntu.com/18.04/ubuntu-18.04.3-live-server-amd64.iso

Je vous invites à faire un upgrade en passant de proxmox. Kimsuffi installe la v6.0 mais la v6.1 apporte des choses intéressantes, notamment le rechargement de la conf réseau.

apt update; apt upgrade

Maintenant je peux créer ma VM :

Le reste du wizard est simplissime, j’ai mis 2 coeurs, 2Go de RAM, 32Go de disque. Par contre la partie réseau, c’est la que ça s’est compliqué !! Première tentative ma VM s’installe correctement mais je n’ai pas d’accès au réseau. Ouch ! Et configurer un réseau sous linux ce n’est pas ma tasse thé. J’ai galéré. Je suis habitué sous Virtual Box à faire du NAT ou un Bridge avec mes VM et basta. Proxmox propose les même choses mais …

J’ai passé 2 jours entiers à chercher sur les forums et à tester des configurations. Le problème c’est que si vous mettez en l’air le réseau d’un serveur distant … et ben vous êtes bon pour le ré-installer from scratch.

Il y a plusieurs possibilités, installer une VM avec DHCP, utiliser « cloud init » mais le problème c’est que si je n’arrive pas à faire le truc le plus simple, je me vois mal m’engager dans des manoeuvres beaucoup plus compliquées. La plupart des tutos font des suppositions sur votre architecture et les choses évoluent vite (et malheureusement ça sera un peu pareil avec le mien). Bref, voici la solution que j’ai trouvée et qui corresponds à ce qu’on a dans le manuel proxmox. Je vous l’aie condensée en une seule ligne de commande :

cat >> /etc/network/interfaces <<EOF

auto vmbr1
iface vmbr1 inet static
        address  192.168.1.1
        netmask  24
        bridge-ports none
        bridge-stp off
        bridge-fd 0

        post-up echo 1 > /proc/sys/net/ipv4/ip_forward
        post-up   iptables -t nat -A POSTROUTING -s '192.168.1.0/24' -o vmbr0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '192.168.1.0/24' -o vmbr0 -j MASQUERADE
EOF

Et voila !

Ha non, n’oubliez pas de rebooter proxmox, sinon il ne prendra pas en compte votre nouvelle interface réseau.

On rajouter un réseau NAT « vmbr1 » qui utilises le réseau pré-configuré vmbr0 par défaut (ça peut être différent dans votre configuration) et ensuite il faut configurer la VM en manuel pour utiliser ce réseau. Le sous-réseau 192.168.1.0/24 sera utilisé (c’est à dire toutes les adresses entre 0 et 254). Les règles iptable servent à transférer de vmbr1 à vmbr0.

Par défaut dans mon fichier de configuration des interfaces j’ai ceci (et on n’y touche pas, il y a plein de tutos qui démarrent avec des IP statiques dans cette partie) :

# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

# The loopback network interface
auto lo
iface lo inet loopback

iface enp1s0 inet manual

auto vmbr0
iface vmbr0 inet dhcp
  bridge-ports enp1s0
  bridge-stp off
  bridge-fd 0

D’abord à la création de la VM pensez bien à mettre vmbr1 :

Ensuite, lors de la configuration d’ubuntu server, il va falloir mettre les bon paramètres (je passe les étapes bidons de choix de la langue) :

Continuer sans le réseau ? ha ben non, pas question, je fais quoi de mon ubuntu server si je n’ai pas le réseau ? Proxmox fournit un accès VNC, soit, mais je ne vais pas aller bien loin avec ça. Donc … à ce stade ma seule solution c’est la configuration manuelle :

C’est la qu’il faut un minimum de connaissance réseaux pour remplir ces cases :

• subnet: c’est le masque de sous-réseau, ça indique les adresses réseau autorisées
• address: c’est l’IP de la nouvelle machine dans ce sous-réseau
• gateway : la gateway c’est un peu comme votre box internet, c’est elle qui fait le routage des requettes internet. Au début je pensais qu’il fallait que je prenne cette de proxmox (donc celle de kimsuffi) avant que je ne réalise que la gateway c’est « proxmox » lui même, c’est à dire 192.168.1.1, l’adresse virtuelle que j’ai définie dans la conf réseau de proxmox.
• name server : on met généralement l’IP du serveur de google

A partir de la on fini le wizard d’installation d’ubuntu server (moi j’installe sur tout le disque avec les options par défaut). On se retrouve avec un fichier netplan comme suit (/etc/netplan/50-cloud-init.yaml) sur la VM, qui reprends la configuration qu’on a entré à la main. A la rigueur vous pourriez installer ubuntu sans réseau et le rajouter après coup en modifiant le fichier :

network:
	ethernets:
		ens18:
			addresses:
			- 192.168.1.2/24
			gateway4: 192.168.1.1
			nameservers:
				addresses:
				- 8.8.8.8
	version: 2

La, vous avez une machine qui peut se connecter au net, faire ses updates, toussa toussa. Super, mais … est-ce que le net peut communiquer avec votre machine pour autant ? Non car vous êtes en NAT, c’est un réseau privé. Donc si vous installez (comme moi) un site dessus, internet ne pourra pas le voir.

Il faut donc modifier la table de routage pour que le traffic entrant des ports 80 et 443 (les ports généralements utilisés pour server un site web) soit redirigé vers la nouvelle VM. Et pour ça il faut encore aller modifier l’interface réseau de proxmox en rajoutant ces lignes dans vmbr1 :

	post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 80 -j DNAT --to 192.168.1.2:80
	post-down iptables -t nat -D PREROUTING -i vmbr0 -p tcp --dport 80 -j DNAT --to 192.168.1.2:80
	post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 443 -j DNAT --to 192.168.1.2:443
	post-down iptables -t nat -D PREROUTING -i vmbr0 -p tcp --dport 443 -j DNAT --to 192.168.1.2:443

Cette fois on reboote proxmox et on est bon. Pour tester rapidement si votre serveur réponds bien, petite astuce, utilisé python :

python -m SimpleHTTPServer 80

Si ça réponds sur l’IP ou le nom de domaine de votre serveur, c’est que la configuration de votre VM est correcte et que vous pouvez passer à la suite !

Etape par étape.

Les prochaines fois je prévoies justement d’installer un DHCP ou un « cloud init » parce que devoir modifier la configuration du réseau et rebooter à chaque nouvelle VM ça va vite devenir ennuyeux. Mais, je compte surtout faire un article bientôt sur « rancher », pour faire du SaaS, c’est dire installer des applications web en self hosted très rapidement.

Pour terminer quelques lignes de commande très utiles pour debugger quand ça ne marche pas, parce que oui, quand je lis les tutos personne n’explique jamais quoi faire si leur tuto ne s’adapte pas bien :

Pour tester si votre machine à accès à internet et si un carte réseau fonctionne:

ping -I vmbr0 www.google.fr

Pour avoir votre table de routage (et la gateway actuelle) :

route -n

Si vous modifié (sous ubuntu server) la configuration réseau, pour le redémarrer :

sudo netplan apply

Ce n’est pas grand chose mais quand on ne connait pas (comme moi) c’est bien pratique.

Ce blog est hébergé chez OVH, sous debian 9. Par défaut les plugins de backup de wordpress (j’ai pré-sélectionné UpdraftPlus et BackWPup) me proposent de faire une sauvegarde sur disque. Bien sûr je pourrais louer de l’espace sur un cloud pour une somme modique (par exemple amazon S3 ça ferait du 24€ par mois pour 1To) mais je n’aime pas trop cette idée car je ne vais pas maîtriser mes coûts à priori. Donc, pourquoi ne pas utiliser un espace dédié sur un disque dur de ma machine, sur laquelle je vais installer un protocole qui permet le transfert de fichier ?

Dans cette série nous allons voir comment installer ce bon vieux FTP, puis comment le sécuriser avec FTPS et comment installer un S3 plus moderne avec minio. On démarre avec FTP (inspiré de ce tuto).

Attention, cette méthode n’est pas sécurisée.

Nous verrons plus tard comment faire du FTPS (FTP encrypté).

Tout dabor on va installer vsftpd et un user « remotebackup », dont on va changer le répertoire « home » pour ‘/media/yba/Working/FTP’ (le répertoire dédié aux backups sur mon disque dur « Working »):

sudo apt-get install vsftpd
sudo useradd -m remotebackup
sudo passwd remotebackup
sudo usermod -d /media/yba/Working/FTP remotebackup

Ensuite on va configurer vsftd en modifiant le fichier /etc/vsftpd.conf. On refuse les connections anonymes (il faudra donc un user/mdp pour se connecter, et on arrive directement dans le répertoire local du user) :

listen=YES
listen_ipv6=NO
connect_from_port_20=YES

anonymous_enable=NO
local_enable=YES
write_enable=YES
chroot_local_user=YES
allow_writeable_chroot=YES
secure_chroot_dir=/var/run/vsftpd/empty

pam_service_name=vsftpd

userlist_enable=YES
userlist_file=/etc/vsftpd.userlist
userlist_deny=NO

Comme on précise que la liste des users est dans le fichier /etc/vsftd.userlist il va falloir remplir ce fichier avec :

remotebackup

Enfin on lance le démon :

sudo service vsftd restart

Si votre disque dur est en FAT32 (le mien est formaté en ext4) alors pour que remotebackup puisse en faire sa home il vous faut faire dans /etc/fstab :

/dev/sdc1       /media/yba/HDD  vfat    user,umask=0000   0   0

Notez que vous devez ouvrir le port 21 et 20. Si vous êtes dans mon cas, ça se fait dans le panneau de configuration de la freebox. Sinon avec ufw :

sudo ufw allow 21/tcp
sudo ufw allow 01/tcp

Pour aller plus loin avec ufw (par exemple pour n’ouvrir qu’un port pour une seule appli ou une seule machine) je vous conseille ce tuto.

Article posté initialement sur le forum pragmatic entrepreneur. (La rédaction a été améliorée)

J’ai été CTO pour une startup Web. Du point de vue technique c’est très enrichissant : on est seul chef à bord, il faut tout gérer donc on touche à tous les domaines du web au lieu d’être confiné à une certaine expertise.

Pour ma part, j’en ai profité pour enfin pouvoir travailler proprement avec un process qualité que je n’avais jamais pu mettre en place dans les sociétés de services (tests automatisés, politique de déploiement propre, backups, etc…).
Je ne jette pas la pierre sur les SSII, elles ne font pas le même job : souvent ce sont des sites jetables, à bas coûts, alors que dans mon cas je savais que le site allait de voir vivre et évoluer plusieurs années.

D’autre part, alors qu’en SSII je devenais de plus en plus  » spécialiste de la spécialité », c’est à dire confiné à un domaine d’expertise de plus en plus restreint, en tant que CTO j’ai pu m’occuper de tous les aspects d’un site web (SEO, backup, perf, versionning, deploiment, monitoring, marketing, architecture, hébergement, ABtesting, sécurité, etc…). En plus j’ai eu la chance de participer à une ICO (sur la blockchain ethereum) qui a réussie.

Mais …
C’est donc un boulot exigeant, il faut être sur tous les fronts, et bien souvent, à n’importe quelle heure, notamment pour gérer les urgences. Ensuite on est mal payé, c’est un fait. Si la startup décolle c’est intéressant c’est sûr, mais il y a beaucoup d’échecs et contrairement aux investisseurs qui répartissent le risque sur plusieurs entreprises, le CTO en général n’en gère qu’une. Si ça « plante », il a gagné de l’expérience, mais c’est à peu près tout.

Après, de l’expérience justement, je pense qu’il faut quand même beaucoup en préalable pour gérer une startup en tant que CTO : il faut être capable de faire les bons choix, ça va de soi, mais ce n’est pas tout, il faut être capable de les expliquer. Parce que souvent, ce qui se passe c’est que les bons choix coûtent plus cher à court terme, mais moins cher à long terme et une startup c’est parfois de la survie au jour le jour. Il faut savoir gérer les demandes du “patron” qui n’est pas toujours au fait des pratiques et de la culture du web, et il faut gérer les autres développeurs, plus ou moins compétents, plus ou moins motivés, dans un environnement ultra-compétitif.