The Kiwix app empowers Android users to download and view large sets of Wikipedia content on their devices while offline.

Kiwix isn’t just Yet Another Wikipedia app. Once you install it on your Android device, you can actually use it to download the whole website, and access its millions of articles even when you’re offline (or when you don’t want to use your data plan). You can also download smaller (and custom) selections of pages, if you’re short on storage space.

Providing access to Wikipedia and other Wikimedia sites to as many people as possible is one of the Wikimedia movement’s core goals. While their regular desktop, online version is enough for most users, it is inadequate for many others.

This is the reason why, throughout the movement, Wikimedians are working to diversify and facilitate access to Wikipedia and its sister sites:

• Kiwix is a software that allows users to browse full snapshots of Wikipedia (and numerous other resources) from a personal computer that isn’t connected to the internet.
• The Wikipedia Mobile App allows smartphone users to browse Wikipedia on mobile devices, save articles and much more.
• The Wikipedia Zero initiative allows cellphone users in Africa and Asia to access parts of Wikipedia without incurring data charges.
• The Kiwix-plug empowers African students to access full snapshots of Wikipedia and Wikisource right from their campus, on their own laptop or phone.

Kiwix for Android is the latest innovation in this series: This app, available from the Google Play Store or from the Kiwix website, allows users of Android-powered devices to browse offline content from Wikipedia and its sister sites.

The market of Android-powered devices is exploding. It is not limited to mobile phones and tablets, but it also powers TV, appliances, “USB computers” and an increasing range of cheap computers.

In places where connectivity is a difficult (at least 30 countries on the sole African continent), the only way to access Wikipedia content is Kiwix Desktop, but it still requires a computer and electricity. Cheap Android devices might spread more quickly, and we really want to facilitate access to free content everywhere.

That said, Kiwix for Android can also be just as useful to Westerners who want to walk around with the entirety of the world’s largest encyclopedia in their pocket (if they have a big enough SD card), accessible at no cost or data fees.

Where do I get it?

It’s very easy to use:

1. Download the app from the Google Play Store, and launch it;
2. Click on the “Open” button, select a ZIM file from the list (from your device or SD card);
3. That’s it! You’re already browsing offline content.

If you don’t already have a ZIM file, Kiwix leads you to its online repository so you can download one. You can also use any of the Books created on Wikipedia.

Being a mobile version of a feature-rich desktop software, the Android version is lightweight. It provides access to the most essential features: opening and reading a ZIM file, search with auto-completion on article titles, in-page search, random navigation, zoom in & out, and access to the mobile-friendly ZIM file catalog.

How does it work?

Kiwix for Android uses a native Android user interface in Java (which offers a nice look & feel) and is built on the Kiwix and libzim C++ code. We combine these tools using the Java Native Interface.

It’s very easy to improve the app. Just download the code from our code repository and read the COMPILE file. You don’t even need to compile the C++ code: it’s available as a pre-compiled file. You can directly start hacking the UI and easily rebuild the APK package file.

What’s next?

This is the beginning of Kiwix for mobile. This Android version was developed during a one-week hackathon sponsored by Wikimedia CH (Switzerland) and our focus was on providing a stable and comfortable experience.

Our strategy for mobile development is not set in stone. We have some ideas but are also expecting feedback from users. Give it a try, and tell us what you want: new features, new paradigm, new platform target, etc.: We’ll try to make it happen.

Beside the Kiwix app itself, we are also working to provide more content in the ZIM format, so that every Kiwix-enabled device can become a large library of free content.

About Kiwix

Kiwix is an offline content reader working with ZIM (OpenZIM) files. It works on Windows, Linux, Mac and now Android. Additionally, it is available as a Web Server solution and powers the Afripedia Plugs.

Renaud Gaudin, Kiwix Developer

The Afripedia project was initiated in late 2011, and engaged Wikimédia France, the Agence Universitaire de la Francophonie (AUF) and the Institut Français (IF). Kiwix also supplied technological support.

The partnership, which was signed in June 2012, started materializing in November 2012 in Abidjan, Côte d’Ivoire.

What is the project about?

The Afripedia project aims to enable significant off-line consultation of Wikipedia and also to train contributors in French-speaking African schools and universities.

Hardware for Afripedia project.

Our starting point was the fact that, although African universities have begun to be well-equiped with computer hardware, their Internet connectivity is often poor, or at least too weak or irregular to allow frequent, natural use of Wikipedia. These issues and lack of Internet access at home are factors that prevent students and teachers from using Wikipedia as much as they might like.

It was important for us to combine the dissemination of Wikipedia with contribution trainings so that students and teachers could contribute to Wikipedia and enhance content about Africa, which is notably under-represented on Wikipedia (only 2 percent of contributors are from Africa, and most of them from North African countries). Thus, when quality Internet access comes, Wikipedia contributors will be ready.

Using Kiwix, which has been offering off-line consultation of Wikipedia for several years, we implemented a computer deployment project to broadcast Wikipedia through offline WiFi networks. This mechanism, in place in universities of West Africa and Central Africa, allows people from those universities to connect easily to the network and freely read Wikipedia without an Internet connection or desktop computer. A more detailed description is available on Wikipedia: projet Afripédia.

What have we done?

Afripédia training, Abidjan, 2012.

With the help of AUF, we hired about 15 people from French-speaking digital campuses in 11 African countries: Senegal, Benin, Ivory Coast, Burkina Faso, Chad, Central African Republic, Mauritania, Niger, Togo, Mali and Burundi. From 5-9 November 2012, training took place at Abidjan’s French speaking digital campus, located in the Université Félix Houphouët-Boigny in Cocody (Ivory Coast). Over five days, we taught how to use and install the Wikipedia offline consultation tools. We also taught Wikipedia editing, explained concepts such as free licences and introduced the various Wikimedia projects. The week ended with a public lecture available to students (around a hundred people attended), and a contribution workshop animated by the people trained during the week.

These few days of training showed the need for developing best practices, which where not necessarily identified before. For example, the importance of a future offline export of Wikisource at the next content update would be very useful for accessing classical texts for French-language litterature teaching. There was also interest in an offline Wikipedia implemented directly on university servers, so that people who do not have WiFi access can consult the encylopedia on the university intranet.

We paid particular attention to the project follow-up, including the personal investment of each trainer, who has to master Wikipedia and the Wikimedia projects in order to teach these concepts efficiently to the local communities.

How far have we gotten two months later?

This report comes some weeks after the training in Abidjan in order to take a step back after the initial enthusiasm.

Afripedia training in Niamey, Niger.

The situation is different depending on the country. For example, in Burundi and Abidjan, strikes in the university heavily slowed the implementation of the project in November. Elsewhere, however, installations and trainings were a success. In other countries, for planning reasons, the project will begin in January.

• For example in Chad, offline Wikipedia has been available since mid-November in the Campus Numérique francophone (CNF — French-speaking digital campus) of N’Djamena and trainings for the use of Wikipedia were organized by Francis Beninga Deouro, technical manager of CNF of N’Djamena.
• The same in Mali, where Michel Namar, manager of the CNF of Bamako, is leading an intensive action around the project: deployed it on the server of the Bamako University as well as in the Ecole Normale Supérieure of Bamako, Wikipedia is available through WiFi thanks to the plug-computers. Deployments are currently being organized in Segou (in central Mali).
• In Senegal, Stefano Mekoudi is having a strong presence promoting the project and sharing information, especially taking the opportunity given by the “Carrefour des Possibles” forum that was held in Dakar at the end of November 2012.
• Benjamin Sia, the person responsible for trainings at the CNF of Ouagadougou, Burkina Faso, established a system and created posters in both universities of the city to inform students of this new opportunity to consult Wikipedia. Training for contributors is scheduled in January.
• Thanks to Abdoul Kane’s work, the system has been installed on a server and at the IT department of the University of Nouakchott, Mauritania.
• Offline Wikipedia is also available in Niamey (Niger), thanks to Mariama Abdoul-Moumouni in the CNF and the university.

The first statistics about offline page requests and activity on Wikipedia are expected by mid-february.

Each trainer who attended the training in Abidjan in November is expected to become a regular contributor and also develop the contribution within their own university. The number of contributions was closely tracked for two month and first results are very encouraging:

• After Abidjan, 15 active contributors were identified thanks to the Afripedia project. By mid-January 58 contributors made at least a contribution to Wikipedia in addition to 71 new accounts created.
• Within a month, 233,700 bytes of text were published on Wikipedia, with around 600 distinct contributions. More than 85 articles were created, and more than a hundred modified.
• More than twenty pictures have been uploaded to Wikimedia Commons, illustrating mostly daily practices or architectural elements.
• Very few articles have been deleted thanks to kind and watchful support provided by more experienced contributors who acted as “Afripedia sponsors.”
• Contributions related to the project are available here: Projet Afripédia/Contenus
• Informations can also be tracked on twitter: @Afripedia

Conclusion

One month after the first deployment, and a little more than one year after the beginning of the project, we are pleased to note that it seems to have fulfilled its objectives.

• It meets a true need of accessing Wikipedia’s ressources online and offline, especially for some universities that do not have internet access—like those in Niger, for example.
• The CNF staff trained in Abidjan got really involved in the project, with both dissemination and contributions. Their energy when they came back to their respective countries indicates that the Afripedia project can be efficiently led from the CNF in Central Africa and West Africa.
• The training week in Abidjan brought out new ideas and improvements that we will try to implement shortly.
• The project was well-covered by the French speaking press (technology and Africa focus) and the bloggers from the Ivory Coast. It was also circulated to countries where we weren’t represented, raising great interest. For example, the CEDESURK network in the Democratic Republic of Congo (helped by Wikimedia France and Kiwix), is installing an off-line Wikipedia on its servers in the universities of Kinshasa and Lubumbashi, in advance of full deployment in the eight universities of the country and implementation of a training program.

A second step is necessary to expand the project to the countries of French-speaking Africa that aren’t part of Afripedia yet. This will probably take place in Spring 2013. It will also be an opportunity to review the project in further detail with the people who were already very involved, so as to facilitate Wikipedia access and expand African contributions to the Wikimedia projects.

Adrienne Alix, Wikimedia France
(Translation from French by Wikinade, Adrienne, PierreSelim, Mariiwakura, Seb35, and Chamatou)

Logo Afripédia

Signé officiellement en juin 2012, il a pris une réalité concrète au début du mois de novembre 2012 lorsque le premier déploiement a été effectué à Abidjan, en Côte d’Ivoire.

En quoi consiste le projet ?

Afripédia est un projet qui a pour ambition de permettre une consultation hors-ligne massive de Wikipédia, et également une formation à la contribution, dans les universités et écoles d’Afrique francophone.

Nous sommes partis du constat que les universités africaines commençaient à être bien équipées en matériel informatique mais que la connexion internet était trop souvent de mauvaise qualité, trop faible ou trop irrégulière pour permettre une consultation fréquente et naturelle de Wikipédia : débit insuffisant, coûts élevés, absence de connexion à domicile pour la majorité de la population, ces facteurs font que les étudiants et les enseignants n’ont pas la possibilité de consulter Wikipédia autant qu’ils le souhaiteraient.
Pour autant, internet est tout de même présent (même si de qualité médiocre) dans une grande part des universités notamment par le biais des campus numériques francophones de l’Agence universitaire de la Francophonie, et il nous semblait important de coupler la diffusion de Wikipédia à des formations d’apprentissage à la contribution, afin que les étudiants et enseignants puissent, lorsqu’ils en ont la possibilité, contribuer à Wikipédia et notamment enrichir les contenus concernant l’Afrique, notoirement sous-représentée sur Wikipédia (à peine 2% des contributeurs contribuent depuis l’Afrique, et pour une grande part ils viennent du Maghreb). Ainsi, lorsqu’un accès plus facile à un internet de meilleure qualité deviendra chose courante, il y aura déjà des contributeurs à Wikipédia sur ces territoires.

Dispositif de diffusion hors-ligne Afripédia - Photo Marie-Lan Nguyen - CC-BY-SA 2.5

Avec l’aide de Kiwix, qui depuis plusieurs années propose une consultation hors-ligne de Wikipédia, nous avons donc mis en place un projet de déploiement de plugs computers diffusant Wikipédia par des réseaux wifi hors-ligne. Ce dispositif, installé dans les universités d’Afrique de l’Ouest et Afrique centrale, permet aux personnes fréquentant l’université de se connecter facilement sur le réseau et de consulter Wikipédia à leur guise, sans avoir besoin de connexion ni d’occuper un poste informatique fixe.

Le projet est décrit plus longuement sur Wikipédia : projet Afripédia.

Concrètement ça se passe comment ?

Nous avons sélectionné avec l’aide de l’AUF une quinzaine de personnes venant des campus numériques francophones de 12 pays d’Afrique francophone : Sénégal, Bénin, Côte d’Ivoire, Burkina Faso, Tchad, Centrafrique, Mauritanie, Niger, Togo, Mali et Burundi. Du 5 au 9 novembre 2012, une formation a eu lieu au campus numérique francophone d’Abidjan (Côte d’Ivoire), situé au sein de l’université Félix Houphouët-Boigny à Cocody. Le schéma choisi est celui de la « formation de formateurs », afin de favoriser l’essaimage et la diffusion du projet.

Pendant 5 jours nous avons à la fois formé à l’utilisation et au déploiement des solutions de consultation hors-ligne de Wikipédia, mais également pris le temps d’apprendre à contribuer sur Wikipédia, expliqué les licences libres, présenté les différents projets Wikimédia etc. La semaine de formation s’est terminée par une conférence grand public ouverte aux étudiants (une centaine de personnes présentes) et un atelier de contribution pour ces étudiants, animé par les personnes formées dans la semaine.

Formation au CNF d'Abidjan, novembre 2012 - Photo Kongraoul - CC-BY-SA 3.0

Cette semaine de formation a été extrêmement riche de rencontres humaines, mais aussi d’enseignements de chacun à propos de Wikipédia, de la situation des différentes universités en Afrique francophone, et plus généralement sur la contribution africaine à la mise en ligne de contenus à destination de tous sur Wikipédia ou ailleurs.

Ces quelques jours de formation commune nous ont permis également de faire remonter des pratiques ou des besoins qui n’avaient pas forcément été identifiés auparavant, parmi lesquels l’importance d’ajouter un export hors-ligne de Wikisource à la prochaine mise à jour des contenus (très utile pour l’accès aux textes classiques pour l’enseignement de la littérature francophone à l’université), mais également l’intérêt d’une installation de Wikipédia hors-ligne directement sur les serveurs des universités afin que la consultation puisse également se faire par intranet pour les personnes ne disposant pas de port wifi sur leurs ordinateurs.

Un accent particulier a été mis sur le suivi du projet, la remontée de statistiques de consultation et de contribution, mais également sur l’investissement personnel de chaque formateur formé, qui doit apprendre lui-même à bien maîtriser Wikipédia et les projets Wikimédia pour pouvoir efficacement relayer ces savoir-faire localement. Les objectifs ont été définis en commun à la fin de la formation et font l’objet d’un suivi régulier.

Un mois après, où en est-on ?

Volontairement ce compte-rendu arrive quelques semaines après la formation à Abidjan, pour pouvoir prendre un peu de recul sur le projet, une fois l’enthousiasme du moment passé.

La situation est différente selon les pays : au Burundi et à Abidjan notamment, des grèves à l’université ont fortement ralenti le déploiement du projet durant le mois de novembre. Ailleurs, installation et formation battent leur plein. Dans d’autres pays encore, pour des questions de contraintes d’emploi du temps, le projet ne démarrera réellement qu’en janvier.

Formation Afripédia à l'université de Ndjamena - Photo Francis Beninga Deouro - CC-BY-SA

Par exemple au Tchad, Wikipédia hors-ligne est accessible depuis mi-novembre au Campus numérique francophone de Ndjamena et des formations à l’utilisation de Wikipédia ont été organisées par Francis Beninga Deouro, responsable technique du CNF de Ndjamena.

De même au Mali, Michel Namar, responsable du CNF de Bamako, mène une action intensive sur le projet : déployé sur serveur à l’université de Bamako ainsi qu’à l’école normale supérieure, Wikipédia est également accessible par wifi grâce au plug computer. Des déploiements sont en cours d’organisation à Ségou (centre du Mali).

Michel a également mis en place des ateliers de contribution à Wikipédia tous les vendredis matin au Campus de Bamako.

Au Sénégal, Stéfano Amekoudi est très présent pour faire la promotion et l’information sur le projet, notamment lors du forum Carrefour des Possibles à Dakar à la fin de novembre 2012.

Benjamin Sia, responsable des formations du CNF de Ouagadougou au Burkina Faso, a installé le dispositif et créé des affiches dans les deux universités de la ville pour informer les étudiants de cette nouvelle possibilité de consulter Wikipédia. Des formations à la contribution sont prévues pour janvier.

En Mauritanie, le dispositif est installé sur serveur et au centre de ressources informatiques de l’université de Nouakchott grâce au travail d’Abdoul Kane.

Les premières statistiques de consultation de Wikipédia via les plugs hors-ligne sont attendues pour mi-février.

Chaque « formateur-formé » présent à Abidjan début novembre a également comme tâche non seulement de devenir un contributeur régulier, mais aussi de développer la contribution au sein de son université. Nous suivons donc la progression des contributions depuis un mois et le résultat est extrêmement encourageant :

• en quittant Abidjan il y avait 15 contributeurs actifs identifiés comme contribuant grâce au projet Afripédia ; mi-décembre ils sont 44 contributeurs à avoir effectué au moins une contribution sur Wikipédia (et plus d’une soixantaine de comptes créés).
• en un mois, 178 000 octets de texte ont été publiés sur Wikipédia, en près de 450 contributions distinctes. Plus de 60 articles ont été créés et plus d’une centaine modifiés.
• plus d’une vingtaine de photos ont été téléversées sur Wikimédia Commons , illustrant notamment des pratiques quotidiennes ou des éléments architecturaux.
• très peu d’articles supprimés, et un soutien attentif et bienveillant de la part de contributeurs anciens de Wikipédia, identifiés comme « Parrains Afripédia ».

Les contributions des participants au projet sont à suivre ici : Projet Afripédia/Contenus

On peut également suivre les informations sur le projet sur twitter : @Afripedia

Conclusion

Affiche Afripédia à Bamako

Un mois après le premier déploiement, un peu plus d’un an après le démarrage du projet, il est heureux de constater que celui-ci semble répondre à ses objectifs :

• il répond à un vrai besoin d’accès aux ressources de Wikipédia en ligne et hors ligne, notamment pour certaines universités qui n’ont pas du tout accès à internet (au Niger par exemple)
• les personnels des CNF formés à Abidjan se sont réellement approprié le projet, pour la diffusion comme pour la contribution, et leur dynamisme à leur retour dans leurs pays montre que le projet Afripédia peut être efficacement mené depuis les CNF d’Afrique centrale et de l’Ouest.
• la semaine de formation à Abidjan a faire émerger de nouvelles idées, de nouvelles améliorations à apporter au dispositif, que nous essaierons de mettre en place rapidement.
• le projet a été bien relayé par la presse francophone (technologique et africaniste) et les blogueurs ivoiriens. Mais il a également été diffusé dans les pays pour lesquels nous n’avons pas encore de présence, suscitant un intérêt marqué. Par exemple, le réseau CEDESURK en République démocratique du Congo, aidé par Wikimédia France et Kiwix, est en train de déployer Wikipédia hors-ligne sur ses serveurs dans les universités de Kinshasa et de Lubumbashi, avant de passer à un déploiement généralisé dans les 8 universités du pays et à un programme de formation à la contribution.

Un deuxième temps de déploiement est nécessaire pour élargir le projet aux pays d’Afrique francophone qui n’ont pas encore été intégrés dans Afripédia. Il aura probablement lieu au printemps 2013. Ce sera également l’occasion d’approfondir le projet avec ceux qui se sont déjà beaucoup investis, afin de développer encore l’accès à Wikipédia, et la contribution en provenance d’Afrique sur les projets Wikimédia.

Audience measurement

To measure Web audience, there are two approaches:

• Insert a "plugin" (dynamic image or javascript code) on each web page. Every time a web page is loaded, it stores the page name, date and details about the visitors browser in a database. This is extremely efficient and there exist many free offers on the Web to do that; but this method has two disadvantages. First, if you use free commercial tools, like Google analytics or Xiti, you actually sell the privacy of your users. Second, this approach is inefficient to measure file downloads because no web page is involved. To avoid the first one, you can install a free solution like Piwik, which is pretty neat, on your own server; this will avoid informing a third part about your visitors. Unfortunately, you cannot overcome the second problem.

• Configure your web server to log everything and parse afterwards the log. There is a free software to do that: AWstats. AWstats is pretty old and not practical at all. In addition, I failed to configure it so that it merges multiple requests from an IP on one file in only one record (big files are downloaded in chunks).

Our case

We have been using Piwik for many years for our web site and we are really satisfied with it: it's practical, quick enough and maintained. Our problem is focused on http://download.kiwix.org. Our case is even a little bit worse, because, in fact, we do not really host our files. download.kiwix.org acts as master redirecting requests to mirrors. It uses a solution called Mirrorbrain. In addition to its many weaknesses, AWstats is not able to deal correctly with HTTP 301 and 302 redirections.

We have decided to put everything in Piwik, because it is better to have everything in one tool and also because this is the best one to visualise logs. We have now for both sites:

• A central place to view logs
• All the features of Piwik

Our solution

We have installed Piwik and inserted the mandatory piece of code on http://www.kiwix.org to track the visitors visiting our web site. This is easy and straight forward. Then we created in Piwik a second site for http://download.kiwix.org (one instance of Piwik can deal with statistics of many sites).

Later, we configured the Apache virtual host with Mirrorbrain to save logs on the hard disk and let it run for a few days.

Finally, we wrote a custom PHP script to upload the logs to Piwik, using a Piwik PHP class called PiwikTracker.php. Here are its features:

• Parse all log files for a web site (also all .gz files of logrotate)
• Able to start from scratch to upload all logs
• Able to "follow" the log file an update in real time Piwik.
• Count HTTP redirections (HTTP 301 and 302) errors as valid downloads (mandatory for Mirrorbrain)
• Merge multiple similar requests to one (only one download for one content per IP in one month)
• Avoid counting request for directories, md5 checksum, favicon, ...
• Re-upload only new logs by two consecutive runs
• Works with both Apache and Nginx
• Configurable on the command line with arguments
• Warning: it cannot report about the number of downloads completed.

This script is for our own purpose, but I think it's pretty simple to reuse it; it's pretty simple and you should not need to adapt it too much. Hope this was helpful!

This post is available in 2 languages:

français  • English

In English

Signing the partnership agreement for Afripedia

In mid June, Rémi Mathis, chairman of Wikimédia France, signed a partnership with the Agence Universitaire de la Francophonie (Association of Universities of the Francophonie – AUF) and the Institut Français (IF) to support a project called Afripedia. This initiative supports the development of Internet access in countries where, for now, the network is not stable and affordable enough. In French-speaking Africa, where most people have limited, expensive and poor quality access to the Internet, the goal is to encourage contribution and access to free knowledge. Wikimédia France intends to support future local contributor communities to move Wikipedia forward in French and in local languages.

The partnership is facilitated by the work of Kiwix developers, who for several years have been facilitating offline versions of Wikipedia in various languages. Utilizing the Kiwix platform, content from Wikipedias in different languages can be downloaded and shared all over the world to be used in diverse ways.

For Afripedia, Wikimédia France –working with Kiwix, the AUF and IF — will establish offline WiFi systems in areas where internet is not prevalent. The system essentially works like an Intranet. We will install small computers (Plug Computers) without screens or keyboards, which are very energy-efficient. Then we will connect a flash drive with the content of Wikipedia (and maybe other Wikimedia projects, like Wiktionary, etc.) and all the content will be shared by WiFi with all the computers that receive the WiFi network. To update content, you just have to update the original flash drive and every computer will receive the new information. We think that this system is better than the traditional sharing of content with flash drives or DVD, because it allows for easier and more accessible updates.

In a lot of countries, the AUF has a network of digital campuses near universities. We are in partnership with the AUF in order to benefit from that network and logistical help. We will start by setting up the project in about 20 universities in 15 countries in West-Africa and by training the staff to use Wikipedia, especially for educational use.

But we also want to encourage contribution by African people on African topics, given that there is too little coverage of those on Wikipedia. For this purpose, while we develop the offline dissemination of Wikipedia, we will organize tutorials and workshops to make it easier to contribute and collaborate with the Wikipedia community. With this training, we’re hopeful users will be able to contribute more easily when their internet connection allows them to do so.

If the project goes well, we intend to develop it further in 2013 with help from the AUF and IF. We’re starting with universities, but we can consider sharing Wikipedia content this way in schools, cultural centers and even (with wireless repeaters) in residential areas and villages.

This is a particular and unique experience for us to take part to this kind of project. It is very interesting to work with institutions with extensive experience in educationnal and cultural development. Since we have announced this partnership, and based on coverage in African media outlets, we have received several contacts from associations or people involved in cultural development. This should allow us to support new communities of contributors (and maybe future wikimedia chapters?) in these countries.

We look forward to updating you on our progress as the initiative proceeds.

Adrienne Alix, Director of programs, Wikimédia France

En français

Le 15 juin dernier, Rémi Mathis, président de Wikimédia France, a signé un partenariat avec l’Agence Universitaire de la Francophonie et l’Institut Français pour le lancement d’un projet appelé Afripedia.

Ce projet consiste à diffuser les contenus de Wikipédia le plus efficacement possible en Afrique francophone, où le prix et la qualité de la connexion à internet ne sont aujourd’hui pas satisfaisants pour la plus grande partie de la population.

Depuis plusieurs années, les développeurs de Kiwix travaillent pour créer des versions hors-ligne de Wikipédia dans de nombreuses langues. Ces contenus sont ensuite téléchargés et distribués un peu partout dans le monde pour de nombreux usages.

Avec Kiwix, l’AUF et l’IF nous avons travaillé à un projet qui permet de diffuser le contenu de Wikipédia de façon massive grâce à un système de wifi hors ligne. Nous installerons des petits ordinateurs (Plug Computer) sans écran ni clavier et qui se branchent simplement sur une prise de courant, très économes en énergie. On branche ensuite une clé USB contenant le contenu hors-ligne de Wikipédia (et pourquoi pas d’autres projets Wikimédia comme le Wiktionnaire) dessus et tout est diffusé par wifi sur tous les ordinateurs du secteur qui sont branchés sur ce réseau.

Ainsi le système fonctionne comme un intranet. Pour mettre à jour le contenu, il suffit de mettre à jour une seule clé USB et tous les ordinateurs bénéficient immédiatement de cette mise à jour. Ce système est avantageux par rapport aux traditionnelles diffusions de clés USB ou de DVD parce qu’il met à disposition des mises à jour de façon beaucoup plus faciles et accessibles.

L’AUF gère dans un grand nombre de pays des campus numériques situés dans les universités affiliées à son réseau d’univeristés francophones. Nous sommes donc en partenariat avec eux pour bénéficier, au départ, de leur réseau et de leur logistique. Nous allons commencer par installer ces dispositifs dans une vingtaine d’universités situés dans une quinzaine de pays d’Afrique de l’Ouest et former des personnels de ces universités à l’utilisation de Wikipédia, notamment dans un cadre pédagogique.

Mais nous souhaitons aussi favoriser la contribution sur Wikipédia, par les africains et sur les sujets africains, qui sont pour l’instant bien trop peu nombreux sur Wikipédia. C’est pourquoi en même temps que nous allons développer cette diffusion hors ligne de Wikipédia, nous allons organiser des ateliers d’apprentissage à la contribution. Ainsi, les personnes formées pourront plus facilement contribuer lorsque leur accès à internet le permet.

Si le projet fonctionne bien, avec l’aide de l’AUF et de l’Institut français nous pensons le développer davantage en 2013. Nous commençons avec des universités mais il est tout à fait envisageable de diffuser ainsi le contenu de Wikipédia dans des écoles, des centres culturels, ou pourquoi pas (avec des répéteurs wifi) sur des quartiers d’habitations ou des villages.

C’est une expérience unique et particulière pour nous de participer à ce type de projet. C’est vraiment intéressant de travailler avec des institutions qui ont une longue expérience dans l’éducation et le développement culturel. Depuis que nous avons annoncé ce partenariat, relayé sur les médias africains, nous avons reçu plusieurs contacts d’association ou de personnes investies dans le développement culturel. Cela peut nous permettre de soutenir de nouvelles communautés de contributeurs (et peut être de futurs chapitres Wikimédia ?) dans ces pays.

Nous donnerons bien sûr des nouvelles de ce projet au fur et à mesure de son avancement.

Adrienne Alix, directrice des programmes, Wikimédia France

• A Desktop software for browsing offline content with ZIM on Mac, Windows and Linux.
• A Server allowing to serve ZIM content on those platforms + arm Linux.
• A library of ZIM files for popular content: Wikipedias, Wikileaks, etc.
• Very few developers (most of the time it's 2).
• Very large (and growing) number of users.
• “Small” code base (about 50,000 lines of code).

So far, all this was maintained by hand, the ZIM files are created from a complex procedure of scripts and mirror setups, the releases are created manually on all platforms, etc.

You got it, it's difficult to keep up with improving the software, fixing bugs, generating new content ZIM files, building and testing the software on all platforms.

Our first step into the right direction was getting the translations done on TranslateWiki and it got us to ship Kiwix now with 80+ languages.

Thanks to sponsorship by Wikimedia CH, we decided to first tackle the build problem as it's the most annoying.

The Problem

Kiwix releases on the following:

• Mac OSX 10.6+ Intel Universal (Intel 32b, Intel64b)
• Linux 32b “static“ (no dependencies)
• Linux 64b static
• Sugar .xo for OLPC
• Windows 32b.
• Armel5 (kiwix-serve only)
• Source code.
• Debian wheezy package 32b.
• Debian wheezy package 64b.
• Linux 32/64b with dependencies (used to be a PPA for Ubuntu until they removed xulrunner).

Knowing that only reg has a Mac, that the Windows setup for building Kiwix is complicated and that both Kelson and reg are using Linux, testing and distributing new versions of the code is very difficult.

This is not a unique problem ; most large multi platform softwares faces the same issue and we did nothing but imitate them: we deployed a build farm.

The Solution

The solution looks like the following schema: a bunch of Virtualbox VM, a Qemu one for arm, buildbot on all of them.

As you can see, the builbot master controls all the slaves which creates their own builds and sends them to the Web server's repository.

Buildbot

A compile farm is a set of servers ; each building a platform or target of the software. To manage those, [a large number of software|http://en.wikipedia.org/wiki/Comparison_of_continuous_integration_software\ exist.

After some research, we chose Buildbot because:

• It seemed easy to install
• It looked very powerful
• Its documentation was clear.
• It's written in Python (including the configuration file).

The deal-maker was really the tutorial on the website wich allowed us to imagine the required steps without to actually get our hands dirty.

The Python configuration file is a great feature as it allows a very flexible configuration without a dedicated syntax.

Builbot is divided into two softwares:

• the master which holds the whole configuration (the only file you care about).
• slaves which only needs to run the slave software (python). Those are logic-less.

Kiwix already rent a very powerful server in a data center for serving downloads. We used it to hold everything.

VirtualBox

All the build slaves (except for the arm target which is not supported by VBox) are VirtualBox Virtual Machines (VM):

• 512MB RAM
• 20GB HD
• 2 NIC: NAT for accessing Internet (dhcp) ; Host-only for buildbot (Fixed local IP).

OSX VM is 1GB RAM and 40GB HDD.

All the VMs were installed through VRDP (VNC-like protocol) until the network is configured and ssh access is enabled.

See also: VM Setup

QEmu

QEmu was required to get an armel VM. We used aurel32's debian images.

Note: In order to ease the SSH connexion, halt and start of the VMs, we wrote a wrapper script around VirtualBox.

Configuring and running

Configuring buildbot is pretty straightforward once you know what you want to do. Configuration is composed of the following components:

• Slave definitions (name, login, password)
• Builders: targets composed of steps (commands) executed on a slave.
• Schedulers: Triggers for when to start builders.
• Status: What to do with output of builders.

The hard part is defining the builders as this is where you indicate how to retrieve source code, launch your configure script, compile, and tranfer your build somewhere else.

Take a look at ours as an example: master.cfg

We don't use any advanced feature so it's easy to understand. We chose:

• fixed time daily to run our builds (at night – server time)
• builds (tarball, etc) are uploaded to the server's /var/www/ for direct web access.

Buildbot handles the transfer of files between master and slave.

• We can trigger builds at any time from the web interface.
• We list build results on the web page and by mail in a dedicated mailing-list.
• Builds are announced and controllable by the IRC bot.

Although it's simple, it takes a lot of tweaks and tests (fortunately it's easy) to get the configuration as wished, you need to have a proper and documented build mechanism for all your targets otherwise you'll probably go crazy. We completed a complete rewrite of our autotools Makefiles for all platforms before we setup buildbot. It sounds dumb but it's worth noticing.

Outcomes:

• Every day, a new release for all targets available for download ; properly named with the SVN revision and the date.
• Ability to fire a build at any time from the Web UI.
• Kiwix to be integrated into Debian sid in the coming days (and thus in the next stable release).

Things you should know:

If you intend to reproduce, here's a few things we've learned and want to share.

• Installing OSX on non-Mac hardware is tricky: you need a recent Intel CPU (support for VTx) but not too recent otherwise your OSX Install DVD won't know about it (and refuse to install).
• On OSX, Apple packages (MacOSX updates, XCode) have an expiration period. If you install an XCode version 2 years (that's an example) after it's been released, the installer will fail with no useful feedback. It's due to the package's signature being too old. You can still install it by unpacking/repacking the packages.
• SSH to your QEmu VM is done using a QEmu proxy so you ssh to localhost on a different port.
• VRDP requires a good connexion if you intend to do a lot of configuration inside Windows (384k clearly is a pain!).
• Buildbot slaves freezes frequently. Not sure why but sometimes it fails to answer to build request and stays attached doing nothing. As a workaround, we delete and recreate the buildbot slave folder daily in a cron job.
• Buildbot slaves have network issues some times. We're not sure if it's related to buildbot, VBox or something else but it's frequent that the slave can't checkout the source tree or can't download our dependencies from the web.
• Windows slave frequently loose connexion to the master. Might just be a Windows configuration issue.

What's Next?

• Improve our wrapper script to handle VRDP access to VMs by controlling iptables.
• Add SSH to the Windows slave so we can do basic tests in console.
• Investigate the network/slaves problems so that it works 24/7.
• Automate & build a similar platform for the creation of ZIM files so we can focus only on code thereafter.

El potencial social de Kiwix es inimaginable, ya que pone en contacto directo a cualquier persona/comunidad con información de alta calidad, diversidad y libre en lugares donde no existe acceso a las telecomunicaciones.

Kiwix esta diseñado para poder ser utilizado en situaciones donde los equipos de computo no posean grandes recursos, ya que con el uso del micro-servidor integrado es posible correr una sola copia de Kiwix y la(s) imagen(es) ZIM dentro de una red local, siendo esta característica muy útil dentro de las salsas de computo, bibliotecas, laboratorios, dispositivos móviles, etc. Al unificar el consumo de espacio y procesamiento a un solo equipo.

Esta nueva versión, 0.9.0 beta5, disponible para GNU/Linux, Mac, Windows viene junto con una nueva imagen ZIM de toda la Wikipedia en español.

Sí… leíste bien, toda la enciclopedia Wikipedia ahora esta disponible en imágenes ZIM para Kiwix, esta imagen de ~10 GiB esta disponible desde el sitio web de Kiwix, de misma manera lo esta Wikipedia en otros 24 idiomas.

Ahora ya lo sabes, Kiwix viene con todo este 2012, contamos con tu apoyo y difusión para lograr una nación culta y con acceso a las tecnologías de la información.

Aun hay más proyectos cocinandose dentro de Kiwix, mantente en informado:

• Kiwix Planet
• Kiwix en Identi.ca
• Kiwix en SourceForge

A opinión del autor: Si Kiwix ya es parte de las aplicaciones oficiales educativas en diversos países informáticamente autónomos, ¿por que no puede ser implementada en México, que gastamos miles de millones de pesos en Enciclomedia?.