extract_storage: change way of obtaining the last develop build number

This commit includes the following bug fixes.

1. get_last_target_build_no() changes its way of obtaining the last
  build number of a given target, e.g. develop. So far the function
  has tried to get the most recent subdirectory under
  /srv/storage-kernels/develop, for example 412. However, that was
  slightly buggy, because it returned a wrong value if no subdirectory
  exists. As the subdirectories get cleaned up at the end of this script,
  such case can happen actually quite often. Therefore the solution is
  to parse tarball's filenames to get the last build number.

2. It changed how to install debian package from feature branches.
  Sometimes it's not possible to install a debian package with an
  option "-t $DISTRIBUTION", especially when $DISTRIBUTION is the one
  for feature branch. So let's add a version number to apt-get install
  command, to be more specific. i.e. "package_name=version_number"

3. A small bugfix in case of experimental distribution.
  Distribution name for sources.list should be $TARGET_NAME instead of
  $DISTRIBUTION, because $DISTRIBUTION does not indicates the name of
  an individual feature branch, since the recent change by Mathias.

4. A small bugfix. If $PB_SUITE is an empty string, set TARGET_NAME to
  master by default. Otherwise the entire script could sometimes work
  in a wrong way.

update storage-extract: use branchname to determine correct distribution

Merge branch 'feature/storage-feature-branch' into develop

update debian_build.py: new jobs with automatic changelog management

- based on changes in 59739f4 by Thilo Fromm - thanks!

extract_storage: change build number naming scheme for feature branch

This is only a temporary solution to resolve build number conflicts
on Gentoo systems. Without the change, it's nearly impossible to manage
different ebuilds for both master/develop branches and feature branches.
For the example above, new ebuilds for feature branch (build no. 150)
should be recognized as a newer version than the last develop kernel.
In reality, however, the develop kernel has its build number 395, and
the feature build number 150 will be recognized as its previous version.

To avoid such confusion, change build number naming scheme,
from a simple number to a more precise string according to a format

  $(last_develop_buildno).$(feature_buildno)

, where $(last_develop_buildno) is the most recent build number
in the develop branch, and $(feature_buildno) is the current feature
branch's build number. For example, if the last build number of develop
branch is 395, and that of feature branch is 150, then the output string
will be "395.150".

i'm really sad about having to add this disclaimer now, not adding it earlier and letting this code rott this much. its working code, yes, but unreadable too. but it's definitly not too late to clean it all up

add info about who wrote the script (and is likely able to maintain it)

install kernel first, then modules

extract_storage_kernel+modules: add support for feature branches

Now extract_storage_kernel+modules is able to copy kernel images
from feature branches. Output tar.gz file will be stored under
/srv/storage-kernels/$DISTRIBUTION/, where $DISTRIBUTION indicates
target name for a feature branch. (e.g. dev-feature-ssdcache-all)

better log message

also increment version

dont spawn an editor

Merge branch 'develop' of ssh://git.pb.local/srv/git/so/jenkins_build_script into develop

add support for auto-releases of master branch (for ri- and so-docs)

liveboot_rsync: fix filter: use recursive wildcard

liveboot_rsync: use filters and new rsync module for production

dont delete the new tar archives..

create tar archive containing everything for gentoo

Signed-off-by: Holger Levsen <holger@layer-acht.org>

Revert "liveboot_mirror: change target for DC mirror (handled by DC Manager now)"

This reverts commit 0904082c26e7a0140f98b2b0ea067422bee6d240.

directly syncing to liveboot-dcmanager module leads to erase of SSH and PXE configurations,
liveboot rsync stays at it is right now but probably we can sync to localhost to transfer
images from /srv/mirror/liveboot to the intended location of /srv/tftp/liveboot-dcmanager

liveboot_mirror: change target for DC mirror (handled by DC Manager now)

fixup linebreak in fcca1aa77828576af1ad2e76fc4d061866500efb

liveboot_gw_autotest: add platform option

Signed-off-by: Thilo Fromm <thilo.fromm@profitbricks.com>

liveboot-testlink: fix a typo which resulted in NOP

Signed-off-by: Thilo Fromm <thilo.fromm@profitbricks.com>

gw-autoetest.logparse.rules: be less picky about ignored warnings

liveboot-autotest: split compile, run into two ssh calls

Signed-off-by: Thilo Fromm <thilo.fromm@profitbricks.com>

liveboot_gw_autotest.sh: mostly stylistic changes

liveboot: TestLink build + tests integration

Signed-off-by: Thilo Fromm <thilo.fromm@profitbricks.com>

fixup: strip newline when recreating (master) changelogs. (Closes: #DEVINF-350)

liveboot_gw_autotests: also run vcb tests

use master branch of git://git/ri/autotest.git as requested by Marjan

strip newline when recreating (master) changelogs. (Closes: #DEVINF-350)

script to update jenkins scripts on sagunt

explain where liveboot-development images are

more drama

add warning if there are too many images

use less strict regex

ignore ssh warnings

ignore one warning, treat another as fatal

use ssh/scp correctly

split testdeploy script into two, seperate sending mails

dont start process in background+

force reboot+retry if the system doesnt come up correctly

new feature: console log output parsing

kill ssh-agent after using it

use ssh agendt

better sleep heuristic

liveboot autotest: work in progress

autotests: work in progress

add script to run liveboot-gw autotests from within jenkins

count existing images and issue warning if number is greater then 10

ri_linstall: show sources.list

ri testinstalls: better stats

show some system stats after installation

be less verbose

initial scripts to install cr13 and gw1301

a dns change a day keeps the bla away

output also to local console

use right serial console

pxe_riserver_setup: reboot after installation, use serial console for output

no logging for db connections

pserver2 is now pserver1301

chmod is not needed anymore

use jerusalem as pxe server

fix chmod target and visual output

make the file world readable

new script to setup pxe on riserver

fixup! use cidb_dev database for liveboot_development jobs

use cidb_dev database for liveboot_development jobs

if the env variable GIT_BRANCH == "master" the database "cidb" is used
else "cidb_dev" is used as db

switch to pb.local

fixup: fix liveboot_rsync to not fail (completly) if a destination datacenter is down (like pbb-de atm)

 fix liveboot_rsync to not fail (completly) if a destination datacenter is down (like pbb-de atm)

quickfix DEVINF-344

no info output on every cidb connection

use cidb only when using master branch, else use cidb_dev

sudo make me a sandwhich

fixup: correctly fail build on unknown sections

fixup: correctly fail build on unknown sections

correctly fail build on unknown sections

Merge branch 'develop' of ssh://git/srv/git/so/jenkins_build_script into develop

also include profile in livebuild rsync that have additional profiles used

Merge branch 'develop' of ssh://git.profitbricks.localdomain/srv/git/so/jenkins_build_script into develop

test for existing tag early and fail early, so that people dont waste their time waiting for a build which will fail later anyway.

also upload profiles to PBB which have any add. profiles specified

Merge branch 'develop' of ssh://git/srv/git/so/jenkins_build_script into develop

delete link before setting it

fix braino

whitespace fix

create pending-approval link first, then rsync again

there can only be one

fixup: fix KERNEL_VERSION parsing

fix typo

fix KERNEL_VERSION parsing

create pending-approval link

put pserver2 into the filenames of teh files when deployed to riserver. Closes: DEVINF-287

adding loglevel option - not respected yet, though

support ie9

include kernel_version in modules.tar.xz filenname

display mail headers. Closes: DEVINF-255

liveboot-testdeploy: don't deploy if mail is missing. DEVINF-253

cosmetics