extract_storage: support for a new format of DISTRIBUTION variable

since several months, this script has not been able to support for
building feature branch kernels any more. It looks like $DISTRIBUTION
is now being given with a format of "dev_feature_$branchname".

To fix errors of Jenkins job dev-feature_extract-storage-kernel-and
-modules, let's make it support for dev_feature_$branchname" too.

Rename pbuilder environment variable ARCH to ARCHITECTURE.

pbuilder falsely passes all environment variables into the chroot system.
The ARCH enviroment variable causes a build failure in the ethoip6 package.

.pbuilderrc: Also consider develop-squeeze as pre-staging distribution.

Remove unused imports and replace * imports.

Cleanup the previous source packages.

Fix crash when cleaning the repository fails.

subprocess.check_call will raise an exception instead of returning non-zero.

Use --override-config to always have a correct sources.list.

Follow up commit to make the switch to gitpkg+pbuilder work.

Replace git-buildpackage by gitpkg and pbuilder.

This should fix #2744.

Revert "lib/git_buildpackage.py: Fix build failure caused by calling clean target."

This change was not enough, because pdebuild calls the clean target to a chain.
See http://redmine.pb.local/issues/2744 for details.

This reverts commit 681239fe03ab6f2f4f91f35368199ad9e7dd4880.

pxe_install.sh: bump FAI time-out to 60 minutes

This bumps the FAI time-out to 60 minutes in order to un-break gateway
auto-deploy.

Signed-off-by: Thilo Fromm <thilo.fromm@profitbricks.com>

lib/git_buildpackage.py: Fix build failure caused by calling clean target.

We do want to let dpkg-buildpackage call the clean target, because
it can fail if we do not have all build dependencies installed.
Instead we make sure that the git checkout is clean and the clean
target will be called inside the pbuilder chroot (after the
installation of the build dependencies).

debian_build.py: correct build_failed

fail after gathering reports if build has failed

support maven3 which changed output...

changes taken from sagunt:/root/

use riserver for pxe, not jerusalem anymore

remove traces of testlink, as its not used anymore

fix build failure after merge to integration branch

maven-post-build: dont trigger build if we commit ourself

maven_pre_helper: properly reset master branch. refactor a bit.

update+reset integration branch properly

liveboot: delete kernel debug archive when garbage collection ran

delete the liveboot kernel debug archive in /srv/liveboot/debug_archives
when the associated liveboot image is deleted

add script to create liveboot kernel debug archives

The script downloads the sources and debug symbols for ethoip6 and the
profitbricks-linux-pserver kernel that are installed on a liveboot.
From the extracted files a tar.xz archive is created that contains
everything what is needed to debug kernel oopses.
The archives is stored at /srv/liveboot/debug_archives on the jenkins
build server

Merge branch 'develop'

Conflicts resolved:
debian_build.py

extract_storage: fix a bug on selecting modules directory name

In the sub-script, which is externally invoked by this script,
there was a little bug like "cd /lib/modules/*storage/".
This has been working if there's only 1 directory under /lib/modules.
But after upgrading kernel 3.4.23 to 3.4.51, there could be 2 different
directories, because ANDBD package could be possibly depending on
the older version.

To avoid such situations, set the kernel modules directory just the
same as its kernel version.

extract_storage: fix a bug on selecting modules directory name

In the sub-script, which is externally invoked by this script,
there was a little bug like "cd /lib/modules/*storage/".
This has been working if there's only 1 directory under /lib/modules.
But after upgrading kernel 3.4.23 to 3.4.51, there could be 2 different
directories, because ANDBD package could be possibly depending on
the older version.

To avoid such situations, set the kernel modules directory just the
same as its kernel version.

storage_deploy: fix typo in log output

Signed-off-by: Jack Wang <jinpu.wang@profitbricks.com>

Merge remote-tracking branch 'origin/bugfix/reset-integration' into develop

Reset local integration branch before merging with the branch to be built

replace test ([ expression ]) with bash internal [[ expression ]]

retab

replace test ([ expression ]) with bash internal [[ expression ]]

correct indentations

Merge branch 'develop' of git+ssh://git/srv/git/so/jenkins_build_script into develop

we love typos

add export to ease debugging

explicitly checkout that branch

obey no-test build trigger and add figlet output

also pull in changes from origin

add support for bugfix branches

process incoming after upload

fix DISTRIBUTION replacement

be more verbose

correctly add new changelog entry

more debugging

be even more verbose

be more verbose for debugging

refactoring

add check for valid SUITE and let it default to squeeze

fixup: derive suite from jenkins job. cleanup + restructure code

derive suite from jenkins job. cleanup + restructure code

improve output

less cleaning is enough

fix upload, add cleanup after upload, add some more comments

implement uploading, add comments

cleanup maven repo before build. set BUILD_NUMBER in version correctly

push back intregation branch if merge+build was successful

correctly detect merge triggers

rename script and add a pre-build script, to merge feature branches into integration

fixup: create debian/changelog correctly, handle master branch differently. create proper debianized version of SNAPSHOTs

fixup: create debian/changelog correctly, handle master branch differently. create proper debianized version of SNAPSHOTs

create debian/changelog correctly, handle master branch differently. create proper debianized version of SNAPSHOTs

create proper changelog entry

add tag to successful master builds

commit debian/changelog if applicable and set correct distro for feature branches

add check for valid distros and git_branches

debian_wrap_maven_results.sh: write proper changelog

Merge branch 'develop' of git+ssh://git/srv/git/so/jenkins_build_script into develop

debian_wrap_maven_results.sh: calculate version using maven. only require one param, not three

add debian_wrap_maven_results.sh as taken from Szymon from vdc-bundles.git, branch feature/debian

Added script to lock the testsystem.

Merge branch 'feature/redmine507' into develop

Added switch for updating test state.

#507: make failed build not failing the jenkins job

DEVINF-383: add correct version number (with epoch) to cidb

DEVINF-383: add correct version number (with epoch) to cidb

Merge branch 'develop' of ssh://git/srv/git/so/jenkins_build_script into develop

debian_build: DEVINF-383: epoch must be kept but needs quoting

Added more infos for the autotest result mail.

debian_build: reset new_version upon auto-increment packages

debian_buid.py: reset new_tag when build with autoincrement

let's assume this:
- user changes files but not version in changelog and commits
- call_jenkins accepts and triggers build
- debian_build.py figures out version / tag to create from changelog
- debian_build.py will incrase version number and pushes new HEAD back to origin
- call_jenkins will not push trigger another jenkins call
- debian_build.py will build with the new version
- tagging must happen when build was successful BUT with the new version number
  instead of the one gathered in the very first beginning of the script

debian_build: show more details of your tag checks

debian_build: issue warning in manual build instructions

move GIT_BRANCH_NAME definitions from common_code to debian_build (again)

add pbuilder and git-buildpackage configuration, incl. hooks to git

add pbuilder and git-buildpackage configuration, incl. hooks to git

debian_build: show environment, that gbp object creates, add FIXME

debian_build: wheezy based git lib does not allow to use undefined attributes

Merge branch 'feature/multipledists' into develop

debian_build: ensure instructions are shown no matter if build was successful

debian_build: more logging when reset repository after build

debian_build: take over changes from sagunt

debian_build: when rebase failed use some more actions to recover

-------- Original-Nachricht --------
Betreff: Jenkins Build dev_vdc-bundle - failed rebase not cleaned up correctly
Datum:   Fri, 14 Jun 2013 20:33:44 +0200
Von:   Ramona Koch <ramona.koch@profitbricks.com>
Antwort an:  ramona.koch@profitbricks.com
An:   dcops <dcops@profitbricks.com>, Core <core@profitbricks.com>, Mehrdad Arifi <mehrdad.arifi@profitbricks.com>

Hi DC Ops, Hi Core, Hi Mehrdad

I just noticed, that the 'workspace' is not correctly cleaned up, if the rebase had failed.
All builds trying to merge afterwards will also fail during rebase with:

It seems that I cannot create a rebase-apply directory, and I wonder if you are in the middle of patch application or another
rebase.  If that is not the case, please
    rm -fr /var/lib/jenkins/jobs/dev_vdc-bundles/workspace/.git/rebase-apply
and run me again.  I am stopping in case you still have something valuable there.

@DCOps:
I checked your debian_build.py at:

 337             try:
 338                 src_branch = local_branch        # save the original branch
 339                 dst_branch = 'integration'       # define the new branch
 340                 local_branch = dst_branch        # reset env for
git-buildpackage
 341                 gitrepo.git.rebase('origin/' + dst_branch)
 342                 gitrepo.git.checkout(dst_branch)
 343                 gitrepo.git.pull()
 344                 gitrepo.git.merge(src_branch)
 345                 logger.info('Rebase and merge from branch "{src_branch}"
completed. Now in "{dst_branch}".'.format(
 346                     dst_branch=dst_branch,
 347                     src_branch=src_branch,
 348                 ))
 349             except Exception as error:
 350                 logger.error('Rebase has failed!', exc_info=error)
 351                 gitrepo.git.reset('--hard',src_branch)
 352                 exit_error()

and I assume that 'git reset --hard' is not enough. Probably a 'git rebase --abort' needs to be done before. If this does not work - simply removing the mentioned file will work.
Could you check, if my assumption is correct and fix it, please.

debian_build: try to get some more output when autoincrementing (doesn't work ..)

.. for successfully operations. only helps in case of error. and this might
change with the new version avl. in wheezy. haven't tested this yet.

debian_build: better logging and sort static lists

Merge branch 'develop' of git+ssh://git/srv/git/so/jenkins_build_script into develop

Added mailto token.

Merge branch 'master' into develop

Merge branch 'feature/storage-feature-branch' of ssh://git/srv/git/so/jenkins_build_script into feature/storage-feature-branch

Conflicts:
extract_storage_kernel+modules.sh