derive suite from jenkins job. cleanup + restructure code

improve output

less cleaning is enough

fix upload, add cleanup after upload, add some more comments

implement uploading, add comments

cleanup maven repo before build. set BUILD_NUMBER in version correctly

push back intregation branch if merge+build was successful

correctly detect merge triggers

rename script and add a pre-build script, to merge feature branches into integration

fixup: create debian/changelog correctly, handle master branch differently. create proper debianized version of SNAPSHOTs

fixup: create debian/changelog correctly, handle master branch differently. create proper debianized version of SNAPSHOTs

create debian/changelog correctly, handle master branch differently. create proper debianized version of SNAPSHOTs

create proper changelog entry

add tag to successful master builds

commit debian/changelog if applicable and set correct distro for feature branches

add check for valid distros and git_branches

debian_wrap_maven_results.sh: write proper changelog

debian_wrap_maven_results.sh: calculate version using maven. only require one param, not three

add debian_wrap_maven_results.sh as taken from Szymon from vdc-bundles.git, branch feature/debian

Added script to lock the testsystem.

Added switch for updating test state.

DEVINF-383: add correct version number (with epoch) to cidb

Merge branch 'develop' of ssh://git/srv/git/so/jenkins_build_script into develop

debian_build: DEVINF-383: epoch must be kept but needs quoting

Added more infos for the autotest result mail.

debian_build: reset new_version upon auto-increment packages

debian_buid.py: reset new_tag when build with autoincrement

let's assume this:
- user changes files but not version in changelog and commits
- call_jenkins accepts and triggers build
- debian_build.py figures out version / tag to create from changelog
- debian_build.py will incrase version number and pushes new HEAD back to origin
- call_jenkins will not push trigger another jenkins call
- debian_build.py will build with the new version
- tagging must happen when build was successful BUT with the new version number
  instead of the one gathered in the very first beginning of the script

debian_build: show more details of your tag checks

debian_build: issue warning in manual build instructions

move GIT_BRANCH_NAME definitions from common_code to debian_build (again)

add pbuilder and git-buildpackage configuration, incl. hooks to git

debian_build: show environment, that gbp object creates, add FIXME

debian_build: wheezy based git lib does not allow to use undefined attributes

Merge branch 'feature/multipledists' into develop

debian_build: ensure instructions are shown no matter if build was successful

debian_build: more logging when reset repository after build

debian_build: take over changes from sagunt

debian_build: when rebase failed use some more actions to recover

-------- Original-Nachricht --------
Betreff: Jenkins Build dev_vdc-bundle - failed rebase not cleaned up correctly
Datum:   Fri, 14 Jun 2013 20:33:44 +0200
Von:   Ramona Koch <ramona.koch@profitbricks.com>
Antwort an:  ramona.koch@profitbricks.com
An:   dcops <dcops@profitbricks.com>, Core <core@profitbricks.com>, Mehrdad Arifi <mehrdad.arifi@profitbricks.com>

Hi DC Ops, Hi Core, Hi Mehrdad

I just noticed, that the 'workspace' is not correctly cleaned up, if the rebase had failed.
All builds trying to merge afterwards will also fail during rebase with:

It seems that I cannot create a rebase-apply directory, and I wonder if you are in the middle of patch application or another
rebase.  If that is not the case, please
    rm -fr /var/lib/jenkins/jobs/dev_vdc-bundles/workspace/.git/rebase-apply
and run me again.  I am stopping in case you still have something valuable there.

@DCOps:
I checked your debian_build.py at:

 337             try:
 338                 src_branch = local_branch        # save the original branch
 339                 dst_branch = 'integration'       # define the new branch
 340                 local_branch = dst_branch        # reset env for
git-buildpackage
 341                 gitrepo.git.rebase('origin/' + dst_branch)
 342                 gitrepo.git.checkout(dst_branch)
 343                 gitrepo.git.pull()
 344                 gitrepo.git.merge(src_branch)
 345                 logger.info('Rebase and merge from branch "{src_branch}"
completed. Now in "{dst_branch}".'.format(
 346                     dst_branch=dst_branch,
 347                     src_branch=src_branch,
 348                 ))
 349             except Exception as error:
 350                 logger.error('Rebase has failed!', exc_info=error)
 351                 gitrepo.git.reset('--hard',src_branch)
 352                 exit_error()

and I assume that 'git reset --hard' is not enough. Probably a 'git rebase --abort' needs to be done before. If this does not work - simply removing the mentioned file will work.
Could you check, if my assumption is correct and fix it, please.

debian_build: try to get some more output when autoincrementing (doesn't work ..)

.. for successfully operations. only helps in case of error. and this might
change with the new version avl. in wheezy. haven't tested this yet.

debian_build: better logging and sort static lists

Merge branch 'develop' of git+ssh://git/srv/git/so/jenkins_build_script into develop

Added mailto token.

Merge branch 'master' into develop

Merge branch 'feature/storage-feature-branch' of ssh://git/srv/git/so/jenkins_build_script into feature/storage-feature-branch

Conflicts:
extract_storage_kernel+modules.sh

Fixed test state script.

Changed execution for liveboot_set_test_state.sh

Added build number for reporting.

Added script for setting the test state in the liveboot web interface.

Merge branch 'master' into feature/multipledists

debian_build: compatibility for 'remotes' objects in git library between squeeze and wheezy

thanks to tobias, see https://redmine.pb.local/issues/356

Added exit condition for autotest_result_mail.sh

Fix for autotest_result_mail.sh

Fix for autotest_result_mail.sh

Removed debug code from autotest_result_mail.sh

Fix for autotest script

Modified autotest result script

Added autotest mail script.

Added image link parameter

Changed to autotest link.

Added jenkins key.

Changed link creation.

Added script to set the liveboot without copy the image.

extract_storage: fix the default TARGET_NAME for feature branches

Fix a small bug. $TARGET_NAME should be set to "experimental"
by default, instead of "master".

debian_build: show help instructions for chroot debugging on either case (success AND error)

debian_build: let cd command be part of copy&pasteble commands

extract_storage: fix apt sources for master and develop

The master build job 'extract-storage-kernel-and-modules' extracts
the wrong sources. It takes the latest develop kernel as the apt
sources for 'production-proposed-updates' are missing.

So add the missing sources before installing the kernel and the
out-of-tree modules.

Fixes: DEVINF-379

debian_build: log beautifying

git_buildpackage: less logging

common_code: use __file__ not __name__

Merge branch 'feature/multipledists' of http://git/so/jenkins_build_script into feature/multipledists

debian_build: shorten name for log messages

common_code: shorten log_name if not explicitely given

debian_build: just beatuifying the instructions

debian_build: fix map

debian_build: fix gbp object usage

debian_build: let's skip trace for no-branch errors

debian_build: PLEASE also exit with error if branch was not found!

debian_build: some reorganization

debian_build: add 'name' to local repo-obj, exit if branch is not found

debian_build: change help instructions to be copy&pasteble

debian_build: fix typo

debian_build: show help instructions for package build failures

git_buildpackage: make env and command properties, usable by debian_build

debian_build: less code for trigger handling

debian_build: abort if rebase failed

debian_build: add missing closing quotes

debian_build: change forgotten variable name

debian_build: os.environ object does not allow assignment of a list

debian_build: include try/except for rebase operations

debian_build: use Jenkins parameter BUILD_TRIGGERS instead of commit message parsing

commit message is still parsed for those triggers, but this happens through
call_jenkins instead. this way jobs can use triggers no matter if recent commit
message contains the requested trigger.

debian_build: also remove "do_push" variable - it's obsolete now

debian_build: new fixes for new branching model, fix rebasing

also pushing the rebased/merged branch should only be done if all tests have
passed! hence, we shouldn't push the merged branch already in debian_build.
instead, we will try to find solutions to make jenkins push the branch using
post-build actions

debian_build: push the merged feature/-branch to integration upon successful build

common_code: reset GIT_BRANCH if it differs from GIT_BRANCH_NAME

Most jobs use GIT_BRANCH_NAME parameter to let user choose the branch to build
the package from while GIT_BRANCH contains the sha commit id of HEAD of most
recent commit (unconfirmed yet).

common_code: GIT_BRANCH_NAME = GIT_BRANCH only if not already given

debian_build: do not merge if we are on integration already

debian_build: change the way now to handle [merge] trigger

debian_build: accept integration jobs for experimental branches

debian_build: fix: correct format() usage

debian_build: fix: correct usage for format()