DEVINF-383: add correct version number (with epoch) to cidb

Merge branch 'develop' of ssh://git/srv/git/so/jenkins_build_script into develop

debian_build: DEVINF-383: epoch must be kept but needs quoting

Added more infos for the autotest result mail.

debian_build: reset new_version upon auto-increment packages

debian_buid.py: reset new_tag when build with autoincrement

let's assume this:
- user changes files but not version in changelog and commits
- call_jenkins accepts and triggers build
- debian_build.py figures out version / tag to create from changelog
- debian_build.py will incrase version number and pushes new HEAD back to origin
- call_jenkins will not push trigger another jenkins call
- debian_build.py will build with the new version
- tagging must happen when build was successful BUT with the new version number
  instead of the one gathered in the very first beginning of the script

debian_build: show more details of your tag checks

debian_build: issue warning in manual build instructions

move GIT_BRANCH_NAME definitions from common_code to debian_build (again)

add pbuilder and git-buildpackage configuration, incl. hooks to git

debian_build: show environment, that gbp object creates, add FIXME

debian_build: wheezy based git lib does not allow to use undefined attributes

Merge branch 'feature/multipledists' into develop

debian_build: ensure instructions are shown no matter if build was successful

debian_build: more logging when reset repository after build

debian_build: take over changes from sagunt

debian_build: when rebase failed use some more actions to recover

-------- Original-Nachricht --------
Betreff: Jenkins Build dev_vdc-bundle - failed rebase not cleaned up correctly
Datum:   Fri, 14 Jun 2013 20:33:44 +0200
Von:   Ramona Koch <ramona.koch@profitbricks.com>
Antwort an:  ramona.koch@profitbricks.com
An:   dcops <dcops@profitbricks.com>, Core <core@profitbricks.com>, Mehrdad Arifi <mehrdad.arifi@profitbricks.com>

Hi DC Ops, Hi Core, Hi Mehrdad

I just noticed, that the 'workspace' is not correctly cleaned up, if the rebase had failed.
All builds trying to merge afterwards will also fail during rebase with:

It seems that I cannot create a rebase-apply directory, and I wonder if you are in the middle of patch application or another
rebase.  If that is not the case, please
    rm -fr /var/lib/jenkins/jobs/dev_vdc-bundles/workspace/.git/rebase-apply
and run me again.  I am stopping in case you still have something valuable there.

@DCOps:
I checked your debian_build.py at:

 337             try:
 338                 src_branch = local_branch        # save the original branch
 339                 dst_branch = 'integration'       # define the new branch
 340                 local_branch = dst_branch        # reset env for
git-buildpackage
 341                 gitrepo.git.rebase('origin/' + dst_branch)
 342                 gitrepo.git.checkout(dst_branch)
 343                 gitrepo.git.pull()
 344                 gitrepo.git.merge(src_branch)
 345                 logger.info('Rebase and merge from branch "{src_branch}"
completed. Now in "{dst_branch}".'.format(
 346                     dst_branch=dst_branch,
 347                     src_branch=src_branch,
 348                 ))
 349             except Exception as error:
 350                 logger.error('Rebase has failed!', exc_info=error)
 351                 gitrepo.git.reset('--hard',src_branch)
 352                 exit_error()

and I assume that 'git reset --hard' is not enough. Probably a 'git rebase --abort' needs to be done before. If this does not work - simply removing the mentioned file will work.
Could you check, if my assumption is correct and fix it, please.

debian_build: try to get some more output when autoincrementing (doesn't work ..)

.. for successfully operations. only helps in case of error. and this might
change with the new version avl. in wheezy. haven't tested this yet.

debian_build: better logging and sort static lists

Merge branch 'develop' of git+ssh://git/srv/git/so/jenkins_build_script into develop

Added mailto token.

Merge branch 'master' into develop

Merge branch 'feature/storage-feature-branch' of ssh://git/srv/git/so/jenkins_build_script into feature/storage-feature-branch

Conflicts:
extract_storage_kernel+modules.sh

Fixed test state script.

Changed execution for liveboot_set_test_state.sh

Added build number for reporting.

Added script for setting the test state in the liveboot web interface.

Merge branch 'master' into feature/multipledists

debian_build: compatibility for 'remotes' objects in git library between squeeze and wheezy

thanks to tobias, see https://redmine.pb.local/issues/356

Added exit condition for autotest_result_mail.sh

Fix for autotest_result_mail.sh

Fix for autotest_result_mail.sh

Removed debug code from autotest_result_mail.sh

Fix for autotest script

Modified autotest result script

Added autotest mail script.

Added image link parameter

Changed to autotest link.

Added jenkins key.

Changed link creation.

Added script to set the liveboot without copy the image.

extract_storage: fix the default TARGET_NAME for feature branches

Fix a small bug. $TARGET_NAME should be set to "experimental"
by default, instead of "master".

debian_build: show help instructions for chroot debugging on either case (success AND error)

debian_build: let cd command be part of copy&pasteble commands

extract_storage: fix apt sources for master and develop

The master build job 'extract-storage-kernel-and-modules' extracts
the wrong sources. It takes the latest develop kernel as the apt
sources for 'production-proposed-updates' are missing.

So add the missing sources before installing the kernel and the
out-of-tree modules.

Fixes: DEVINF-379

debian_build: log beautifying

git_buildpackage: less logging

common_code: use __file__ not __name__

Merge branch 'feature/multipledists' of http://git/so/jenkins_build_script into feature/multipledists

debian_build: shorten name for log messages

common_code: shorten log_name if not explicitely given

debian_build: just beatuifying the instructions

debian_build: fix map

debian_build: fix gbp object usage

debian_build: let's skip trace for no-branch errors

debian_build: PLEASE also exit with error if branch was not found!

debian_build: some reorganization

debian_build: add 'name' to local repo-obj, exit if branch is not found

debian_build: change help instructions to be copy&pasteble

debian_build: fix typo

debian_build: show help instructions for package build failures

git_buildpackage: make env and command properties, usable by debian_build

debian_build: less code for trigger handling

debian_build: abort if rebase failed

debian_build: add missing closing quotes

debian_build: change forgotten variable name

debian_build: os.environ object does not allow assignment of a list

debian_build: include try/except for rebase operations

debian_build: use Jenkins parameter BUILD_TRIGGERS instead of commit message parsing

commit message is still parsed for those triggers, but this happens through
call_jenkins instead. this way jobs can use triggers no matter if recent commit
message contains the requested trigger.

debian_build: also remove "do_push" variable - it's obsolete now

debian_build: new fixes for new branching model, fix rebasing

also pushing the rebased/merged branch should only be done if all tests have
passed! hence, we shouldn't push the merged branch already in debian_build.
instead, we will try to find solutions to make jenkins push the branch using
post-build actions

debian_build: push the merged feature/-branch to integration upon successful build

common_code: reset GIT_BRANCH if it differs from GIT_BRANCH_NAME

Most jobs use GIT_BRANCH_NAME parameter to let user choose the branch to build
the package from while GIT_BRANCH contains the sha commit id of HEAD of most
recent commit (unconfirmed yet).

common_code: GIT_BRANCH_NAME = GIT_BRANCH only if not already given

debian_build: do not merge if we are on integration already

debian_build: change the way now to handle [merge] trigger

debian_build: accept integration jobs for experimental branches

debian_build: fix: correct format() usage

debian_build: fix: correct usage for format()

debian_build: fix: seperate format-method from string with .

debian_build: extend gitrepo object with a dict of all remotes

this dict is then used to verify whether any package shall have auto-increment
enabled.

* debian_build.py: pep8 compliance
* debian_build.py: use more STRING.format()

debian_build: ENV['GIT_BRANCH'] may include origin as prefix, use local_branch instead

debian_build: fix - remove last occurences of obsolete var DISTRIBUTION

debian_build: include style and cleanup changes from tobias

debian_build: fix variable usage and usage of check_call-method

we shall stay with DISTRIBUTION envionment variable yet: let's force the user to
provide the necessary distribution in Jenkins GUI or in call_jenkins.
in the next step we try to remove this parameter from jenkins and base the
decision of what distribution to use on what we find in the changelog. question
to be answered for this:
 stable -> squeeze?
 our old values like 'production', pau, ppu, ... -> ??
 wheezy -> wheezy?

the check_call() method from subprocess seems to return the exit code of command
ran as int. this doesn't behave well in current if-syntax, so we changed it to
match for success code "0" explicitely.

debian_build: compatibility mode and error for job building from wrong branch

debian_build: remove the choices from 'distribution' args, accept all of them

debian_build: do not let a jenkins user start job builds from inapproriate branches

common_code: too intrusive too remove env GIT_BRANCH_NAME:

let's just take the GIT_BRANCH env var exposed by default from jenkins git
plugin, this might confuse users if both variables uses different values

debian_build: add some explanation for RE to collect triggers

debian_build: further changes intended to enable CI magic for vdc-bundles

debian_build: python-git needs special treatment

Available in
  wheezy:  git.Repo('.').commit(<COMMIT_ID>).hexsha
  squeeze: git.Repo('.').commit(<COMMIT_ID>).id

do not tag 'integration'-builds!

I missed the point in the requirement: tags should only be created upon a
complete successfull build. this means, that also all tests must complete
successfully in order to create a new tag.
as jenkins is taking care of evaluating test results we can't create the tag in
debian_build beforehand. we'll use git publisher plugin now, to only tag
'stable_$BUILD_NUMBER' if build succeeds!

use a real git.Repo().commit() object

as preparation for vdc-bundles-integration scheme:
requirements define to evaluate commit message for different triggers:
* [merge]: integrate all commits of currently committing branch into
           'integration'-branch by using 'rebase'
* [no-test]: package build should not run any tests

according to documentation, http://goo.gl/kS1rB,
* [no-test] will be ignored if [merge] is also given in the commit message
* [no-test] will be ignored for 'integration' branch at all - it must run the
            full set of tests!

we can access the commit message like this:

  >>> curr_commit.message
  <<< u'test commit\n'

debian_build: handle integration branch of vdc-bundles

call_jenkins and other hooks are located in git-server-config repository now

call_jenkins and other hooks are located in git-server-config repository now

call_jenkins and other hooks are located in git-server-config repository now

vdc-bundles requires builds for 'integration' branch