Shamusworld >> Repos - ardour-manual/blob - build.py

   1 #!/usr/bin/python3
   2 #
   3 # Script to take the master document and ancillary files and create the
   4 # finished manual/website.
   5 #
   6 # by James Hammons
   7 # (C) 2017 Underground Software
   8 #
   9
  10 # Remnants (could go into the master document as the first header)
  11
  12 #bootstrap_path: /bootstrap-3.3.7
  13 #page_title: The Ardour Manual
  14
  15 import os
  16 import re
  17 import shutil
  18 import argparse
  19
  20
  21 # Global vars
  22 # This matches all *non* letter/number, ' ', '.', '-', and '_' chars
  23 cleanString = re.compile(r'[^a-zA-Z0-9 \._-]+')
  24 # This matches new 'unbreakable' links, up to the closing quote or anchor
  25 findLinks = re.compile(r'"@@[^#"]*[#"]')
  26 githuburl = 'https://github.com/Ardour/manual/edit/master/include/'
  27
  28 #
  29 # Create an all lowercase filename without special characters and with spaces
  30 # replaced with dashes.
  31 #
  32 def MakeFilename(s):
  33         global cleanString
  34         # Clean up the file name, removing all non letter/number or " .-_" chars.
  35         # Also, convert to lower case and replace all spaces with dashes.
  36         fn = cleanString.sub('', s).lower().replace(' ', '-')
  37         # Double dashes can creep in from the above replacement, so we check for
  38         # that here.
  39         fn = fn.replace('--', '-')
  40
  41         return fn
  42
  43
  44 #
  45 # Parse headers into a dictionary
  46 #
  47 def ParseHeader(fileObj):
  48         header = {}
  49
  50         while (True):
  51                 hdrLine = fileObj.readline().rstrip('\r\n')
  52
  53                 # Break out of the loop if we hit the end of header marker
  54                 if hdrLine.startswith('---'):
  55                         break
  56
  57                 # Check to see that we have a well-formed header construct
  58                 match = re.findall(': ', hdrLine)
  59
  60                 if match:
  61                         # Parse out foo: bar pairs & put into header dictionary
  62                         a = re.split(': ', hdrLine, 1)
  63                         header[a[0]] = a[1]
  64
  65         return header
  66
  67
  68 #
  69 # Turn a "part" name into an int
  70 #
  71 def PartToLevel(s):
  72         level = -1
  73
  74         if s == 'part':
  75                 level = 0
  76         elif s == 'chapter':
  77                 level = 1
  78         elif s == 'subchapter':
  79                 level = 2
  80         elif s == 'section':
  81                 level = 3
  82         elif s == 'subsection':
  83                 level = 4
  84
  85         return level
  86
  87 #
  88 # Converts a integer to a roman number
  89 #
  90 def num2roman(num):
  91         num_map = [(1000, 'M'), (900, 'CM'), (500, 'D'), (400, 'CD'), (100, 'C'), (90, 'XC'), (50, 'L'), (40, 'XL'), (10, 'X'), (9, 'IX'), (5, 'V'), (4, 'IV'), (1, 'I')]
  92         roman = ''
  93
  94         while num > 0:
  95                 for i, r in num_map:
  96                         while num >= i:
  97                                 roman += r
  98                                 num -= i
  99
 100         return roman
 101
 102 #
 103 # Capture the master document's structure (and content, if any) in a list
 104 #
 105 def GetFileStructure():
 106         fs = []
 107         fnames = [None]*6
 108         content = ''
 109         grab = False
 110         mf = open('master-doc.txt')
 111
 112         for ln in mf:
 113                 if ln.startswith('---'):
 114                         # First, stuff any content that we may have read into the current
 115                         # header's dictionary
 116                         if grab:
 117                                 fs[-1]['content'] = content
 118                                 grab = False
 119                                 content = ''
 120
 121                         # Then, get the new header and do things to it
 122                         hdr = ParseHeader(mf)
 123                         level = PartToLevel(hdr['part'])
 124                         hdr['level'] = level
 125                         fnames[level] = MakeFilename(hdr['title'])
 126
 127                         # Ickyness--user specified URIs
 128                         if 'uri' in hdr:
 129                                 hdr['filename'] = hdr['uri']
 130                         else:
 131                                 fullName = ''
 132
 133                                 for i in range(level + 1):
 134                                         fullName = fullName + fnames[i] + '/'
 135
 136                                 # Strip trailing '/' on filename
 137                                 hdr['filename'] = fullName[:-1]
 138
 139                         fs.append(hdr)
 140
 141                         if ('include' not in hdr) and (level > 0):
 142                                 grab = True
 143                 else:
 144                         if grab:
 145                                 content = content + ln
 146
 147         # Catch the last file, since it would be missed above
 148         if grab:
 149                 fs[-1]['content'] = content
 150
 151         mf.close()
 152         return fs
 153
 154
 155 #
 156 # Determine if a particular node has child nodes
 157 #
 158 def HaveChildren(fs, pos):
 159         # If we're at the end of the list, there can be no children
 160         if pos == len(fs) - 1:
 161                 return False
 162
 163         # If the next node is at a lower level than the current node, we have
 164         # children.
 165         if fs[pos]['level'] < fs[pos + 1]['level']:
 166                 return True
 167
 168         # Otherwise, no children at this node.
 169         return False
 170
 171
 172 #
 173 # Get the children at this level, and return them in a list
 174 #
 175 def GetChildren(fs, pos):
 176         children = []
 177         pos = pos + 1
 178         childLevel =  fs[pos]['level']
 179
 180         while fs[pos]['level'] >= childLevel:
 181                 if fs[pos]['level'] == childLevel:
 182                         children.append(pos)
 183
 184                 pos = pos + 1
 185
 186                 # Sanity check
 187                 if pos == len(fs):
 188                         break
 189
 190         return children
 191
 192
 193 #
 194 # Get the parent at this level
 195 #
 196 def GetParent(fs, pos):
 197         thisLevel =  fs[pos]['level']
 198         pos = pos - 1
 199
 200         while pos >= 0 and fs[pos]['level'] >= thisLevel:
 201                 pos = pos - 1
 202
 203         return pos
 204
 205
 206 #
 207 # Creates the BreadCrumbs
 208 #
 209 def GetBreadCrumbs(fs, pos):
 210         # The <span class="divider">&gt;</span> is for Bootstrap pre-3.0
 211         breadcrumbs = '<li class="active">'+ fs[pos]['title'] + '</li>'
 212
 213         while pos >= 0:
 214                 pos = GetParent(fs, pos)
 215
 216                 if pos >= 0:
 217                         breadcrumbs='<li><a href="/' + fs[pos]['filename'] + '/">'+ fs[pos]['title'] + '</a></li>'+ breadcrumbs
 218
 219         breadcrumbs = '<ul class="breadcrumb"><li><a href="/toc/index.html">Home</a></li>' + breadcrumbs + '</ul>'
 220         return breadcrumbs
 221
 222
 223 #
 224 # Make an array of children attached to each node in the file structure
 225 # (It's a quasi-tree structure, and can be traversed as such.)
 226 #
 227 def FindChildren(fs):
 228         childArray = []
 229
 230         for i in range(len(fs)):
 231                 if HaveChildren(fs, i):
 232                         childArray.append(GetChildren(fs, i))
 233                 else:
 234                         childArray.append([])
 235
 236         return childArray
 237
 238
 239 #
 240 # Make an array of the top level nodes in the file structure
 241 #
 242 def FindTopLevelNodes(fs):
 243         level0 = []
 244
 245         for i in range(len(fs)):
 246                 if fs[i]['level'] == 0:
 247                         level0.append(i)
 248
 249         return level0
 250
 251
 252 #
 253 # Find all header links and create a dictionary out of them
 254 #
 255 def FindInternalLinks(fs):
 256         linkDict = {}
 257
 258         for hdr in fs:
 259                 if 'link' in hdr:
 260                         linkDict['"@@' + hdr['link'] + '"'] = '"/' + hdr['filename'] + '/"'
 261                         linkDict['"@@' + hdr['link'] + '#'] = '"/' + hdr['filename'] + '/index.html#'
 262
 263
 264         return linkDict
 265
 266 #
 267 # Same as above, but create anchors (for the one-page version)
 268 #
 269 def FindInternalAnchors(fs):
 270         linkDict = {}
 271
 272         for hdr in fs:
 273                 if 'link' in hdr:
 274                         linkDict['"@@' + hdr['link'] + '"'] = '"#' + hdr['link'] + '"'
 275                         linkDict['"@@' + hdr['link'] + '#'] = '"#' + hdr['link'] + '"'
 276
 277
 278         return linkDict
 279
 280
 281 #
 282 # Internal links are of the form '@@link-name', which are references to the
 283 # 'link:' field in the part header. We have to find all occurrences and replace
 284 # them with the appropriate link.
 285 #
 286 def FixInternalLinks(links, content, title):
 287         global findLinks
 288         match = findLinks.findall(content)
 289         missing = []
 290
 291         if len(match) > 0:
 292                 for s in match:
 293                         if s in links:
 294                                 content = content.replace(s, links[s])
 295                         else:
 296                                 missing.append(s)
 297
 298         # Report missing link targets to the user (if any)
 299         if len(missing) > 0:
 300                 print('\nMissing link target' + ('s' if len(missing) > 1 else '') + ' in "' + title + '":')
 301
 302                 for s in missing:
 303                         print('  ' + s)
 304
 305                 print()
 306
 307         return content
 308
 309
 310 #
 311 # Recursively build a list of links based on the location of the page we're
 312 # looking at currently
 313 #
 314 def BuildList(lst, fs, pagePos, cList):
 315         content = '\n\n<dl>\n'
 316
 317         for i in range(len(lst)):
 318                 curPos = lst[i]
 319                 nextPos = lst[i + 1] if i + 1 < len(lst)  else len(fs)
 320
 321                 active = ' class=active' if curPos == pagePos else ''
 322                 menuTitle = fs[curPos]['menu_title'] if 'menu_title' in fs[curPos] else fs[curPos]['title']
 323                 content = content + '<dt' + active + '><a href="/' + fs[curPos]['filename'] + '/">' + menuTitle + '</a></dt><dd' + active + '>'
 324
 325                 # If the current page is our page, and it has children, enumerate them
 326                 if curPos == pagePos:
 327                         if len(cList[curPos]) > 0:
 328                                 content = content + BuildList(cList[curPos], fs, -1, cList)
 329
 330                 # Otherwise, if our page lies between the current one and the next,
 331                 # build a list of links from those nodes one level down.
 332                 elif (pagePos > curPos) and (pagePos < nextPos):
 333                         content = content + BuildList(cList[curPos], fs, pagePos, cList)
 334
 335                 content = content + '</dd>\n'
 336
 337         content = content + '</dl>\n'
 338
 339         return content
 340
 341
 342 #
 343 # Builds the sidebar for the one-page version
 344 #
 345 def BuildOnePageSidebar(fs):
 346         content = '\n\n<ul style="white-space:nowrap;">\n'
 347         lvl = 0
 348
 349         for i in range(len(fs)):
 350                 if 'link' in fs[i]:
 351                         anchor = fs[i]['link']
 352                 else:
 353                         anchor = fs[i]['filename']
 354
 355                 while lvl < fs[i]['level']:
 356                         content = content + '<ul style="white-space:nowrap;">\n'
 357                         lvl = lvl + 1
 358                 while lvl > fs[i]['level']:
 359                         content = content + '</ul>\n'
 360                         lvl = lvl - 1
 361
 362                 content = content + '<li><a href="#' + anchor + '">' + fs[i]['title'] + '</a></li>\n'
 363
 364         content = content + '</ul>\n'
 365
 366         return content
 367
 368
 369 #
 370 # Create link sidebar given a position in the list.
 371 #
 372 def CreateLinkSidebar(fs, pos, childList):
 373
 374         # Build the list recursively from the top level nodes
 375         #content = BuildList(FindTopLevelNodes(fs), fs, pos, childList)
 376         content = BuildList(FindTopLevelNodes(fs), fs, pos, childList)
 377         # Shove the TOC link and one file link at the top...
 378         content = content[:7] + '<dt><dt><a href="/toc/">Table of Contents</a></dt><dd></dd>\n' + content[7:]
 379
 380         return content
 381
 382 # Preliminaries
 383
 384 # We have command line arguments now, so deal with them
 385 parser = argparse.ArgumentParser(description='A build script for the Ardour Manual')
 386 parser.add_argument('-v', '--verbose', action='store_true', help='Display the high-level structure of the manual')
 387 parser.add_argument('-q', '--quiet', action='store_true', help='Suppress all output (overrides -v)')
 388 parser.add_argument('-d', '--devmode', action='store_true', help='Add content to pages to help developers debug them')
 389 args = parser.parse_args()
 390 verbose = args.verbose
 391 quiet = args.quiet
 392 devmode = args.devmode
 393
 394 if quiet:
 395         verbose = False
 396
 397 level = 0
 398 fileCount = 0
 399 levelNums = [0]*6
 400 lastFile = ''
 401 page = ''
 402 onepage = ''
 403 toc = ''
 404 pageNumber = 0
 405
 406 siteDir = './website/'
 407
 408 if not quiet and devmode:
 409         print('Devmode active: scribbling extra junk to the manual...')
 410
 411 if os.access(siteDir, os.F_OK):
 412         if not quiet:
 413                 print('Removing stale HTML data...')
 414
 415         shutil.rmtree(siteDir)
 416
 417 shutil.copytree('./source', siteDir)
 418
 419
 420 # Read the template, and fix the stuff that's fixed for all pages
 421 temp = open('page-template.txt')
 422 template = temp.read()
 423 temp.close()
 424
 425 template = template.replace('{{page.bootstrap_path}}', '/bootstrap-3.3.7')
 426 template = template.replace('{{page.page_title}}', 'The Ardour Manual')
 427
 428 # Same as above, but for the One-page version
 429 temp = open('onepage-template.txt')
 430 onepage = temp.read()
 431 temp.close()
 432
 433 onepage = onepage.replace('{{page.bootstrap_path}}', '/bootstrap-3.3.7')
 434 onepage = onepage.replace('{{page.page_title}}', 'The Ardour Manual')
 435
 436 # Parse out the master docuemnt's structure into a dictionary list
 437 fileStruct = GetFileStructure()
 438
 439 # Build a quasi-tree structure listing children at level + 1 for each node
 440 nodeChildren = FindChildren(fileStruct)
 441
 442 # Create a dictionary for translation of internal links to real links
 443 links = FindInternalLinks(fileStruct)
 444 oplinks = FindInternalAnchors(fileStruct)
 445
 446 if not quiet:
 447         print('Found ' + str(len(links)) + ' internal link target', end='')
 448         print('.') if len(links) == 1 else print('s.')
 449
 450 if not quiet:
 451         master = open('master-doc.txt')
 452         firstLine = master.readline().rstrip('\r\n')
 453         master.close()
 454
 455         if firstLine == '<!-- exploded -->':
 456                 print('Parsing exploded file...')
 457         elif firstLine == '<!-- imploded -->':
 458                 print('Parsing imploded file...')
 459         else:
 460                 print('Parsing unknown type...')
 461
 462 # Here we go!
 463
 464 for header in fileStruct:
 465         fileCount = fileCount + 1
 466         content = ''
 467         more = ''
 468
 469         lastLevel = level
 470         level = header['level']
 471
 472         # Handle Part/Chapter/subchapter/section/subsection numbering
 473         if level == 0:
 474                 levelNums[2] = 0
 475         elif level == 1:
 476                 levelNums[2] = 0
 477         elif level == 2:
 478                 levelNums[3] = 0
 479         elif level == 3:
 480                 levelNums[4] = 0
 481
 482         levelNums[level] = levelNums[level] + 1;
 483
 484         # This is totally unnecessary, but nice; besides which, you can capture
 485         # the output to a file to look at later if you like :-)
 486         if verbose:
 487                 for i in range(level):
 488                         print('\t', end='')
 489
 490                 if (level == 0):
 491                         print('\nPart ' + num2roman(levelNums[0]) + ': ', end='')
 492                 elif (level == 1):
 493                         print('\n\tChapter ' + str(levelNums[1]) + ': ', end='')
 494
 495                 print(header['title'])
 496
 497         # Handle TOC scriblings and one-page titles...
 498         opl = ''
 499         if 'link' in header:
 500                 opl = ' id="' + header['link'] + '"'
 501         else:
 502                 opl = ' id="' + header['filename'] + '"'
 503
 504         if level == 0:
 505                 toc = toc + '<h2>Part ' + num2roman(levelNums[level]) + ': ' + header['title'] + '</h2>\n';
 506                 oph = '<h1 class="clear"' + opl +'>Part ' + num2roman(levelNums[level]) + ': ' + header['title'] + '</h1>\n';
 507         elif level == 1:
 508                 toc = toc + '  <p class="chapter">Ch. ' + str(levelNums[level]) + ':&nbsp;&nbsp;<a href="/' + header['filename'] + '/">' + header['title'] + '</a></p>\n'
 509                 oph = '<h1 class="clear"' + opl +'>Chapter ' + str(levelNums[level]) + ': ' + header['title'] + '</h1>\n';
 510         elif level == 2:
 511                 toc = toc + '    <p class="subchapter"><a href="/' + header['filename'] + '/">' + header['title'] + '</a></p>\n'
 512                 oph = '<h1 class="clear"' + opl +'>Subchapter ' + str(levelNums[level]) + ': ' + header['title'] + '</h1>\n';
 513         elif level == 3:
 514                 toc = toc + '      <p class="section"><a href="/' + header['filename'] + '/">' + header['title'] + '</a></p>\n'
 515                 oph = '<h1 class="clear"' + opl +'>Section ' + str(levelNums[level]) + ': ' + header['title'] + '</h1>\n';
 516         elif level == 4:
 517                 toc = toc + '      <p class="subsection"><a href="/' + header['filename'] + '/">' + header['title'] + '</a></p>\n'
 518                 oph = '<h1 class="clear"' + opl +'>Subsection ' + str(levelNums[level]) + ': ' + header['title'] + '</h1>\n';
 519
 520
 521
 522
 523         # Make the 'this thing contains...' stuff
 524         if HaveChildren(fileStruct, pageNumber):
 525                 pages = GetChildren(fileStruct, pageNumber)
 526
 527                 for pg in pages:
 528                         more = more + '<li>' + '<a href="/' + fileStruct[pg]['filename'] + '/">' + fileStruct[pg]['title'] + '</a>' + '</li>\n'
 529
 530                 more = '<div id=subtopics>\n' + '<h2>This section contains the following topics:</h2>\n' + '<ul>\n' + more + '</ul>\n' + '</div>\n'
 531
 532         parent = GetParent(fileStruct, pageNumber)
 533
 534         # Make the 'Previous', 'Up' & 'Next' content
 535         nLink = ''
 536         pLink = ''
 537         uLink = ''
 538
 539         if pageNumber > 0:
 540                 pLink = '<li class="previous"><a title="' + fileStruct[pageNumber - 1]['title'] + '" href="/' + fileStruct[pageNumber - 1]['filename'] + '/" class="previous"> &larr; Previous </a></li>'
 541
 542         if pageNumber < len(fileStruct) - 1:
 543                 nLink = '<li class="next"><a title="' + fileStruct[pageNumber + 1]['title'] + '" href="/' + fileStruct[pageNumber + 1]['filename'] + '/" class="next"> Next &rarr; </a></li>'
 544
 545         if level > 0:
 546                 uLink = '<li><a title="' + fileStruct[parent]['title'] + '" href="/' + fileStruct[parent]['filename'] + '/" class="active"> &uarr; Up </a></li>'
 547         else:
 548                 uLink = '<li><a title="Ardour Table of Contents" href="/toc/index.html" class="active"> &uarr; Up </a></li>'
 549
 550         prevnext = '<ul class="pager">' + pLink + uLink + nLink + '</ul>'
 551
 552         # Make the BreadCrumbs
 553         breadcrumbs = GetBreadCrumbs(fileStruct, pageNumber)
 554
 555         # Create the link sidebar
 556         sidebar = CreateLinkSidebar(fileStruct, pageNumber, nodeChildren)
 557
 558         # Parts DO NOT have any content, they are ONLY an organizing construct!
 559         # Chapters, subchapters, sections & subsections can all have content,
 560         # but the basic fundamental organizing unit WRT content is still the
 561         # chapter.
 562         githubedit = ''
 563         if level > 0:
 564                 if 'include' in header:
 565                         srcFile = open('include/' + header['include'])
 566                         githubedit = '<span style="float:right;"><a title="Edit in GitHub" href="' + githuburl + header['include'] + '"><img src="/images/github.png" alt="Edit on GitHub"/></a></span>'
 567                         content = srcFile.read()
 568                         srcFile.close()
 569
 570                         # Get rid of any extant header in the include file
 571                         # (once this is accepted, we can nuke this bit, as content files
 572                         # will not have any headers or footers in them)
 573                         content = re.sub('---.*\n(.*\n)*---.*\n', '', content)
 574                         content = content.replace('{% children %}', '')
 575
 576                 else:
 577                         if 'content' in header:
 578                                 content = header['content']
 579                         else:
 580                                 content = '[something went wrong]'
 581
 582         # Add header information to the page if in dev mode
 583         if devmode:
 584                 devnote ='<aside style="background-color:indigo; color:white;">'
 585                 if 'filename' in header:
 586                         devnote = devnote + 'filename: ' + header['filename'] + '<br>'
 587                 if 'include' in header:
 588                         devnote = devnote + 'include: ' + header['include'] + '<br>'
 589                 if 'link' in header:
 590                         devnote = devnote + 'link: ' + header['link'] + '<br>'
 591                 content = devnote + '</aside>' + content
 592
 593         # ----- One page version -----
 594
 595         # Fix up any internal links
 596         opcontent = FixInternalLinks(oplinks, content, header['title'])
 597
 598         # Create the link sidebar
 599         opsidebar = BuildOnePageSidebar(fileStruct)
 600
 601         # Set up the actual page from the template
 602         onepage = onepage.replace('{% tree %}', opsidebar)
 603         onepage = onepage.replace('{{ content }}', oph + '\n' + opcontent + '{{ content }}')
 604
 605         # ----- Normal version -----
 606
 607         # Fix up any internal links
 608         content = FixInternalLinks(links, content, header['title'])
 609
 610         # Set up the actual page from the template
 611         if 'style' not in header:
 612                 page = re.sub("{% if page.style %}.*\n.*\n{% endif %}.*\n", "", template)
 613         else:
 614                 page = template.replace('{{page.style}}', header['style'])
 615                 page = page.replace('{% if page.style %}', '')
 616                 page = page.replace('{% endif %}', '')
 617
 618         page = page.replace('{{ page.title }}', header['title'])
 619         page = page.replace('{% tree %}', sidebar)
 620         page = page.replace('{% prevnext %}', prevnext)
 621         page = page.replace('{% githubedit %}', githubedit)
 622         page = page.replace('{% breadcrumbs %}', breadcrumbs)
 623         page = page.replace('{{ content }}', content + more)
 624
 625         # Create the directory for the index.html file to go into (we use makedirs,
 626         # because we have to in order to accomodate the 'uri' keyword)
 627         os.makedirs(siteDir + header['filename'], 0o775, exist_ok=True)
 628
 629         # Finally, write the file!
 630         destFile = open(siteDir + header['filename'] + '/index.html', 'w')
 631         destFile.write(page)
 632         destFile.close()
 633
 634         # Save filename for next header...
 635         lastFile = header['filename']
 636         pageNumber = pageNumber + 1
 637
 638 # Finally, create the TOC
 639 sidebar = CreateLinkSidebar(fileStruct, -1, nodeChildren)
 640
 641 page = re.sub("{% if page.style %}.*\n.*\n{% endif %}.*\n", "", template)
 642 page = page.replace('{{ page.title }}', 'Ardour Table of Contents')
 643 page = page.replace('{% tree %}', sidebar)
 644 page = page.replace('{{ content }}', toc)
 645 page = page.replace('{% prevnext %}', '')
 646 page = page.replace('{% githubedit %}', '')
 647 page = page.replace('{% breadcrumbs %}', '')
 648
 649 os.mkdir(siteDir + 'toc', 0o775)
 650 tocFile = open(siteDir + 'toc/index.html', 'w')
 651 tocFile.write(page)
 652 tocFile.close()
 653
 654 # Create the one-page version of the documentation
 655 onepageFile = open(siteDir + 'ardourmanual.html', 'w')
 656 onepageFile.write(onepage)
 657 onepageFile.close()
 658
 659
 660 if not quiet:
 661         print('Processed ' + str(fileCount) + ' files.')