Shamusworld >> Repos - ardour-manual-diverged/blob - build.py

   1 #!/usr/bin/python
   2 #
   3 # Script to take the master document and ancillary files and create the
   4 # finished manual/website.
   5 #
   6 # by James Hammons
   7 # (C) 2017 Underground Software
   8 #
   9
  10 # Remnants (could go into the master document as the first header)
  11
  12 #bootstrap_path: /bootstrap-2.2.2
  13 #page_title: The Ardour Manual
  14
  15 import os
  16 import re
  17 import shutil
  18 import argparse
  19
  20
  21 #
  22 # Create an all lowercase filename without special characters and with spaces
  23 # replaced with dashes.
  24 #
  25 def MakeFilename(s):
  26         # Cleans up the file name, removing all non ASCII or .-_ chars
  27         fn = re.sub(r'[^.\-_a-zA-Z0-9 ]', '', s)
  28         fn = fn.lower()
  29         fn = fn.replace(' ', '-')
  30         return fn
  31
  32
  33 #
  34 # Parse headers into a dictionary
  35 #
  36 def ParseHeader(fileObj):
  37         header = {}
  38
  39         while (True):
  40                 hdrLine = fileObj.readline().rstrip('\r\n')
  41
  42                 # Break out of the loop if we hit the end of header marker
  43                 if hdrLine.startswith('---'):
  44                         break
  45
  46                 # Parse out foo: bar pairs & put into header dictionary
  47                 a = re.split(': ', hdrLine, 1)
  48                 header[a[0]] = a[1]
  49
  50         return header
  51
  52
  53 #
  54 # Turn a "part" name into an int
  55 #
  56 def PartToLevel(s):
  57         level = -1
  58
  59         if s == 'part':
  60                 level = 0
  61         elif s == 'chapter':
  62                 level = 1
  63         elif s == 'subchapter':
  64                 level = 2
  65         elif s == 'section':
  66                 level = 3
  67         elif s == 'subsection':
  68                 level = 4
  69
  70         return level
  71
  72
  73 #
  74 # Capture the master document's structure (and content, if any) in a list
  75 #
  76 def GetFileStructure():
  77         fs = []
  78         fnames = [None]*6
  79         content = ''
  80         grab = False
  81         mf = open('master-doc.txt')
  82
  83         for ln in mf:
  84                 if ln.startswith('---'):
  85                         # First, stuff any content that we may have read into the current
  86                         # header's dictionary
  87                         if grab:
  88                                 fs[-1]['content'] = content
  89                                 grab = False
  90                                 content = ''
  91
  92                         # Then, get the new header and do things to it
  93                         hdr = ParseHeader(mf)
  94                         level = PartToLevel(hdr['part'])
  95                         hdr['level'] = level
  96                         fnames[level] = MakeFilename(hdr['title'])
  97                         fullName = ''
  98
  99                         for i in range(level + 1):
 100                                 fullName = fullName + fnames[i] + '/'
 101
 102                         hdr['filename'] = fullName.rstrip('/')
 103                         fs.append(hdr)
 104
 105                         if ('include' not in hdr) and (level > 0):
 106                                 grab = True
 107                 else:
 108                         if grab:
 109                                 content = content + ln
 110
 111         # Catch the last file, since it would be missed above
 112         if grab:
 113                 fs[-1]['content'] = content
 114
 115         mf.close()
 116         return fs
 117
 118
 119 #
 120 # Determine if a particular node has child nodes
 121 #
 122 def HaveChildren(fs, pos):
 123         # If we're at the end of the list, there can be no children
 124         if pos == len(fs) - 1:
 125                 return False
 126
 127         # If the next node is at a lower level than the current node, we have
 128         # children.
 129         if fs[pos]['level'] < fs[pos + 1]['level']:
 130                 return True
 131
 132         # Otherwise, no children at this node.
 133         return False
 134
 135
 136 #
 137 # Get the children at this level, and return them in a list
 138 #
 139 def GetChildren(fs, pos):
 140         children = []
 141         pos = pos + 1
 142         childLevel =  fs[pos]['level']
 143
 144         while fs[pos]['level'] >= childLevel:
 145                 if fs[pos]['level'] == childLevel:
 146                         children.append(pos)
 147
 148                 pos = pos + 1
 149
 150                 # Sanity check
 151                 if pos == len(fs):
 152                         break
 153
 154         return children
 155
 156
 157 #
 158 # Make an array of children attached to each node in the file structure
 159 # (It's a quasi-tree structure, and can be traversed as such.)
 160 #
 161 def FindChildren(fs):
 162         childArray = []
 163
 164         for i in range(len(fs)):
 165                 if HaveChildren(fs, i):
 166                         childArray.append(GetChildren(fs, i))
 167                 else:
 168                         childArray.append([])
 169
 170         return childArray
 171
 172
 173 #
 174 # Make an array of the top level nodes in the file structure
 175 #
 176 def FindTopLevelNodes(fs):
 177         level0 = []
 178
 179         for i in range(len(fs)):
 180                 if fs[i]['level'] == 0:
 181                         level0.append(i)
 182
 183         return level0
 184
 185
 186 #
 187 # Find all header links and create a dictionary out of them
 188 #
 189 def FindInternalLinks(fs):
 190         linkDict = {}
 191
 192         for hdr in fs:
 193                 if 'link' in hdr:
 194                         linkDict['@@' + hdr['link']] = '/' + hdr['filename'] + '/'
 195
 196         return linkDict
 197
 198
 199 #
 200 # Internal links are of the form '@@link-name', which are references to the
 201 # 'link:' field in the part header. We have to find all occurances and replace
 202 # them with the appropriate link.
 203 #
 204 def FixInternalLinks(links, content, title):
 205
 206         # Make key1|key2|key3|... out of our links keys
 207         pattern = re.compile('|'.join(links.keys()))
 208
 209         # Use a lambda callback to substitute each occurance found
 210         result = pattern.sub(lambda x: links[x.group()], content)
 211
 212         # Check for missing link targets, and report them to the user
 213         match = re.findall('"@@.*"', result)
 214
 215         if len(match) > 0:
 216                 print('\nMissing link target' + ('s' if len(match) > 1 else '') + ' in "' + title + '":')
 217
 218                 for s in match:
 219                         print('  ' + s[3:-1])
 220
 221                 print()
 222
 223         return result
 224
 225
 226 #
 227 # Recursively build a list of links based on the location of the page we're
 228 # looking at currently
 229 #
 230 def BuildList(lst, fs, pagePos, cList):
 231         content = '\n\n<dl>\n'
 232
 233         for i in range(len(lst)):
 234                 curPos = lst[i]
 235                 nextPos = lst[i + 1] if i + 1 < len(lst)  else len(fs)
 236
 237                 active = ' class=active' if curPos == pagePos else ''
 238                 content = content + '<dt' + active + '><a href="/' + fs[curPos]['filename'] + '/">' + fs[curPos]['title'] + '</a></dt><dd' + active + '>'
 239
 240                 # If the current page is our page, and it has children, enumerate them
 241                 if curPos == pagePos:
 242                         if len(cList[curPos]) > 0:
 243                                 content = content + BuildList(cList[curPos], fs, -1, cList)
 244
 245                 # Otherwise, if our page lies between the current one and the next,
 246                 # build a list of links from those nodes one level down.
 247                 elif (pagePos > curPos) and (pagePos < nextPos):
 248                         content = content + BuildList(cList[curPos], fs, pagePos, cList)
 249
 250                 content = content + '</dd>\n'
 251
 252         content = content + '</dl>\n'
 253
 254         return content
 255
 256 #
 257 # Create link sidebar given a position in the list.
 258 #
 259 def CreateLinkSidebar(fs, pos, childList):
 260
 261         # Build the list recursively from the top level nodes
 262         content = BuildList(FindTopLevelNodes(fs), fs, pos, childList)
 263         # Shove the TOC link in the top...
 264         content = content[:7] + '<dt><a href="/toc/">Table of Contents</a></dt><dd></dd>\n' + content[7:]
 265
 266         return content
 267
 268
 269 # Preliminaries
 270
 271 # We have command line arguments now, so deal with them
 272 parser = argparse.ArgumentParser(description='A build script for the Ardour Manual')
 273 parser.add_argument('-v', '--verbose', action='store_true', help='Display the high-level structure of the manual')
 274 parser.add_argument('-q', '--quiet', action='store_true', help='Suppress all output (overrides -v)')
 275 args = parser.parse_args()
 276 verbose = args.verbose
 277 quiet = args.quiet
 278
 279 if quiet:
 280         verbose = False
 281
 282
 283 roman = [ '0', 'I', 'II', 'III', 'IV', 'V', 'VI', 'VII', 'VIII', 'IX', 'X',
 284         'XI', 'XII', 'XIII', 'XIV', 'XV', 'XVI', 'XVII', 'XVIII', 'XIX', 'XX',
 285         'XXI', 'XXII', 'XXIII', 'XXIV', 'XXV', 'XXVI', 'XXVII', 'XXVIII', 'XXIX', 'XXX' ]
 286
 287 #verbose = False
 288 level = 0
 289 fileCount = 0
 290 levelNums = [0]*6
 291 lastFile = ''
 292 page = ''
 293 toc = ''
 294 pageNumber = 0
 295
 296 siteDir = './website/'
 297
 298 if os.access(siteDir, os.F_OK):
 299         if not quiet:
 300                 print('Removing stale HTML data...')
 301
 302         shutil.rmtree(siteDir)
 303
 304 shutil.copytree('./source', siteDir)
 305
 306 # Yeah, need to make a symlink in include/ too :-P
 307 # [this will go away when the rewrite happens]
 308 if (os.access('include/_manual', os.F_OK) == False):
 309         os.symlink('../_manual/', 'include/_manual')
 310
 311
 312 # Read the template, and fix the stuff that's fixed for all pages
 313 temp = open('page-template.txt')
 314 template = temp.read()
 315 temp.close()
 316
 317 template = template.replace('{{page.bootstrap_path}}', '/bootstrap-2.2.2')
 318 template = template.replace('{{page.page_title}}', 'The Ardour Manual')
 319
 320
 321 # Parse out the master docuemnt's structure into a dictionary list
 322 fileStruct = GetFileStructure()
 323
 324 # Build a quasi-tree structure listing children at level + 1 for each node
 325 nodeChildren = FindChildren(fileStruct)
 326
 327 # Create a dictionary for translation of internal links to real links
 328 links = FindInternalLinks(fileStruct)
 329
 330 if not quiet:
 331         print('Found ' + str(len(links)) + ' internal link target', end='')
 332         print('.') if len(links) == 1 else print('s.')
 333
 334 if not quiet:
 335         master = open('master-doc.txt')
 336         firstLine = master.readline().rstrip('\r\n')
 337         master.close()
 338
 339         if firstLine == '<!-- exploded -->':
 340                 print('Parsing exploded file...')
 341         elif firstLine == '<!-- imploded -->':
 342                 print('Parsing imploded file...')
 343         else:
 344                 print('Parsing unknown type...')
 345
 346 # Here we go!
 347
 348 for header in fileStruct:
 349         fileCount = fileCount + 1
 350         content = ''
 351         more = ''
 352
 353         lastLevel = level
 354         level = header['level']
 355
 356         # Handle Part/Chapter/subchapter/section/subsection numbering
 357         if level == 0:
 358                 levelNums[2] = 0
 359         elif level == 1:
 360                 levelNums[2] = 0
 361         elif level == 2:
 362                 levelNums[3] = 0
 363         elif level == 3:
 364                 levelNums[4] = 0
 365
 366         levelNums[level] = levelNums[level] + 1;
 367
 368         # This is totally unnecessary, but nice; besides which, you can capture
 369         # the output to a file to look at later if you like :-)
 370         if verbose:
 371                 for i in range(level):
 372                         print('\t', end='')
 373
 374                 if (level == 0):
 375                         print('\nPart ' + roman[levelNums[0]] + ': ', end='')
 376                 elif (level == 1):
 377                         print('\n\tChapter ' + str(levelNums[1]) + ': ', end='')
 378
 379                 print(header['title'])
 380
 381         # Handle TOC scriblings...
 382         if level == 0:
 383                 toc = toc + '<h2>Part ' + roman[levelNums[level]] + ': ' + header['title'] + '</h2>\n';
 384         elif level == 1:
 385                 toc = toc + '  <p id=chapter>Ch. ' + str(levelNums[level]) + ':&nbsp;&nbsp;<a href="/' + header['filename'] + '/">' + header['title'] + '</a></p>\n'
 386         elif level == 2:
 387                 toc = toc + '    <a id=subchapter href="/' + header['filename'] + '/">' + header['title'] + '</a><br>\n'
 388         elif level == 3:
 389                 toc = toc + '      <a id=subchapter href="/' + header['filename'] + '/">' + header['title'] + '</a><br>\n'
 390         elif level == 4:
 391                 toc = toc + '      <a id=subchapter href="/' + header['filename'] + '/">' + header['title'] + '</a><br>\n'
 392
 393         # Make the 'this thing contains...' stuff
 394         if HaveChildren(fileStruct, pageNumber):
 395                 pages = GetChildren(fileStruct, pageNumber)
 396
 397                 for pg in pages:
 398                         more = more + '<li>' + '<a href="/' + fileStruct[pg]['filename'] + '/">' + fileStruct[pg]['title'] + '</a>' + '</li>\n'
 399
 400                 more = '<div id=subtopics>\n' + '<h2>This section contains the following topics:</h2>\n' + '<ul>\n' + more + '</ul>\n' + '</div>\n'
 401
 402         # Make the 'Previous' & 'Next' content
 403         nLink = ''
 404         pLink = ''
 405
 406         if pageNumber > 0:
 407                 pLink = '<li><a title="' + fileStruct[pageNumber - 1]['title'] + '" href="/' + fileStruct[pageNumber - 1]['filename'] + '" class="previous"> &lt; Previous </a></li>'
 408
 409         if pageNumber < len(fileStruct) - 1:
 410                 nLink = '<li><a title="' + fileStruct[pageNumber + 1]['title'] + '" href="/' + fileStruct[pageNumber + 1]['filename'] + '" class="next"> Next &gt; </a></li>'
 411
 412         prevnext = '<ul class=pager>' + pLink + nLink + '</ul>'
 413
 414         # Create the link sidebar
 415         sidebar = CreateLinkSidebar(fileStruct, pageNumber, nodeChildren)
 416
 417         # Parts DO NOT have any content, they are ONLY an organizing construct!
 418         # Chapters, subchapters, sections & subsections can all have content,
 419         # but the basic fundamental organizing unit WRT content is still the
 420         # chapter.
 421         if level > 0:
 422                 if 'include' in header:
 423                         srcFile = open('include/' + header['include'])
 424                         content = srcFile.read()
 425                         srcFile.close()
 426
 427                         # Get rid of any extant header in the include file
 428                         # (once this is accepted, we can nuke this bit, as content files
 429                         # will not have any headers or footers in them)
 430                         content = re.sub('---.*\n(.*\n)*---.*\n', '', content)
 431                         content = content.replace('{% children %}', '')
 432
 433                 else:
 434                         if 'content' in header:
 435                                 content = header['content']
 436                         else:
 437                                 content = '[something went wrong]'
 438
 439         # Fix up any internal links
 440         content = FixInternalLinks(links, content, header['title'])
 441
 442         # Set up the actual page from the template
 443         if 'style' not in header:
 444                 page = re.sub("{% if page.style %}.*\n.*\n{% endif %}.*\n", "", template)
 445         else:
 446                 page = template.replace('{{page.style}}', header['style'])
 447                 page = page.replace('{% if page.style %}', '')
 448                 page = page.replace('{% endif %}', '')
 449
 450         page = page.replace('{{ page.title }}', header['title'])
 451         page = page.replace('{% tree %}', sidebar)
 452         page = page.replace('{% prevnext %}', prevnext)
 453         page = page.replace('{{ content }}', content + more)
 454
 455         # Create the directory for the index.html file to go into
 456         os.mkdir(siteDir + header['filename'], 0o775)
 457
 458         # Finally, write the file!
 459         destFile = open(siteDir + header['filename'] + '/index.html', 'w')
 460         destFile.write(page)
 461         destFile.close()
 462
 463         # Save filename for next header...
 464         lastFile = header['filename']
 465         pageNumber = pageNumber + 1
 466
 467 # Finally, create the TOC
 468 sidebar = CreateLinkSidebar(fileStruct, -1, nodeChildren)
 469
 470 page = re.sub("{% if page.style %}.*\n.*\n{% endif %}.*\n", "", template)
 471 page = page.replace('{{ page.title }}', 'Ardour Table of Contents')
 472 page = page.replace('{% tree %}', sidebar)
 473 page = page.replace('{{ content }}', toc)
 474 page = page.replace('{% prevnext %}', '')
 475
 476 os.mkdir(siteDir + 'toc', 0o775)
 477 tocFile = open(siteDir + 'toc/index.html', 'w')
 478 tocFile.write(page)
 479 tocFile.close()
 480
 481 if not quiet:
 482         print('Processed ' + str(fileCount) + ' files.')