Shamusworld >> Repos - ardour-manual/blob - build.py

   1 #!/usr/bin/python3
   2 #
   3 # Script to take the master document and ancillary files and create the
   4 # finished manual/website.
   5 #
   6 # by James Hammons
   7 # (C) 2017 Underground Software
   8 #
   9
  10 # Remnants (could go into the master document as the first header)
  11
  12 #bootstrap_path: /bootstrap-2.2.2
  13 #page_title: The Ardour Manual
  14
  15 import os
  16 import re
  17 import shutil
  18 import argparse
  19
  20
  21 #
  22 # Create an all lowercase filename without special characters and with spaces
  23 # replaced with dashes.
  24 #
  25 def MakeFilename(s):
  26         # Cleans up the file name, removing all non ASCII or .-_ chars
  27         fn = re.sub(r'[^.\-_a-zA-Z0-9 ]', '', s)
  28         fn = fn.lower()
  29         fn = fn.replace(' ', '-')
  30         return fn
  31
  32
  33 #
  34 # Parse headers into a dictionary
  35 #
  36 def ParseHeader(fileObj):
  37         header = {}
  38
  39         while (True):
  40                 hdrLine = fileObj.readline().rstrip('\r\n')
  41
  42                 # Break out of the loop if we hit the end of header marker
  43                 if hdrLine.startswith('---'):
  44                         break
  45
  46                 # Check to see that we have a well-formed header construct
  47                 match = re.findall(': ', hdrLine)
  48
  49                 if match:
  50                         # Parse out foo: bar pairs & put into header dictionary
  51                         a = re.split(': ', hdrLine, 1)
  52                         header[a[0]] = a[1]
  53
  54         return header
  55
  56
  57 #
  58 # Turn a "part" name into an int
  59 #
  60 def PartToLevel(s):
  61         level = -1
  62
  63         if s == 'part':
  64                 level = 0
  65         elif s == 'chapter':
  66                 level = 1
  67         elif s == 'subchapter':
  68                 level = 2
  69         elif s == 'section':
  70                 level = 3
  71         elif s == 'subsection':
  72                 level = 4
  73
  74         return level
  75
  76 #
  77 # Converts a integer to a roman number
  78 #
  79 def num2roman(num):
  80         num_map = [(1000, 'M'), (900, 'CM'), (500, 'D'), (400, 'CD'), (100, 'C'), (90, 'XC'), (50, 'L'), (40, 'XL'), (10, 'X'), (9, 'IX'), (5, 'V'), (4, 'IV'), (1, 'I')]
  81         roman = ''
  82
  83         while num > 0:
  84                 for i, r in num_map:
  85                         while num >= i:
  86                                 roman += r
  87                                 num -= i
  88
  89         return roman
  90
  91 #
  92 # Capture the master document's structure (and content, if any) in a list
  93 #
  94 def GetFileStructure():
  95         fs = []
  96         fnames = [None]*6
  97         content = ''
  98         grab = False
  99         mf = open('master-doc.txt')
 100
 101         for ln in mf:
 102                 if ln.startswith('---'):
 103                         # First, stuff any content that we may have read into the current
 104                         # header's dictionary
 105                         if grab:
 106                                 fs[-1]['content'] = content
 107                                 grab = False
 108                                 content = ''
 109
 110                         # Then, get the new header and do things to it
 111                         hdr = ParseHeader(mf)
 112                         level = PartToLevel(hdr['part'])
 113                         hdr['level'] = level
 114                         fnames[level] = MakeFilename(hdr['title'])
 115
 116                         # Ickyness--user specified URIs
 117                         if 'uri' in hdr:
 118                                 hdr['filename'] = hdr['uri']
 119                         else:
 120                                 fullName = ''
 121
 122                                 for i in range(level + 1):
 123                                         fullName = fullName + fnames[i] + '/'
 124
 125                                 hdr['filename'] = fullName.rstrip('/')
 126
 127                         fs.append(hdr)
 128
 129                         if ('include' not in hdr) and (level > 0):
 130                                 grab = True
 131                 else:
 132                         if grab:
 133                                 content = content + ln
 134
 135         # Catch the last file, since it would be missed above
 136         if grab:
 137                 fs[-1]['content'] = content
 138
 139         mf.close()
 140         return fs
 141
 142
 143 #
 144 # Determine if a particular node has child nodes
 145 #
 146 def HaveChildren(fs, pos):
 147         # If we're at the end of the list, there can be no children
 148         if pos == len(fs) - 1:
 149                 return False
 150
 151         # If the next node is at a lower level than the current node, we have
 152         # children.
 153         if fs[pos]['level'] < fs[pos + 1]['level']:
 154                 return True
 155
 156         # Otherwise, no children at this node.
 157         return False
 158
 159
 160 #
 161 # Get the children at this level, and return them in a list
 162 #
 163 def GetChildren(fs, pos):
 164         children = []
 165         pos = pos + 1
 166         childLevel =  fs[pos]['level']
 167
 168         while fs[pos]['level'] >= childLevel:
 169                 if fs[pos]['level'] == childLevel:
 170                         children.append(pos)
 171
 172                 pos = pos + 1
 173
 174                 # Sanity check
 175                 if pos == len(fs):
 176                         break
 177
 178         return children
 179
 180
 181 #
 182 # Make an array of children attached to each node in the file structure
 183 # (It's a quasi-tree structure, and can be traversed as such.)
 184 #
 185 def FindChildren(fs):
 186         childArray = []
 187
 188         for i in range(len(fs)):
 189                 if HaveChildren(fs, i):
 190                         childArray.append(GetChildren(fs, i))
 191                 else:
 192                         childArray.append([])
 193
 194         return childArray
 195
 196
 197 #
 198 # Make an array of the top level nodes in the file structure
 199 #
 200 def FindTopLevelNodes(fs):
 201         level0 = []
 202
 203         for i in range(len(fs)):
 204                 if fs[i]['level'] == 0:
 205                         level0.append(i)
 206
 207         return level0
 208
 209
 210 #
 211 # Find all header links and create a dictionary out of them
 212 #
 213 def FindInternalLinks(fs):
 214         linkDict = {}
 215
 216         for hdr in fs:
 217                 if 'link' in hdr:
 218                         linkDict['@@' + hdr['link']] = '/' + hdr['filename'] + '/'
 219
 220         return linkDict
 221
 222
 223 #
 224 # Internal links are of the form '@@link-name', which are references to the
 225 # 'link:' field in the part header. We have to find all occurances and replace
 226 # them with the appropriate link.
 227 #
 228 def FixInternalLinks(links, content, title):
 229
 230         # Make key1|key2|key3|... out of our links keys
 231         pattern = re.compile('|'.join(links.keys()))
 232
 233         # Use a lambda callback to substitute each occurance found
 234         result = pattern.sub(lambda x: links[x.group()], content)
 235
 236         # Check for missing link targets, and report them to the user
 237         match = re.findall('"@@.*"', result)
 238
 239         if len(match) > 0:
 240                 print('\nMissing link target' + ('s' if len(match) > 1 else '') + ' in "' + title + '":')
 241
 242                 for s in match:
 243                         print('  ' + s[3:-1])
 244
 245                 print()
 246
 247         return result
 248
 249
 250 #
 251 # Recursively build a list of links based on the location of the page we're
 252 # looking at currently
 253 #
 254 def BuildList(lst, fs, pagePos, cList):
 255         content = '\n\n<dl>\n'
 256
 257         for i in range(len(lst)):
 258                 curPos = lst[i]
 259                 nextPos = lst[i + 1] if i + 1 < len(lst)  else len(fs)
 260
 261                 active = ' class=active' if curPos == pagePos else ''
 262                 menuTitle = fs[curPos]['menu_title'] if 'menu_title' in fs[curPos] else fs[curPos]['title']
 263                 content = content + '<dt' + active + '><a href="/' + fs[curPos]['filename'] + '/">' + menuTitle + '</a></dt><dd' + active + '>'
 264
 265                 # If the current page is our page, and it has children, enumerate them
 266                 if curPos == pagePos:
 267                         if len(cList[curPos]) > 0:
 268                                 content = content + BuildList(cList[curPos], fs, -1, cList)
 269
 270                 # Otherwise, if our page lies between the current one and the next,
 271                 # build a list of links from those nodes one level down.
 272                 elif (pagePos > curPos) and (pagePos < nextPos):
 273                         content = content + BuildList(cList[curPos], fs, pagePos, cList)
 274
 275                 content = content + '</dd>\n'
 276
 277         content = content + '</dl>\n'
 278
 279         return content
 280
 281 #
 282 # Create link sidebar given a position in the list.
 283 #
 284 def CreateLinkSidebar(fs, pos, childList):
 285
 286         # Build the list recursively from the top level nodes
 287         content = BuildList(FindTopLevelNodes(fs), fs, pos, childList)
 288         # Shove the TOC link in the top...
 289         content = content[:7] + '<dt><a href="/toc/">Table of Contents</a></dt><dd></dd>\n' + content[7:]
 290
 291         return content
 292
 293
 294 # Preliminaries
 295
 296 # We have command line arguments now, so deal with them
 297 parser = argparse.ArgumentParser(description='A build script for the Ardour Manual')
 298 parser.add_argument('-v', '--verbose', action='store_true', help='Display the high-level structure of the manual')
 299 parser.add_argument('-q', '--quiet', action='store_true', help='Suppress all output (overrides -v)')
 300 args = parser.parse_args()
 301 verbose = args.verbose
 302 quiet = args.quiet
 303
 304 if quiet:
 305         verbose = False
 306
 307 #verbose = False
 308 level = 0
 309 fileCount = 0
 310 levelNums = [0]*6
 311 lastFile = ''
 312 page = ''
 313 toc = ''
 314 pageNumber = 0
 315
 316 siteDir = './website/'
 317
 318 if os.access(siteDir, os.F_OK):
 319         if not quiet:
 320                 print('Removing stale HTML data...')
 321
 322         shutil.rmtree(siteDir)
 323
 324 shutil.copytree('./source', siteDir)
 325
 326
 327 # Read the template, and fix the stuff that's fixed for all pages
 328 temp = open('page-template.txt')
 329 template = temp.read()
 330 temp.close()
 331
 332 template = template.replace('{{page.bootstrap_path}}', '/bootstrap-2.2.2')
 333 template = template.replace('{{page.page_title}}', 'The Ardour Manual')
 334
 335
 336 # Parse out the master docuemnt's structure into a dictionary list
 337 fileStruct = GetFileStructure()
 338
 339 # Build a quasi-tree structure listing children at level + 1 for each node
 340 nodeChildren = FindChildren(fileStruct)
 341
 342 # Create a dictionary for translation of internal links to real links
 343 links = FindInternalLinks(fileStruct)
 344
 345 if not quiet:
 346         print('Found ' + str(len(links)) + ' internal link target', end='')
 347         print('.') if len(links) == 1 else print('s.')
 348
 349 if not quiet:
 350         master = open('master-doc.txt')
 351         firstLine = master.readline().rstrip('\r\n')
 352         master.close()
 353
 354         if firstLine == '<!-- exploded -->':
 355                 print('Parsing exploded file...')
 356         elif firstLine == '<!-- imploded -->':
 357                 print('Parsing imploded file...')
 358         else:
 359                 print('Parsing unknown type...')
 360
 361 # Here we go!
 362
 363 for header in fileStruct:
 364         fileCount = fileCount + 1
 365         content = ''
 366         more = ''
 367
 368         lastLevel = level
 369         level = header['level']
 370
 371         # Handle Part/Chapter/subchapter/section/subsection numbering
 372         if level == 0:
 373                 levelNums[2] = 0
 374         elif level == 1:
 375                 levelNums[2] = 0
 376         elif level == 2:
 377                 levelNums[3] = 0
 378         elif level == 3:
 379                 levelNums[4] = 0
 380
 381         levelNums[level] = levelNums[level] + 1;
 382
 383         # This is totally unnecessary, but nice; besides which, you can capture
 384         # the output to a file to look at later if you like :-)
 385         if verbose:
 386                 for i in range(level):
 387                         print('\t', end='')
 388
 389                 if (level == 0):
 390                         print('\nPart ' + num2roman(levelNums[0]) + ': ', end='')
 391                 elif (level == 1):
 392                         print('\n\tChapter ' + str(levelNums[1]) + ': ', end='')
 393
 394                 print(header['title'])
 395
 396         # Handle TOC scriblings...
 397         if level == 0:
 398                 toc = toc + '<h2>Part ' + num2roman(levelNums[level]) + ': ' + header['title'] + '</h2>\n';
 399         elif level == 1:
 400                 toc = toc + '  <p id=chapter>Ch. ' + str(levelNums[level]) + ':&nbsp;&nbsp;<a href="/' + header['filename'] + '/">' + header['title'] + '</a></p>\n'
 401         elif level == 2:
 402                 toc = toc + '    <a id=subchapter href="/' + header['filename'] + '/">' + header['title'] + '</a><br>\n'
 403         elif level == 3:
 404                 toc = toc + '      <a id=subchapter href="/' + header['filename'] + '/">' + header['title'] + '</a><br>\n'
 405         elif level == 4:
 406                 toc = toc + '      <a id=subchapter href="/' + header['filename'] + '/">' + header['title'] + '</a><br>\n'
 407
 408         # Make the 'this thing contains...' stuff
 409         if HaveChildren(fileStruct, pageNumber):
 410                 pages = GetChildren(fileStruct, pageNumber)
 411
 412                 for pg in pages:
 413                         more = more + '<li>' + '<a href="/' + fileStruct[pg]['filename'] + '/">' + fileStruct[pg]['title'] + '</a>' + '</li>\n'
 414
 415                 more = '<div id=subtopics>\n' + '<h2>This section contains the following topics:</h2>\n' + '<ul>\n' + more + '</ul>\n' + '</div>\n'
 416
 417         # Make the 'Previous' & 'Next' content
 418         nLink = ''
 419         pLink = ''
 420
 421         if pageNumber > 0:
 422                 pLink = '<li><a title="' + fileStruct[pageNumber - 1]['title'] + '" href="/' + fileStruct[pageNumber - 1]['filename'] + '/" class="previous"> &lt; Previous </a></li>'
 423
 424         if pageNumber < len(fileStruct) - 1:
 425                 nLink = '<li><a title="' + fileStruct[pageNumber + 1]['title'] + '" href="/' + fileStruct[pageNumber + 1]['filename'] + '/" class="next"> Next &gt; </a></li>'
 426
 427         prevnext = '<ul class=pager>' + pLink + nLink + '</ul>'
 428
 429         # Create the link sidebar
 430         sidebar = CreateLinkSidebar(fileStruct, pageNumber, nodeChildren)
 431
 432         # Parts DO NOT have any content, they are ONLY an organizing construct!
 433         # Chapters, subchapters, sections & subsections can all have content,
 434         # but the basic fundamental organizing unit WRT content is still the
 435         # chapter.
 436         if level > 0:
 437                 if 'include' in header:
 438                         srcFile = open('include/' + header['include'])
 439                         content = srcFile.read()
 440                         srcFile.close()
 441
 442                         # Get rid of any extant header in the include file
 443                         # (once this is accepted, we can nuke this bit, as content files
 444                         # will not have any headers or footers in them)
 445                         content = re.sub('---.*\n(.*\n)*---.*\n', '', content)
 446                         content = content.replace('{% children %}', '')
 447
 448                 else:
 449                         if 'content' in header:
 450                                 content = header['content']
 451                         else:
 452                                 content = '[something went wrong]'
 453
 454         # Fix up any internal links
 455         content = FixInternalLinks(links, content, header['title'])
 456
 457         # Set up the actual page from the template
 458         if 'style' not in header:
 459                 page = re.sub("{% if page.style %}.*\n.*\n{% endif %}.*\n", "", template)
 460         else:
 461                 page = template.replace('{{page.style}}', header['style'])
 462                 page = page.replace('{% if page.style %}', '')
 463                 page = page.replace('{% endif %}', '')
 464
 465         page = page.replace('{{ page.title }}', header['title'])
 466         page = page.replace('{% tree %}', sidebar)
 467         page = page.replace('{% prevnext %}', prevnext)
 468         page = page.replace('{{ content }}', content + more)
 469
 470         # Create the directory for the index.html file to go into (we use makedirs,
 471         # because we have to in order to accomodate the 'uri' keyword)
 472         os.makedirs(siteDir + header['filename'], 0o775, exist_ok=True)
 473
 474         # Finally, write the file!
 475         destFile = open(siteDir + header['filename'] + '/index.html', 'w')
 476         destFile.write(page)
 477         destFile.close()
 478
 479         # Save filename for next header...
 480         lastFile = header['filename']
 481         pageNumber = pageNumber + 1
 482
 483 # Finally, create the TOC
 484 sidebar = CreateLinkSidebar(fileStruct, -1, nodeChildren)
 485
 486 page = re.sub("{% if page.style %}.*\n.*\n{% endif %}.*\n", "", template)
 487 page = page.replace('{{ page.title }}', 'Ardour Table of Contents')
 488 page = page.replace('{% tree %}', sidebar)
 489 page = page.replace('{{ content }}', toc)
 490 page = page.replace('{% prevnext %}', '')
 491
 492 os.mkdir(siteDir + 'toc', 0o775)
 493 tocFile = open(siteDir + 'toc/index.html', 'w')
 494 tocFile.write(page)
 495 tocFile.close()
 496
 497 if not quiet:
 498         print('Processed ' + str(fileCount) + ' files.')