source: CLRX/CLRadeonExtender/trunk/amdbin/ElfBinaries.cpp @ 2552

Last change on this file since 2552 was 2552, checked in by matszpk, 4 years ago

CLRadeonExtender: Add dynamic table support to ElfBinary?.

File size: 45.0 KB
Line 
1/*
2 *  CLRadeonExtender - Unofficial OpenCL Radeon Extensions Library
3 *  Copyright (C) 2014-2016 Mateusz Szpakowski
4 *
5 *  This library is free software; you can redistribute it and/or
6 *  modify it under the terms of the GNU Lesser General Public
7 *  License as published by the Free Software Foundation; either
8 *  version 2.1 of the License, or (at your option) any later version.
9 *
10 *  This library is distributed in the hope that it will be useful,
11 *  but WITHOUT ANY WARRANTY; without even the implied warranty of
12 *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13 *  Lesser General Public License for more details.
14 *
15 *  You should have received a copy of the GNU Lesser General Public
16 *  License along with this library; if not, write to the Free Software
17 *  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
18 */
19
20#include <CLRX/Config.h>
21#include <cstdlib>
22#include <cstring>
23#include <cstdint>
24#include <climits>
25#include <utility>
26#include <string>
27#include <cassert>
28#include <CLRX/amdbin/Elf.h>
29#include <CLRX/utils/Utilities.h>
30#include <CLRX/utils/MemAccess.h>
31#include <CLRX/amdbin/AmdBinaries.h>
32
33static const uint32_t elfMagicValue = 0x464c457fU;
34
35/* INFO: in this file is used ULEV function for conversion
36 * from LittleEndian and unaligned access to other memory access policy and endianness
37 * Please use this function whenever you want to get or set word in ELF binary,
38 * because ELF binaries can be unaligned in memory (as inner binaries).
39 */
40
41using namespace CLRX;
42
43/* determine unfinished strings region in string table for checking further consistency */
44static size_t unfinishedRegionOfStringTable(const cxbyte* table, size_t size)
45{
46    if (size == 0) // if zero
47        return 0;
48    size_t k;
49    for (k = size-1; k>0 && table[k]!=0; k--);
50   
51    return (table[k]==0)?k+1:k;
52}
53
54/* elf32 types */
55
56const cxbyte CLRX::Elf32Types::ELFCLASS = ELFCLASS32;
57const uint32_t CLRX::Elf32Types::bitness = 32;
58const char* CLRX::Elf32Types::bitName = "32";
59
60/* elf64 types */
61
62const cxbyte CLRX::Elf64Types::ELFCLASS = ELFCLASS64;
63const cxuint CLRX::Elf64Types::bitness = 64;
64const char* CLRX::Elf64Types::bitName = "64";
65
66/* ElfBinaryTemplate */
67
68template<typename Types>
69ElfBinaryTemplate<Types>::ElfBinaryTemplate() : binaryCodeSize(0), binaryCode(nullptr),
70        sectionStringTable(nullptr), symbolStringTable(nullptr),
71        symbolTable(nullptr), dynSymStringTable(nullptr), dynSymTable(nullptr),
72        noteTable(nullptr), symbolsNum(0), dynSymbolsNum(0),
73        noteTableSize(0), dynamicsNum(0), symbolEntSize(0), dynSymEntSize(0),
74        dynamicEntSize(0)
75{ }
76
77template<typename Types>
78ElfBinaryTemplate<Types>::~ElfBinaryTemplate()
79{ }
80
81template<typename Types>
82ElfBinaryTemplate<Types>::ElfBinaryTemplate(size_t _binaryCodeSize, cxbyte* _binaryCode,
83             Flags _creationFlags) : creationFlags(_creationFlags),
84        binaryCodeSize(_binaryCodeSize), binaryCode(_binaryCode),
85        sectionStringTable(nullptr), symbolStringTable(nullptr),
86        symbolTable(nullptr), dynSymStringTable(nullptr), dynSymTable(nullptr),
87        noteTable(nullptr), symbolsNum(0), dynSymbolsNum(0),
88        noteTableSize(0), dynamicsNum(0), symbolEntSize(0), dynSymEntSize(0),
89        dynamicEntSize(0)     
90{
91    if (binaryCodeSize < sizeof(typename Types::Ehdr))
92        throw Exception("Binary is too small!!!");
93   
94    const typename Types::Ehdr* ehdr =
95            reinterpret_cast<const typename Types::Ehdr*>(binaryCode);
96   
97    if (ULEV(*reinterpret_cast<const uint32_t*>(binaryCode)) != elfMagicValue)
98        throw Exception("This is not ELF binary");
99    if (ehdr->e_ident[EI_CLASS] != Types::ELFCLASS)
100        throw Exception(std::string("This is not ")+Types::bitName+"bit ELF binary");
101    if (ehdr->e_ident[EI_DATA] != ELFDATA2LSB)
102        throw Exception("Other than little-endian binaries are not supported!");
103   
104    if ((ULEV(ehdr->e_phoff) == 0 && ULEV(ehdr->e_phnum) != 0))
105        throw Exception("Elf invalid phoff and phnum combination");
106    if (ULEV(ehdr->e_phoff) != 0)
107    {   /* reading and checking program headers */
108        if (ULEV(ehdr->e_phoff) > binaryCodeSize)
109            throw Exception("ProgramHeaders offset out of range!");
110        if (usumGt(ULEV(ehdr->e_phoff),
111                   ((typename Types::Word)ULEV(ehdr->e_phentsize))*ULEV(ehdr->e_phnum),
112                   binaryCodeSize))
113            throw Exception("ProgramHeaders offset+size out of range!");
114       
115        cxuint phnum = ULEV(ehdr->e_phnum);
116        // checking program header segment offset ranges
117        for (cxuint i = 0; i < phnum; i++)
118        {
119            const typename Types::Phdr& phdr = getProgramHeader(i);
120            if (ULEV(phdr.p_offset) > binaryCodeSize)
121                throw Exception("Segment offset out of range!");
122            if (usumGt(ULEV(phdr.p_offset), ULEV(phdr.p_filesz), binaryCodeSize))
123                throw Exception("Segment offset+size out of range!");
124        }
125    }
126   
127    if ((ULEV(ehdr->e_shoff) == 0 && ULEV(ehdr->e_shnum) != 0))
128        throw Exception("Elf invalid shoff and shnum combination");
129    if (ULEV(ehdr->e_shoff) != 0 && ULEV(ehdr->e_shstrndx) != SHN_UNDEF)
130    {   /* indexing of sections */
131        if (ULEV(ehdr->e_shoff) > binaryCodeSize)
132            throw Exception("SectionHeaders offset out of range!");
133        if (usumGt(ULEV(ehdr->e_shoff),
134                  ((typename Types::Word)ULEV(ehdr->e_shentsize))*ULEV(ehdr->e_shnum),
135                  binaryCodeSize))
136            throw Exception("SectionHeaders offset+size out of range!");
137        if (ULEV(ehdr->e_shstrndx) >= ULEV(ehdr->e_shnum))
138            throw Exception("Shstrndx out of range!");
139       
140        typename Types::Shdr& shstrShdr = getSectionHeader(ULEV(ehdr->e_shstrndx));
141        sectionStringTable = binaryCode + ULEV(shstrShdr.sh_offset);
142        const size_t unfinishedShstrPos = unfinishedRegionOfStringTable(
143                    sectionStringTable, ULEV(shstrShdr.sh_size));
144       
145        const typename Types::Shdr* symTableHdr = nullptr;
146        const typename Types::Shdr* dynSymTableHdr = nullptr;
147        const typename Types::Shdr* noteTableHdr = nullptr;
148        const typename Types::Shdr* dynamicTableHdr = nullptr;
149       
150        cxuint shnum = ULEV(ehdr->e_shnum);
151        if ((creationFlags & ELF_CREATE_SECTIONMAP) != 0)
152            sectionIndexMap.resize(shnum);
153        for (cxuint i = 0; i < shnum; i++)
154        {
155            const typename Types::Shdr& shdr = getSectionHeader(i);
156            /// checking section offset ranges
157            if (ULEV(shdr.sh_offset) > binaryCodeSize)
158                throw Exception("Section offset out of range!");
159            if (ULEV(shdr.sh_type) != SHT_NOBITS)
160                if (usumGt(ULEV(shdr.sh_offset), ULEV(shdr.sh_size), binaryCodeSize))
161                    throw Exception("Section offset+size out of range!");
162            if (ULEV(shdr.sh_link) >= ULEV(ehdr->e_shnum))
163                throw Exception("Section link out of range!");
164           
165            const typename Types::Size sh_nameindx = ULEV(shdr.sh_name);
166            if (sh_nameindx >= ULEV(shstrShdr.sh_size))
167                throw Exception("Section name index out of range!");
168           
169            if (sh_nameindx >= unfinishedShstrPos)
170                throw Exception("Unfinished section name!");
171           
172            const char* shname =
173                reinterpret_cast<const char*>(sectionStringTable + sh_nameindx);
174           
175            if ((creationFlags & ELF_CREATE_SECTIONMAP) != 0)
176                sectionIndexMap[i] = std::make_pair(shname, i);
177            // set symbol table and dynamic symbol table pointers
178            if (ULEV(shdr.sh_type) == SHT_SYMTAB)
179                symTableHdr = &shdr;
180            if (ULEV(shdr.sh_type) == SHT_DYNSYM)
181                dynSymTableHdr = &shdr;
182            if (ULEV(shdr.sh_type) == SHT_NOTE)
183                noteTableHdr = &shdr;
184            if (ULEV(shdr.sh_type) == SHT_DYNAMIC)
185                dynamicTableHdr = &shdr;
186        }
187        if ((creationFlags & ELF_CREATE_SECTIONMAP) != 0)
188            mapSort(sectionIndexMap.begin(), sectionIndexMap.end(), CStringLess());
189       
190        if (symTableHdr != nullptr)
191        {   // indexing symbols
192            if (ULEV(symTableHdr->sh_entsize) < sizeof(typename Types::Sym))
193                throw Exception("SymTable entry size is too small!");
194           
195            symbolEntSize = ULEV(symTableHdr->sh_entsize);
196            symbolTable = binaryCode + ULEV(symTableHdr->sh_offset);
197            if (ULEV(symTableHdr->sh_link) == SHN_UNDEF)
198                throw Exception("Symbol table doesn't have string table");
199           
200            typename Types::Shdr& symstrShdr = getSectionHeader(ULEV(symTableHdr->sh_link));
201            symbolStringTable = binaryCode + ULEV(symstrShdr.sh_offset);
202           
203            const size_t unfinishedSymstrPos = unfinishedRegionOfStringTable(
204                    symbolStringTable, ULEV(symstrShdr.sh_size));
205            symbolsNum = ULEV(symTableHdr->sh_size)/ULEV(symTableHdr->sh_entsize);
206            if ((creationFlags & ELF_CREATE_SYMBOLMAP) != 0)
207                symbolIndexMap.resize(symbolsNum);
208           
209            for (typename Types::Size i = 0; i < symbolsNum; i++)
210            {   /* verify symbol names */
211                const typename Types::Sym& sym = getSymbol(i);
212                const typename Types::Size symnameindx = ULEV(sym.st_name);
213                if (symnameindx >= ULEV(symstrShdr.sh_size))
214                    throw Exception("Symbol name index out of range!");
215                // check whether name is finished in string section content
216                if (symnameindx >= unfinishedSymstrPos)
217                    throw Exception("Unfinished symbol name!");
218               
219                const char* symname =
220                    reinterpret_cast<const char*>(symbolStringTable + symnameindx);
221                // add to symbol map
222                if ((creationFlags & ELF_CREATE_SYMBOLMAP) != 0)
223                    symbolIndexMap[i] = std::make_pair(symname, i);
224            }
225            if ((creationFlags & ELF_CREATE_SYMBOLMAP) != 0)
226                mapSort(symbolIndexMap.begin(), symbolIndexMap.end(), CStringLess());
227        }
228        if (dynSymTableHdr != nullptr)
229        {   // indexing dynamic symbols
230            if (ULEV(dynSymTableHdr->sh_entsize) < sizeof(typename Types::Sym))
231                throw Exception("DynSymTable entry size is too small!");
232           
233            dynSymEntSize = ULEV(dynSymTableHdr->sh_entsize);
234            dynSymTable = binaryCode + ULEV(dynSymTableHdr->sh_offset);
235            if (ULEV(dynSymTableHdr->sh_link) == SHN_UNDEF)
236                throw Exception("DynSymbol table doesn't have string table");
237           
238            typename Types::Shdr& dynSymstrShdr =
239                    getSectionHeader(ULEV(dynSymTableHdr->sh_link));
240            dynSymbolsNum = ULEV(dynSymTableHdr->sh_size)/ULEV(dynSymTableHdr->sh_entsize);
241           
242            dynSymStringTable = binaryCode + ULEV(dynSymstrShdr.sh_offset);
243            const size_t unfinishedSymstrPos = unfinishedRegionOfStringTable(
244                    dynSymStringTable, ULEV(dynSymstrShdr.sh_size));
245           
246            if ((creationFlags & ELF_CREATE_DYNSYMMAP) != 0)
247                dynSymIndexMap.resize(dynSymbolsNum);
248           
249            for (typename Types::Size i = 0; i < dynSymbolsNum; i++)
250            {   /* verify symbol names */
251                const typename Types::Sym& sym = getDynSymbol(i);
252                const typename Types::Size symnameindx = ULEV(sym.st_name);
253                if (symnameindx >= ULEV(dynSymstrShdr.sh_size))
254                    throw Exception("DynSymbol name index out of range!");
255                // check whether name is finished in string section content
256                if (symnameindx >= unfinishedSymstrPos)
257                    throw Exception("Unfinished dynsymbol name!");
258               
259                const char* symname =
260                    reinterpret_cast<const char*>(dynSymStringTable + symnameindx);
261                // add to symbol map
262                if ((creationFlags & ELF_CREATE_DYNSYMMAP) != 0)
263                    dynSymIndexMap[i] = std::make_pair(symname, i);
264            }
265            if ((creationFlags & ELF_CREATE_DYNSYMMAP) != 0)
266                mapSort(dynSymIndexMap.begin(), dynSymIndexMap.end(), CStringLess());
267        }
268        if (noteTableHdr != nullptr)
269        {
270            noteTable = binaryCode + ULEV(noteTableHdr->sh_offset);
271            noteTableSize = ULEV(noteTableHdr->sh_size);
272        }
273        if (dynamicTableHdr != nullptr)
274        {
275            dynamicTable = binaryCode + ULEV(dynamicTableHdr->sh_offset);
276            const typename Types::Size entSize = ULEV(dynamicTableHdr->sh_entsize);
277            const typename Types::Size size = ULEV(dynamicTableHdr->sh_size);
278            if (entSize < sizeof(typename Types::Dyn))
279                throw Exception("Size of dynamic entry is too small!");
280            if (size % entSize != 0)
281                throw Exception("Size of dynamic section is not match!");
282            dynamicsNum = entSize / size;
283            dynamicEntSize = entSize;
284        }
285    }
286}
287
288template<typename Types>
289uint16_t ElfBinaryTemplate<Types>::getSectionIndex(const char* name) const
290{
291    if (hasSectionMap())
292    {
293        SectionIndexMap::const_iterator it = binaryMapFind(
294                    sectionIndexMap.begin(), sectionIndexMap.end(), name, CStringLess());
295        if (it == sectionIndexMap.end())
296            throw Exception(std::string("Can't find Elf")+Types::bitName+" Section");
297        return it->second;
298    }
299    else
300    {
301        for (cxuint i = 0; i < getSectionHeadersNum(); i++)
302        {
303            if (::strcmp(getSectionName(i), name) == 0)
304                return i;
305        }
306        throw Exception(std::string("Can't find Elf")+Types::bitName+" Section");
307    }
308}
309
310template<typename Types>
311typename Types::Size ElfBinaryTemplate<Types>::getSymbolIndex(const char* name) const
312{
313    SymbolIndexMap::const_iterator it = binaryMapFind(
314                    symbolIndexMap.begin(), symbolIndexMap.end(), name, CStringLess());
315    if (it == symbolIndexMap.end())
316        throw Exception(std::string("Can't find Elf")+Types::bitName+" Symbol");
317    return it->second;
318}
319
320template<typename Types>
321typename Types::Size ElfBinaryTemplate<Types>::getDynSymbolIndex(const char* name) const
322{
323    SymbolIndexMap::const_iterator it = binaryMapFind(
324                    dynSymIndexMap.begin(), dynSymIndexMap.end(), name, CStringLess());
325    if (it == dynSymIndexMap.end())
326        throw Exception(std::string("Can't find Elf")+Types::bitName+" DynSymbol");
327    return it->second;
328}
329
330template class CLRX::ElfBinaryTemplate<CLRX::Elf32Types>;
331template class CLRX::ElfBinaryTemplate<CLRX::Elf64Types>;
332
333bool CLRX::isElfBinary(size_t binarySize, const cxbyte* binary)
334{
335    if (binarySize < sizeof(Elf32_Ehdr) ||
336        ULEV(*reinterpret_cast<const uint32_t*>(binary)) != elfMagicValue)
337        return false;
338    if ((binary[EI_CLASS] != ELFCLASS32 && binary[EI_CLASS] != ELFCLASS64) ||
339        binary[EI_DATA] != ELFDATA2LSB) // only LSB elf is supported
340        return false;
341    if ((binary[EI_CLASS] == ELFCLASS32 && binarySize < sizeof(Elf32_Ehdr)) ||
342        (binary[EI_CLASS] == ELFCLASS64 && binarySize < sizeof(Elf64_Ehdr)))
343        return false;
344    if (ULEV(*((const uint64_t*)(binary+8))) != 0)
345        return false;
346    return true;
347}
348
349/*
350 * Elf binary generator
351 */
352
353uint16_t CLRX::convertSectionId(cxuint sectionIndex, const uint16_t* builtinSections,
354                  cxuint maxBuiltinSection, cxuint extraSectionIndex)
355{
356    if (sectionIndex == ELFSECTID_NULL)
357        return 0;
358    if (sectionIndex == ELFSECTID_ABS)
359        return SHN_ABS;
360    if (sectionIndex == ELFSECTID_UNDEF)
361        return SHN_UNDEF;
362    if (sectionIndex < ELFSECTID_START)
363        return sectionIndex+extraSectionIndex;
364    else if (sectionIndex >= ELFSECTID_START && sectionIndex <= maxBuiltinSection)
365    {
366        const uint16_t shndx = builtinSections[sectionIndex-ELFSECTID_START];
367        if (shndx == SHN_UNDEF) // if table entry for sectionIndex is not defined
368            throw Exception("Wrong BinSection:sectionId");
369        return builtinSections[sectionIndex-ELFSECTID_START];
370    }
371    else // failed
372        throw Exception("Wrong BinSection:sectionId");
373}
374
375ElfRegionContent::~ElfRegionContent()
376{ }
377
378template<typename Types>
379static std::unique_ptr<uint32_t[]> calculateHashValuesForSymbols(bool addNullSymbol,
380            const std::vector<ElfSymbolTemplate<Types> >& symbols)
381{
382    const size_t symsNum = symbols.size() + addNullSymbol;
383    std::unique_ptr<uint32_t[]> hashCodes(new uint32_t[symsNum]);
384    if (addNullSymbol)
385        hashCodes[0] = 0;
386    for (size_t i = 0; i < symbols.size(); i++)
387    {
388        uint32_t h = 0, g;
389        const cxbyte* name = reinterpret_cast<const cxbyte*>(symbols[i].name);
390        while(*name!=0)
391        {
392            h = (h<<4) + *name++;
393            g = h & 0xf0000000U;
394            if (g) h ^= g>>24;
395            h &= ~g;
396        }
397        hashCodes[i+addNullSymbol] = h;
398    }
399    return hashCodes;
400}
401
402/// return bucket number
403static uint32_t optimizeHashBucketsNum(uint32_t hashNum, bool skipFirst,
404                           const uint32_t* hashCodes)
405{
406    uint32_t bestBucketNum = 0;
407    uint64_t bestValue = UINT64_MAX;
408    uint32_t firstStep = std::max(uint32_t(hashNum>>2), 1U);
409    uint64_t maxSteps = (uint64_t(hashNum)<<1) - (firstStep) + 1;
410    const uint32_t steps = (maxSteps<=1000U) ? hashNum : hashNum<<((32-CLZ32(hashNum))>>1);
411   
412    std::unique_ptr<uint32_t[]> chainLengths(new uint32_t[(hashNum<<2)+1]);
413    const uint32_t stepSize = maxSteps / steps;
414    for (uint32_t buckets = firstStep; buckets <= (hashNum<<1); buckets += stepSize)
415    {   //
416        std::fill(chainLengths.get(), chainLengths.get() + buckets, 0U);
417        // calculate chain lengths
418        for (size_t i = skipFirst; i < hashNum; i++)
419            chainLengths[hashCodes[i] % buckets]++;
420        /// value, smaller is better
421        uint64_t value = uint64_t(buckets);
422        for (uint32_t i = 0; i < buckets; i++)
423            value += chainLengths[i]*chainLengths[i];
424        if (value < bestValue)
425        {
426            bestBucketNum = buckets;
427            bestValue = value;
428        }
429    }
430    return bestBucketNum;
431}
432
433template<typename Types>
434ElfBinaryGenTemplate<Types>::ElfBinaryGenTemplate()
435        : sizeComputed(false), addNullSym(true), addNullDynSym(true), addNullSection(true),
436          addrStartRegion(0), shStrTab(0), strTab(0), dynStr(0), shdrTabRegion(0),
437          phdrTabRegion(0), bucketsNum(0), isHashDynSym(false)
438{ }
439
440template<typename Types>
441ElfBinaryGenTemplate<Types>::ElfBinaryGenTemplate(const ElfHeaderTemplate<Types>& _header,
442            bool _addNullSym, bool _addNullDynSym, bool _addNullSection,
443            cxuint addrCountingFromRegion)
444        : sizeComputed(false), addNullSym(_addNullSym), addNullDynSym(_addNullDynSym),
445          addNullSection(_addNullSection),  addrStartRegion(addrCountingFromRegion),
446          shStrTab(0), strTab(0), dynStr(0), shdrTabRegion(0), phdrTabRegion(0),
447          header(_header), bucketsNum(0), isHashDynSym(false)
448{ }
449
450template<typename Types>
451void ElfBinaryGenTemplate<Types>::addRegion(const ElfRegionTemplate<Types>& region)
452{ regions.push_back(region); }
453
454template<typename Types>
455void ElfBinaryGenTemplate<Types>::addProgramHeader(
456            const ElfProgramHeaderTemplate<Types>& progHeader)
457{ progHeaders.push_back(progHeader); }
458
459template<typename Types>
460void ElfBinaryGenTemplate<Types>::computeSize()
461{
462    if (sizeComputed) return;
463   
464    /* verify data */
465    if (header.entryRegion != UINT_MAX && header.entryRegion >= regions.size())
466        throw Exception("Header entry region out of range");
467   
468    regionOffsets.reset(new typename Types::Word[regions.size()]);
469    regionAddresses.reset(new typename Types::Word[regions.size()]);
470    size = sizeof(typename Types::Ehdr);
471    sectionsNum = addNullSection; // if add null section
472    cxuint hashSymSectionIdx = UINT_MAX;
473    for (const auto& region: regions)
474        if (region.type == ElfRegionType::SECTION)
475        {
476            if (region.section.type==SHT_HASH &&
477                ::strcmp(region.section.name, ".hash")==0)
478                hashSymSectionIdx = region.section.link;
479            sectionsNum++;
480        }
481   
482    /// determine symbol name
483    cxuint sectionCount = addNullSection;
484    isHashDynSym = false;
485    if (hashSymSectionIdx!=UINT_MAX)
486    {
487        bool hashSymDetected = false;
488        for (const auto& region: regions)
489            if (region.type == ElfRegionType::SECTION)
490            {
491                if (hashSymSectionIdx==sectionCount)
492                {   // get smybol section
493                    if (region.section.type==SHT_SYMTAB)
494                    {
495                        isHashDynSym = false;
496                        hashSymDetected = true;
497                    }
498                    else if (region.section.type==SHT_DYNSYM)
499                    {
500                        isHashDynSym = true;
501                        hashSymDetected = true;
502                    }
503                    else
504                        throw Exception("Wrong Hash Sym section!");
505                }
506                sectionCount++;
507            }
508        if (!hashSymDetected)
509            throw Exception("Wrong Hash Sym is not detected!");
510    }
511   
512    sectionRegions.reset(new cxuint[sectionsNum+1]);
513    sectionRegions[0] = UINT_MAX;
514    sectionCount = addNullSection;
515    typename Types::Word address = 0;
516   
517    for (const auto& sym: symbols)
518        if (sym.sectionIndex >= sectionsNum)
519            throw Exception("Symbol section index out of range");
520    for (const auto& sym: dynSymbols)
521        if (sym.sectionIndex >= sectionsNum)
522            throw Exception("DynSymbol section index out of range");
523   
524    for (size_t i = 0; i < regions.size(); i++)
525    {
526        ElfRegionTemplate<Types>& region = regions[i];
527        if (region.align > 1)
528        {   // fix alignment
529            if ((size&(region.align-1))!=0)
530                size += region.align - (size&(region.align-1));
531            if ((address&(region.align-1))!=0)
532                address += region.align - (address&(region.align-1));
533        }
534       
535        regionOffsets[i] = size;
536        regionAddresses[i] = address;
537        // add region size
538        if (region.type == ElfRegionType::PHDR_TABLE)
539        {
540            size += uint64_t(progHeaders.size())*sizeof(typename Types::Phdr);
541            region.size = size-regionOffsets[i];
542            phdrTabRegion = i;
543            for (const auto& progHdr: progHeaders)
544            {
545                if (progHdr.regionStart >= regions.size())
546                    throw Exception("Region start out of range");
547                if (uint64_t(progHdr.regionStart) + progHdr.regionsNum > regions.size())
548                    throw Exception("Region end out of range");
549            }
550        }
551        else if (region.type == ElfRegionType::SHDR_TABLE)
552        {
553            size += uint64_t(sectionsNum)*sizeof(typename Types::Shdr);
554            region.size = size-regionOffsets[i];
555            shdrTabRegion = i;
556        }
557        else if (region.type == ElfRegionType::USER)
558            size += region.size;
559        else if (region.type == ElfRegionType::SECTION)
560        {   // if section
561            if (region.section.link >= sectionsNum)
562                throw Exception("Section link out of range");
563           
564            if (region.section.type != SHT_NOBITS && region.size != 0)
565                size += region.size;
566            else // otherwise get default size for symtab, dynsym, strtab, dynstr
567            {
568                if (region.section.type == SHT_SYMTAB)
569                    size += uint64_t(symbols.size()+addNullSym)*
570                                sizeof(typename Types::Sym);
571                else if (region.section.type == SHT_DYNSYM)
572                    size += uint64_t(dynSymbols.size()+addNullDynSym)*
573                                sizeof(typename Types::Sym);
574                else if (region.section.type == SHT_HASH)
575                {
576                    const std::vector<ElfSymbolTemplate<Types> >& hashSymbols = 
577                        (isHashDynSym) ? dynSymbols : symbols;
578                    bool addNullHashSym = (isHashDynSym) ? addNullDynSym : addNullSym;
579                    hashCodes = calculateHashValuesForSymbols(addNullDynSym, hashSymbols);
580                    bucketsNum = optimizeHashBucketsNum(hashSymbols.size()+addNullHashSym,
581                           addNullHashSym, hashCodes.get());
582                    size += 4*(bucketsNum + hashSymbols.size()+addNullHashSym + 2);
583                }
584                else if (region.section.type == SHT_NOTE)
585                {
586                    for (const ElfNote& note: notes)
587                    {   // note size with data
588                        size_t nameSize = ::strlen(note.name)+1;
589                        if ((nameSize&3)!=0)
590                            nameSize += 4 - (nameSize&3);
591                        size_t descSize = note.descSize;
592                        if ((descSize&3)!=0)
593                            descSize += 4 - (descSize&3);
594                        size += sizeof(typename Types::Nhdr) + nameSize + descSize;
595                    }
596                }
597                else if (region.section.type == SHT_STRTAB)
598                {
599                    if (::strcmp(region.section.name, ".strtab") == 0)
600                    {
601                        size += (addNullSym);
602                        for (const auto& sym: symbols)
603                            if (sym.name != nullptr && sym.name[0] != 0)
604                                size += ::strlen(sym.name)+1;
605                    }
606                    else if (::strcmp(region.section.name, ".dynstr") == 0)
607                    {
608                        size += (addNullDynSym);
609                        for (const auto& sym: dynSymbols)
610                            if (sym.name != nullptr && sym.name[0] != 0)
611                                size += ::strlen(sym.name)+1;
612                    }
613                    else if (::strcmp(region.section.name, ".shstrtab") == 0)
614                    {
615                        size += (addNullSection);
616                        for (const auto& region2: regions)
617                        {
618                            if (region2.type == ElfRegionType::SECTION &&
619                                region2.section.name != nullptr &&
620                                region2.section.name[0] != 0)
621                                size += ::strlen(region2.section.name)+1;
622                        }
623                    }
624                }
625                if (region.section.type != SHT_NOBITS)
626                    region.size = size-regionOffsets[i];
627            }
628            if (i >= addrStartRegion) // begin counting address from that region
629                address += region.size;
630           
631            if (::strcmp(region.section.name, ".strtab") == 0)
632                strTab = sectionCount;
633            else if (::strcmp(region.section.name, ".dynstr") == 0)
634                dynStr = sectionCount;
635            else if (::strcmp(region.section.name, ".shstrtab") == 0)
636                shStrTab = sectionCount;
637            sectionRegions[sectionCount] = i;
638            sectionCount++;
639        }
640    }
641   
642    sizeComputed = true;
643}
644
645template<typename Types>
646uint64_t ElfBinaryGenTemplate<Types>::countSize()
647{
648    computeSize();
649    return size;
650}
651
652static void createHashTable(uint32_t bucketsNum, uint32_t hashNum, bool skipFirst,
653                           const uint32_t* hashCodes, uint32_t* output)
654{
655    SLEV(output[0], bucketsNum);
656    SLEV(output[1], hashNum);
657    uint32_t* buckets = output + 2;
658    uint32_t* chains = output + bucketsNum + 2;
659    std::fill(buckets, buckets + bucketsNum, 0U);
660    std::fill(chains, chains + hashNum, STN_UNDEF);
661   
662    std::unique_ptr<uint32_t[]> lastNodes(new uint32_t[bucketsNum]);
663    std::fill(lastNodes.get(), lastNodes.get() + bucketsNum, UINT32_MAX);
664    for (uint32_t i = skipFirst; i < hashNum; i++)
665    {
666        const uint32_t bucket = hashCodes[i] % bucketsNum;
667        if (lastNodes[bucket] == UINT32_MAX)
668        {   // first entry of chain
669            SLEV(buckets[bucket], i);
670            lastNodes[bucket] = i;
671        }
672        else
673        {
674            SLEV(chains[lastNodes[bucket]], i);
675            lastNodes[bucket] = i;
676        }
677    }
678}
679
680template<typename Types>
681void ElfBinaryGenTemplate<Types>::generate(FastOutputBuffer& fob)
682{
683    computeSize();
684    const uint64_t startOffset = fob.getWritten();
685    /* write elf header */
686    {
687        typename Types::Ehdr ehdr;
688        ::memset(ehdr.e_ident, 0, EI_NIDENT);
689        ehdr.e_ident[0] = 0x7f;
690        ehdr.e_ident[1] = 'E';
691        ehdr.e_ident[2] = 'L';
692        ehdr.e_ident[3] = 'F';
693        ehdr.e_ident[4] = Types::ELFCLASS;
694        ehdr.e_ident[5] = ELFDATA2LSB;
695        ehdr.e_ident[6] = EV_CURRENT;
696        ehdr.e_ident[EI_OSABI] = header.osABI;
697        ehdr.e_ident[EI_ABIVERSION] = header.abiVersion;
698        SLEV(ehdr.e_type, header.type);
699        SLEV(ehdr.e_machine, header.machine);
700        SLEV(ehdr.e_version, header.version);
701        SLEV(ehdr.e_flags, header.flags);
702        if (header.entryRegion != UINT_MAX)
703        {   // if have entry
704            typename Types::Word entry = regionOffsets[header.entryRegion] + header.entry;
705            if (regions[header.entryRegion].type == ElfRegionType::SECTION &&
706                regions[header.entryRegion].section.addrBase != 0)
707                entry += regions[header.entryRegion].section.addrBase;
708            else
709                entry += header.vaddrBase;
710           
711            SLEV(ehdr.e_entry, entry);
712        }
713        else
714            SLEV(ehdr.e_entry, 0);
715        SLEV(ehdr.e_ehsize, sizeof(typename Types::Ehdr));
716        if (!progHeaders.empty())
717        {
718            SLEV(ehdr.e_phentsize, sizeof(typename Types::Phdr));
719            SLEV(ehdr.e_phoff, regionOffsets[phdrTabRegion]);
720        }
721        else
722        {
723            SLEV(ehdr.e_phentsize, 0);
724            SLEV(ehdr.e_phoff, 0);
725        }
726        SLEV(ehdr.e_phnum, progHeaders.size());
727        SLEV(ehdr.e_shentsize, sizeof(typename Types::Shdr));
728        SLEV(ehdr.e_shnum, sectionsNum);
729        SLEV(ehdr.e_shoff, regionOffsets[shdrTabRegion]);
730        SLEV(ehdr.e_shstrndx, shStrTab);
731       
732        fob.writeObject(ehdr);
733    }
734   
735    size_t nullSymNameOffset = 0;
736    // if addNullSym is not set, then no empty symbol name added, then we
737    // find first null character
738    if (!addNullSym && !symbols.empty())
739        nullSymNameOffset = ::strlen(symbols[0].name);
740    size_t nullDynSymNameOffset = 0;
741    // if addNullDynSym is not set, then no empty dynamic symbol name added, then we
742    // find first null character
743    if (!addNullDynSym && !dynSymbols.empty())
744        nullDynSymNameOffset = ::strlen(dynSymbols[0].name);
745    // if addNullSection is not set, then no empty section name added, then we
746    // find first null character
747    size_t nullSectionNameOffset = 0;
748    if (!addNullSection)
749    {
750        for (const ElfRegionTemplate<Types>& reg: regions)
751            if (reg.type == ElfRegionType::SECTION)
752            {
753                nullSectionNameOffset = ::strlen(reg.section.name);
754                break;
755            }
756    }
757   
758    /* write regions */
759    for (size_t i = 0; i < regions.size(); i++)
760    {   
761        const ElfRegionTemplate<Types>& region = regions[i];
762        // fix alignment
763        uint64_t toFill = 0;
764        typename Types::Word ralign = (region.type==ElfRegionType::SECTION) ?
765                        region.section.align : 0;
766        ralign = std::max(region.align, ralign);
767        if (ralign > 1)
768        {
769            const uint64_t curOffset = (fob.getWritten()-startOffset);
770            if (ralign!=0 && (curOffset&(ralign-1))!=0)
771                toFill = ralign - (curOffset&(ralign-1));
772            fob.fill(toFill, 0);
773        }
774        assert(regionOffsets[i] == fob.getWritten()-startOffset);
775       
776        // write content
777        if (region.type == ElfRegionType::PHDR_TABLE)
778        {   /* write program headers */
779            for (const auto& progHeader: progHeaders)
780            {
781                typename Types::Phdr phdr;
782                SLEV(phdr.p_type, progHeader.type);
783                SLEV(phdr.p_flags, progHeader.flags);
784                const ElfRegionTemplate<Types>& sregion = regions[progHeader.regionStart];
785                bool zeroOffset = sregion.type == ElfRegionType::SECTION &&
786                        sregion.section.zeroOffset;
787                SLEV(phdr.p_offset, !zeroOffset ?
788                        regionOffsets[progHeader.regionStart] : 0);
789                typename Types::Word align = (sregion.type==ElfRegionType::SECTION) ?
790                        sregion.section.align : 0;
791                align = std::max(sregion.align, align);
792                SLEV(phdr.p_align, align);
793               
794                /* paddrBase and vaddrBase is base to program header virtual and physical
795                 * addresses for program header. if not defined then get address base
796                 * from ELF header */
797                if (progHeader.paddrBase == Types::nobase)
798                    SLEV(phdr.p_paddr, regionAddresses[progHeader.regionStart]);
799                else if (progHeader.paddrBase != 0)
800                    SLEV(phdr.p_paddr, progHeader.paddrBase +
801                                regionAddresses[progHeader.regionStart]);
802                else if (header.paddrBase != 0)
803                    SLEV(phdr.p_paddr, header.paddrBase +
804                                regionAddresses[progHeader.regionStart]);
805                else
806                    SLEV(phdr.p_paddr, 0);
807               
808                if (progHeader.vaddrBase == Types::nobase)
809                    SLEV(phdr.p_vaddr, regionAddresses[progHeader.regionStart]);
810                else if (progHeader.vaddrBase != 0)
811                    SLEV(phdr.p_vaddr, progHeader.vaddrBase +
812                                regionAddresses[progHeader.regionStart]);
813                else if (header.vaddrBase != 0)
814                    SLEV(phdr.p_vaddr, header.vaddrBase +
815                                regionAddresses[progHeader.regionStart]);
816                else
817                    SLEV(phdr.p_vaddr, 0);
818               
819                // last region size for file - if nobits section then we assume zero size
820                const auto& lastReg = regions[progHeader.regionStart+
821                            progHeader.regionsNum-1];
822                uint64_t fileLastRegSize =(lastReg.type!=ElfRegionType::SECTION ||
823                    lastReg.section.type!=SHT_NOBITS) ? lastReg.size : 0;
824                /// fileSize - add offset of first region to simulate region alignment
825                const typename Types::Word fileSize = regionOffsets[progHeader.regionStart+
826                        progHeader.regionsNum-1] + fileLastRegSize -
827                        regionOffsets[progHeader.regionStart];
828                const typename Types::Word phSize = regionAddresses[progHeader.regionStart+
829                        progHeader.regionsNum-1]+regions[progHeader.regionStart+
830                        progHeader.regionsNum-1].size -
831                        regionAddresses[progHeader.regionStart];
832                SLEV(phdr.p_filesz, phSize);
833               
834                if (progHeader.haveMemSize)
835                {
836                    if (progHeader.memSize != 0)
837                        SLEV(phdr.p_memsz, progHeader.memSize);
838                    else
839                        SLEV(phdr.p_memsz, phSize);
840                }
841                else
842                    SLEV(phdr.p_memsz, 0);
843                SLEV(phdr.p_filesz, fileSize);
844                fob.writeObject(phdr);
845            }
846        }
847        else if (region.type == ElfRegionType::SHDR_TABLE)
848        {   /* write section headers table */
849            if (addNullSection)
850                fob.fill(sizeof(typename Types::Shdr), 0);
851            uint32_t nameOffset = (addNullSection);
852            for (cxuint j = 0; j < regions.size(); j++)
853            {
854                const auto& region2 = regions[j];
855                if (region2.type == ElfRegionType::SECTION)
856                {
857                    typename Types::Shdr shdr;
858                    if (region2.section.name!=nullptr && region2.section.name[0]!=0)
859                        SLEV(shdr.sh_name, nameOffset);
860                    else // set empty name offset
861                        SLEV(shdr.sh_name, nullSectionNameOffset);
862                    SLEV(shdr.sh_type, region2.section.type);
863                    SLEV(shdr.sh_flags, region2.section.flags);
864                    SLEV(shdr.sh_offset, (!region2.section.zeroOffset) ?
865                                regionOffsets[j] : 0);
866                    /* addrBase is base address of first section. if not defined
867                     * use address base as virtual address base from elf header */
868                    if (region2.section.addrBase==Types::nobase)
869                        SLEV(shdr.sh_addr, regionAddresses[j]);
870                    else if (region2.section.addrBase != 0)
871                        SLEV(shdr.sh_addr, region2.section.addrBase+regionAddresses[j]);
872                    else if (header.vaddrBase != 0)
873                        SLEV(shdr.sh_addr, header.vaddrBase+regionAddresses[j]);
874                    else
875                        SLEV(shdr.sh_addr, 0);
876                   
877                    if (region2.align != 0 || j+1 >= regions.size() ||
878                        regionOffsets[j]+region2.size == regionOffsets[j+1])
879                        SLEV(shdr.sh_size, region2.size);
880                    else
881                        SLEV(shdr.sh_size, regionOffsets[j+1]-regionOffsets[j]);
882                    SLEV(shdr.sh_info, region2.section.info);
883                    SLEV(shdr.sh_addralign, region2.align);
884                    if (region2.section.link == 0)
885                    {
886                        if (::strcmp(region2.section.name, ".symtab") == 0)
887                            SLEV(shdr.sh_link, strTab);
888                        else if (::strcmp(region2.section.name, ".dynsym") == 0)
889                            SLEV(shdr.sh_link, dynStr);
890                        else
891                            SLEV(shdr.sh_link, region2.section.link);
892                    }
893                    else
894                        SLEV(shdr.sh_link, region2.section.link);
895                   
896                    if (region2.section.type == SHT_SYMTAB ||
897                        region2.section.type == SHT_DYNSYM)
898                        SLEV(shdr.sh_entsize, sizeof(typename Types::Sym));
899                    else
900                        SLEV(shdr.sh_entsize, region2.section.entSize);
901                    if (region2.section.name!=nullptr && region2.section.name[0]!=0)
902                        nameOffset += ::strlen(region2.section.name)+1;
903                    fob.writeObject(shdr);
904                }
905            }
906        }
907        else if (region.type == ElfRegionType::USER)
908        {
909            if (region.dataFromPointer)
910                fob.writeArray(region.size, region.data);
911            else
912                (*region.dataGen)(fob);
913        }
914        else if (region.type == ElfRegionType::SECTION)
915        {
916            if (region.data == nullptr)
917            {
918                if (region.section.type == SHT_SYMTAB || region.section.type == SHT_DYNSYM)
919                {
920                    uint32_t nameOffset = 0;
921                    if (region.section.type == SHT_SYMTAB && addNullSym)
922                    {
923                        fob.fill(sizeof(typename Types::Sym), 0);
924                        nameOffset = 1;
925                    }
926                    if (region.section.type == SHT_DYNSYM && addNullDynSym)
927                    {
928                        fob.fill(sizeof(typename Types::Sym), 0);
929                        nameOffset = 1;
930                    }
931                    const auto& symbolsList = (region.section.type == SHT_SYMTAB) ?
932                            symbols : dynSymbols;
933                    for (const auto& inSym: symbolsList)
934                    {
935                        typename Types::Sym sym;
936                        if (inSym.name != nullptr && inSym.name[0] != 0)
937                            SLEV(sym.st_name, nameOffset);
938                        else  // set empty name offset (symbol or dynamic symbol)
939                            SLEV(sym.st_name, (region.section.type == SHT_SYMTAB) ?
940                                        nullSymNameOffset : nullDynSymNameOffset);
941                       
942                        SLEV(sym.st_shndx, inSym.sectionIndex);
943                        SLEV(sym.st_size, inSym.size);
944                        /// if value defined as address
945                        if (!inSym.valueIsAddr)
946                            SLEV(sym.st_value, inSym.value);
947                        // if not use conversion to address with section addrBase
948                        else if ((inSym.sectionIndex != 0 || !addNullSection) &&
949                                regions[sectionRegions[
950                                    inSym.sectionIndex]].section.addrBase != 0)
951                            SLEV(sym.st_value, inSym.value + regionOffsets[
952                                    sectionRegions[inSym.sectionIndex]] +
953                                    regions[sectionRegions[inSym.sectionIndex]].
954                                            section.addrBase);
955                        else // use elf headerf virtual address base
956                            SLEV(sym.st_value, inSym.value + regionOffsets[
957                                sectionRegions[inSym.sectionIndex]] + header.vaddrBase);
958                        sym.st_other = inSym.other;
959                        sym.st_info = inSym.info;
960                        if (inSym.name != nullptr && inSym.name[0] != 0)
961                            nameOffset += ::strlen(inSym.name)+1;
962                        fob.writeObject(sym);
963                    }
964                }
965                else if (region.section.type == SHT_HASH)
966                {
967                    if (::strcmp(region.section.name, ".hash") != 0)
968                        continue;
969                   
970                    const std::vector<ElfSymbolTemplate<Types> >& hashSymbols = 
971                        (isHashDynSym) ? dynSymbols : symbols;
972                    bool addNullHashSym = (isHashDynSym) ? addNullDynSym : addNullSym;
973                    Array<uint32_t> hashTable(2 + hashSymbols.size() + addNullHashSym);
974                    createHashTable(bucketsNum, hashSymbols.size()+addNullHashSym,
975                                addNullHashSym, hashCodes.get(), hashTable.data());
976                    fob.writeArray(hashTable.size(), hashTable.data());
977                }
978                else if (region.section.type == SHT_NOTE)
979                {
980                    for (const ElfNote& note: notes)
981                    {
982                        typename Types::Nhdr nhdr;
983                        size_t nameSize = ::strlen(note.name)+1;
984                        size_t descSize = note.descSize;
985                        SLEV(nhdr.n_namesz, nameSize);
986                        SLEV(nhdr.n_descsz, descSize);
987                        SLEV(nhdr.n_type, note.type);
988                        fob.writeObject(nhdr);
989                        fob.write(nameSize, note.name);
990                        if ((nameSize&3) != 0)
991                            fob.fill(4 - (nameSize&3), 0);
992                        fob.writeArray(descSize, note.desc);
993                        if ((descSize&3) != 0)
994                            fob.fill(4 - (descSize&3), 0);
995                    }
996                }
997                else if (region.section.type == SHT_STRTAB)
998                {
999                    if (::strcmp(region.section.name, ".strtab") == 0)
1000                    {
1001                        if (addNullSym)
1002                            fob.put(0);
1003                        for (const auto& sym: symbols)
1004                            if (sym.name != nullptr && sym.name[0] != 0)
1005                                fob.write(::strlen(sym.name)+1, sym.name);
1006                    }
1007                    else if (::strcmp(region.section.name, ".dynstr") == 0)
1008                    {
1009                        if (addNullDynSym)
1010                            fob.put(0);
1011                        for (const auto& sym: dynSymbols)
1012                            if (sym.name != nullptr && sym.name[0] != 0)
1013                                fob.write(::strlen(sym.name)+1, sym.name);
1014                    }
1015                    else if (::strcmp(region.section.name, ".shstrtab") == 0)
1016                    {
1017                        if (addNullSection)
1018                            fob.put(0);
1019                        for (const auto& region2: regions)
1020                            if (region2.type == ElfRegionType::SECTION &&
1021                                region2.section.name != nullptr &&
1022                                region2.section.name[0] != 0)
1023                                fob.write(::strlen(region2.section.name)+1,
1024                                          region2.section.name);
1025                    }
1026                }
1027            }
1028            else if (region.section.type != SHT_NOBITS)
1029            {
1030                if (region.dataFromPointer)
1031                    fob.writeArray(region.size, region.data);
1032                else
1033                    (*region.dataGen)(fob);
1034            }
1035        }
1036    }
1037    fob.flush();
1038    fob.getOStream().flush();
1039    assert(size == fob.getWritten()-startOffset);
1040}
1041
1042template class CLRX::ElfBinaryGenTemplate<CLRX::Elf32Types>;
1043template class CLRX::ElfBinaryGenTemplate<CLRX::Elf64Types>;
Note: See TracBrowser for help on using the repository browser.